Waltersdorf ist in einer Urkunde vom 21. September 1394 erstmals schriftlich erwähnt. An jenem Tag erhielt die Greizer Kirche die Bestätigung für eine Mark jährlichen Zinses aus Reinsdorf (Reynoldstorf) und Waltersdorf (Waltertorf). Bei der Teilung des Greizer Landes im Mai 1449 kam Waltersdorf an die Zweiglinie Vorderschloss. Der kirchlich nach Reinsdorf gewiesene Ort unterstand der Patrimonialgerichtsbarkeit des Rittergutes Schönfeld.
Nach der Greizer Landesteilung von 1564 gehörte Reinsdorf zu Herrschaft Reuß-Obergreiz, seit 1625 zur damals errichteten Herrschaft Reuß-Untergreiz; von 1668 bis 1698 vorübergehend zur Untergreizer Nebenlinie Rothental und von 1768 zu Reuß ältere Linie. Die obere und niedere Gerichtsbarkeit über den Ort wurde weiterhin vom Rittergut Schönfeld ausgeübt.
Im Jahr 1587 ergaben sich des öfteren Streitigkeiten zwischen den fron- und abgabepflichtigen Einwohnern von Waltersdorf und den Schönfelder Rittergutsbesitzern.
Im Jahre 1792 waren in Waltersdorf 9 Bauern und 16 Kleinhäusler ansässig. Bei der Reuß-Greizer Volkszählung im Jahre 1811 hatte der Ort 27 Häuser und 128 Einwohner. Die obere Gerichtsbarkeit des Rittergutes Schönfeld wurde im Dezember 1841 an den Staat Reuß ältere Linie abgetreten und seitdem vom Amt Untergreiz und später ab März 1855 vom Justizamt Greiz ausgeübt.
Die "Kirchen-Galerie der Fürstlichen Reußischen Länder" aus dem Jahre 1843 berichtet über Waltersdorf wie folgt:
"Walterdorf, 1/4 Stunde ostwärts von Reinsdorf, zählt 10 Bauerngüter, 6 Feld- und 14 Kleinhäuser. Der größte Theil des Dorfes liegt an einem gen Süden allmählich sich abplattenden Abhange, der kleinere Theil dagegen auf einer bis Kahmer sich ausdehnenden Ebene, daher Ober- und Unterwaltersdorf. Unter den Bauerngütern sind 7 Decempflichtige, welche aber nur Roggen an die Pfarre entrichten. Das ganze Dorf gehört unter die Gerichtsbarkeit von Oberschönfeld."
Die niedere Gerichtsbarkeit des Rittergutes Schönfeld über Waltersdorf endete durch die in Reuß ältere Linie erst im Jahre 1868 vollzogene Abschaffung der Patrimonialgerichtsbarkeit. Infolge der gleichzeitig durchgeführten Trennung von Justiz und Verwaltung unterstand Waltersdorf fortan gerichtlich dem Justizamt Greiz II; seit Oktober 1879 Amtsgericht Greiz und verwaltungsmäßig dem Landratsamt Greiz.
Durch die allgemeine Entwicklung und namentlich durch die Industrialisierung im Raum Greiz-Reichenbach nach 1870 nahmen auch im Ort Bürger ohne landwirtschaftlichen Hintergrund, also Fabrikarbeiter, zu. Damit stieg bis 1900 die Einwohnerzahl auf 214 an.
Nach dem Sturz der Monarchie in der Novemberrevolution von 1918, gehörte Waltersdorf, ebenso wie Reinsdorf, vorerst zu dem im November des gleichen Jahres geschaffenen Freistaat Reuß ältere Linie und vom April 1919 ab zum Volksstaat Reuß.
Am 01. Mai 1920 kam die Landgemeinde Waltersdorf bei Irchwitz wie gleichzeitig auch die bisher zu Sachsen-Weimar-Eisenach gehörige Landgemeinde Waltersdorf bei Neumühle, an das Land Thüringen, damit auch folgend ab 01. Oktober 1922 zum Landkreis Greiz. Gerichtlich war ab 01. Oktober 1923 das Thüringische Landgericht Greiz zuständig. Die Einwohnerzahl betrug nach der Volkszählung vom 16. Juni 1925 insgesamt 182 Personen.

In der heutigen Oberen Waltersdorfer Straße stehen die Gebäude des ehemaligen "Gasthof Waltersdorf", besser bekannt als "Kessel's Lokal". Eine große Gaststube, Vereinszimmer und ein Saal mit Bühne war zu allen Zeiten ein beliebter Zielort für Einheimische und Ausflügler. Vom weitläufigen Vorplatz hatte man einen herrlichen Blick bis zu den Höhen des Erzgebirges.
(Historische Postkarte von Folger Schramm aus Irchwitz)