Beim Dorfbrand 1719 wurden auch das St. Anna-Pfrundhaus und das Sigristenhaus zerstört. Als Ersatz wurde danach am gleichen Standort das jetzige Doppelhaus erbaut, der Name „Pfrundhaus“ hat sich bis heute gehalten.

Diese Bezeichnung leitet sich aus der Pfründe, der Ausstattung, respektive dem Einkommen des Geistlichen ab. Ein Pfrundhaus war also ursprünglich das Wohnhaus des Pfarrers, Kaplans oder Pfarrhelfers. Nach dem Bau der Herrenhäuser wurde der eine Hausteil als Schule und Schulmeisterwohnung genutzt, im andern Hausteil befindet sich die Wohnung des Sigrists.

Gegen 300 Jahre lang - bis 1868 - entstammte der Arther Sigrist der Familie von Rickenbach. Das Amt wurde während sieben Generationen vom Vater zum Sohn weitergereicht.

Die meisten Schwyzer Pfrundhäuser unterscheiden sich in ihrer Bauweise kaum von den zur gleichen Zeit entstandenen Bauernhäusern. Der Grund dafür liegt darin, dass oft bestehende Bauernhäuser erworben oder dem Geistlichen zur Verfügung gestellt wurden, weil viele Kirchgemeinden sich gar keine repräsentativen Bauten leisten konnten. Das Arther Pfrundhaus macht hier zwar insofern eine Ausnahme, als dass es gemauert ist. Die Klebdächer sind jedoch durchaus der bäuerlichen Bauweise zuzuordnen.

1983 kam die Kirchgemeinde per Volksabstimmung in den Besitz des gesamten Hauses, vorher gehörte die eine Hälfte der politischen Gemeinde Arth. Das Pfrundhaus wurde 1993 renoviert.