2,600平方メートルの敷地にあるこの建物は、何代にもわたって庄屋（村の長）を務めた伊佐家の先祖代々の住宅です。1975年に主屋が重要文化財に指定され、1980年には5つの蔵、木小屋、普請文書、古図、宅地が追加指定されました。
主屋は1734年に再建されており、江戸時代（1603年－1867年）中期のこの地域特有の住宅建築のよく保存された例となっています。特別に厚い茅葺きの屋根や、通常は公家や武士の家にしかなかった赤い土壁、大きなかまどである「大くど」を備えた広い台所、そしてたくさんの部屋はこの建物の特徴です。これらは、庄屋の務めを果たすためにとても重要なものでした。
主屋の南側には、かつては賓客を迎えるために使われていた、家の格式が一目で分かる木製の式台が備えられています。賓客はこの式台を上って玄関の間へ入り、間もなく大きな仏壇のある控えの間に入り、その後、彫刻が施された木製の欄間や美術品を展示するための床の間と違い棚などがある奥座敷に通されます。
その他にも、村の年貢米を保存するための二つの大きな蔵や、神社やお寺で多く見られるものの様な、高い所にある、屋根付きの渡り廊下など注目すべき建造物や特徴があります。かつて屋敷を囲んでいた堀の跡が南側にあります。
