幕末の柳生藩家老・小山田主鈴の旧屋敷。1848年（嘉永元）に上棟された。
1964年（昭和39）に作家・山岡荘八が空き家になっていたこの屋敷を購入し、修復。しばしば柳生に滞在して創作活動を行った。山岡の死後、奈良市へ寄贈され、1981年から一般に公開された。
奈良県では数少ない武家屋敷の遺構であるとともに、小山田主鈴の旧柳生藩関係の文物、山岡荘八の遺品などは、貴重な歴史的資産でもある。