税所家は関ケ原の役前年、加世田から移住を命ぜられ、代々「あつかい」などの出水郷の要職を務めました。雨天時の弓の練習場所や、隠れ部屋、抜け道など当時を偲ばせるものが残されています。建物の建築は出水麓では最古といわれています。
秋になると、半球型の立派なイロハモミジが赤く染まり、紅葉の時期の散策にぴったりの場所です。紅葉に染まる武家屋敷前の通りを観光牛車で巡るのも風情があります。
※観光牛車は土日祝日11：00～15：00運行（雨天運休）