西郷が江戸で働いている安政２（１８５５）年、生活に困窮した西郷家は加治屋町の家を手放し、この地に移った。慶応元年に坂本龍馬が鹿児島を訪れた際は１泊したといい、妻イトに龍馬がふんどしの借用を願ったというエピソードが伝わる。