峠の頂上には、明治の宮廷歌人八田和紀の歌「結ばれし旅の思いを大空にけふこそ開けひら聞の嶽」の歌碑が建っています。遠望すると、秀麗開聞岳、眼下には枕崎市街地がその美しい姿を見せています。旅人がしばしこの景色に見とれたと言うところから、耳取峠と名がついたとも言われています。