茶屋坂はこの場所にあった茶屋に徳川家の将軍が鷹狩に来る際休憩をとっていた場所で、その主人を「爺」と呼んでいたため「爺々が茶屋」と呼ばれていたそう。「目黒のさんま」という落語の発祥の地だということ。