タモリらは飯田橋駅前へとやって来た。神楽坂の坂が始まる場所から大人の隠れ家になった理由を探っていく。両側にある石垣は牛込御門の石垣。江戸時代の地図を見てみると、神楽坂は江戸城の外堀に接していた。神楽坂は江戸城外堀や牛込御門と同時期に整備されたと言われている。坂を登っていくと毘沙門天 善國寺がある。神楽坂を通るメインストリートにはアップダウンがあることが分かった。神楽坂は将軍が通る道だったので最短ルートを重視し高低差を気にしないで通したという。神楽坂を上がってきた高台に種軍が生きたかった場所があった。それが下屋敷だった。下屋敷は江戸郊外に設けた大名の別荘で災害時の避難場所としても使用されていた。この下屋敷を持っていたのは酒井忠勝。酒井忠勝は家康、秀忠、家光の徳川3代に渡って仕えた側近で、将軍家から絶大な信頼を得ていた。家光は特に酒井を頼りにしていて、酒井の屋敷を145回も訪ねた記録が残っている。