邸宅内は総理大臣を務めていたときに建てた応接間棟と晩年に増改築した新館に分かれていて、異なった建築様式が楽しめる。玄関を入ってすぐにあるのが、応接室。設計したのは、かつての東京劇場や大阪松竹座といった多くの劇場建築を手がけた木村得三郎。劇場のように視界が抜ける室内からは秋になるとカエデ紅葉も楽しめて、吉田もお気に入りの場所だった。2階に広がっているのは書斎があり、総理時代には週末は大磯を訪れ書斎で職務をすることもあったという。そのため、ダイヤルのない官邸直通の黒電話があった。また、総理を守るため、秘密の避難口もあった。増改築した新館は、建築当初は海外の要人を招く迎賓館として使うため豪華な食堂に。毎年新任の外交官たちを招いて豪華な食事会を開いていた。2階には増築後に使われた応接室がある。金の間とよばれ、天井の溝やふすまの取手などに金箔が貼られ豪華な内装。金の間の横にある銀の間も当時は天井一面に銀箔が貼られていた。寝室だったこの部屋で、吉田茂は生涯を終えた。