江戸時代の赤坂は大名屋敷や武家屋敷が建ち並んでいたと言います。これは徳川家康が江戸城に入城した際、赤坂周辺に赤坂見附門を設け、台地には紀州徳川家の上屋敷をはじめ大名屋敷を、赤坂見附門近くの低地には藩士の屋敷を置き、江戸城の西側の防御としたためです。

明治維新によりこれらの大名屋敷や武家屋敷は使われなくなりましたが、広大な敷地を活かして、京都から移ってきた公家や政府の要人の邸宅として使われるようになります。現在、紀州徳川家上屋敷跡地は赤坂御用地や「迎賓館」として使われているほか、広島藩浅野家中屋敷は「赤坂サカス」、松代藩真田家中屋敷は「アメリカ大使館宿舎」、川越藩松平家中屋敷は「アークヒルズ」になっています。

溜池交差点や「溜池山王」駅の由来になったことで知られる溜池付近には、かつて大きな溜池がありました。溜池周辺はもともと湿地が広がり、雨が降ると水が溜まる場所だったと言います。江戸時代初期になるとこの湿地に手を加え、溜池として利用するようになります。その後、この溜池は江戸城の外堀としての役割も果たすようになりました。

江戸中期以降、溜池は徐々に埋め立てられるようになりましたが、初夏には蛍も飛び交う風光明媚な場所として親しまれてきました。溜池周辺には風景を楽しむ人々向けの茶屋が設けられ、これが赤坂の料亭街の始まりとされています。

明治時代になると溜池は外堀通りの整備に伴い、完全に埋め立てられましたが、溜池周辺の茶屋は料亭に発展、多くの政財界人や軍人でにぎわったそうです。

赤坂と六本木の総鎮守として、街を守り続けてきた神社が「赤坂氷川神社」です。「赤坂氷川神社」は、951（天歴5）年の創建と伝えられ、以前は赤坂見附にあったと言います。全国各地の氷川神社と同様、「赤坂氷川神社」も埼玉県さいたま市にある「氷川神社」から分祀され、誕生しました。

8代将軍徳川吉宗の時代（享保元年 1716年）に現在地に移転し、以後、赤坂のシンボルとして親しまれてきました。徳川吉宗は紀州徳川家の生まれで、紀州徳川家上屋敷よりも高い場所にと考え、この地に移転することになったと言われています。現在も徳川吉宗の時代に建てられたものが残り、東京都の重要文化財にも指定されています。 祭神は素盞嗚尊（すさのおのみこと）、奇稲田姫命（くしいなだひめのみこと）、大己貴命 （おおなむぢのみこと）で、「厄除け」「良縁・縁結び」「家内安全」「商売繁盛」の神様として知られています。

「赤坂氷川神社」には貴重な宝物も数多く残されています。その一つが「氷川神社」と記された勝海舟直筆の掛け軸で、かつて勝海舟が「赤坂氷川神社」近くに住んでいたことから、書かれたものです。また、紀州家の櫓太鼓もあり、今でも毎朝打ち鳴らされています。 「赤坂氷川神社」には江戸型山車も残されていました。2007（平成19）年の祭礼からこの山車が「氷川山車」として巡行されるようになりました。江戸時代の祭礼は京都の影響を受け、山車が中心だったと言います。かつての祭礼の形態が復活したことでも注目されています。