徳川家康は、関ヶ原の合戦に勝利し、慶長8年(1603年) 江戸に幕府を開いて後、すぐの慶長10年(1605年) 将軍職を秀忠にゆずります。慶長12年(1607年) 3月11日駿府に隠居し、元和2年(1616年) 死去するまでの9年間実際に決定権を持ち大御所政治として駿府で采配をふるっています。家康が、「駿府」を隠居とした理由は何故だったのでしょうか。
気候が温暖、東海道の要衝、また、この地に少年時代12年間、壮年次代5年間をすごしていることなどがあげられます。
しかし、これ以上に忘れてはならないのが、駿府には彼の親しい人達が眠っていることです。苦難の浜松時代の側室、西郷の局 (二代将軍秀忠の母) が眠る宝台院、今川の人質時代に面倒をみてくれた祖母源応尼と五女市姫の眠る華陽院、秀忠の異父妹で正院・旭姫の供養塔のある端龍寺などの寺院があったことです。

家康は駿府を隠居の地と定めるとすぐ、城の修築にとりかかりました。大御所の実力を誇示するためか、工事は驚くべき速さで進み、わずか5ヶ月間で出来上がり入城しました。
家康は、城の修築とともに、駿府の町づくりも行っています。
まず、市内を何本かの流れになってとおもっていた安倍川を藁科川と合流させる方法をとり、大規模な治水工事を進めました。この工事を、薩摩藩にやらせたため「薩摩土手」(薩摩通り)とよばれて、今にその名が残ります。ついで、街の区画整理に着手し「九十六ヶ町」の町づくりを進めました。こうして、整理された駿府の町ができ、呉服町、紺屋町など職人の住む町や、金座、銀座などが設置されていきました。当時の駿府の町は、大御所のいる町として、政治・文化の中心地で、多数の外国人が訪れ、国際都市・駿府の様相を呈していました。

彼らは、多くの旅行記を残しており、駿府の人口についてドン・ロドリゴは12万人、またはビスカイノは10万人と記しています。江戸の人口が15万人といわれますが、それに匹敵する大きさだったことが分かります。
元和2年(1616年) 4月、家康が死去し、遺言により久能山東照宮に葬られますとその子頼宣が城主となりました。元和5年(1619年) 頼宣が紀伊へ転封されて、駿府城は一時番城となりました。その後、徳川忠長の城主(1625〜1631) を経て、幕府直轄の番城となり、幕末まで城代が在番していました。