江戸時代、徳川時代の四天王の一人とも呼ばれた越後高田藩の榊原家の大名屋敷であった。
明治４年(1871)の廃藩置県により、藩主や当主の多くが国元に帰り空き家同然に荒れ放題になり、明治政府の管轄になる。
榊原家の後には、西郷隆盛の部下である薩摩の桐野利秋、いわゆる「人斬り半次郎」とも呼ばれた中村半次郎に払い下げられる。
明治10年(1877)の西南の役(西南戦争)で桐野利秋は戦死、当主が亡くなり再び明治政府に返還される。その後には旧舞鶴藩藩主で知事の牧野弼成(まきのすけしげ)が所有するも、一応権利だけは有していたが、ここに居住した証拠になる資料が残っていない。
三菱財閥の創始者岩崎彌太郎が明治11年(1878)にこの土地を入手。1万5千坪ともいわれ当時の購入額が３万４千円という当時では破格の高額でした。
西南の役には総額３千万円から４千万円ほどの費用を要したと言われているが、岩崎彌太郎がその海運事業を基に兵搬送から武器輸送までのすべてを請け負い、その一割に当たる300万円ほどが支払われたと言われています。その翌年にこの地を購入しています。当時の一般的な地価は坪当たり２銭５厘（1万5千坪＝250円？？？に対して34,000円を払った？）と言われています。
加えて明治11年(1878)には、現在の六義園12万坪、清澄庭園3万坪も購入しています。
岩崎彌太郎は明治7年(1874)に大阪から東京に本社を移し、三菱商会を名乗る。その当時は湯島の梅園町の天神近くに居住。
明治15年(1882)にここに移り住む。岩崎彌太郎は家屋には無頓着だったようで、庭の整備に傾注した。
明治18年(1885)に岩崎彌太郎死去。
その後を継いだのは彌太郎の子息の久彌。洋館の迎賓館と併せて和式住宅を建造。建坪550坪、20数棟という壮大な計画。
1896年（明治29年） コンドル設計の本邸完成
太平洋戦争以降
1945年（昭和20年）
GHQが接収、情報機関「キャノン機関」本部となる（岩崎家は和館の一部に居住）
1947年（昭和22年）
財産税の物納として国有財産化
1948年（昭和23年）
米軍接収の旧岩崎邸を立教大学系の聖公会神学院が買い取り、和館を教室と説教場に、洋館は米軍が使用した。岩崎久弥一家、富里へ転居。末廣農場敷地内の旧岩崎家末廣別邸へ。
1951年（昭和26年）
米 キャノン機関、左翼作家鹿地亘を拉致し、ここに監禁する。(鹿地事件)
1953年（昭和28年）
米軍と聖公会神学院双方が立ち退いた後、聖公会神学院は敷地と建物を最高裁判所に売却し政府所有となり、速記者養成のための書記官研修所とした
1961年（昭和36年）
洋館および撞球室を重要文化財に指定
1965年（昭和40年）
敷地の春日通りに面した約3,200坪を売却、湯島ハイタウン、池之端文化センター等の建設
1969年（昭和44年）
和館大広間を重要文化財に指定。司法研修所庁舎建設のために和館の大部分460坪を解体撤去。岩崎邸としての建坪は約1/3となる
1971年（昭和46年）
鉄筋コンクリート5階建ての司法研修所庁舎完成
1994年（平成6年）
司法研修所の移転に伴い、文化庁に移管
2001年（平成13年）
東京都に移管、都立公園として開園
2003年（平成15年）
洋館内部の改修（金唐革紙等の復元製作）が完了、通年公開を開始
2011年（平成23年）
本庭園に隣接する旧池之端文化センターの跡地(以下、拡張部)を東京都が取得したことにより、庭園整備を図ると共に、既存の管理・便益機能を拡張部に集約し、利用者サービスを兼ね備えた新管理所の整備を始める
2023年（令和5年）
拡張部完成
洋館：ジョサイア・コンドル
和館：岡本春道
作庭：八代目小川治兵衛・小川白楊
洋館1F
洋館2F
洋館屋根裏
和館
撞球室
