Budowa:
1639-42.
Pałac, zbudowany dla Jerzego Ossolińskiego, posiadał czworokątny piętrowy korpus główny z dwiema sześciokątnymi wieżyczkami w narożach od strony ogrodu.
Po śmierci Ossolińskiego pałac przechodzi w ręce rodziny Lubomirskich (córka Ossolińskiego, Helena Tekla wyszła za mąż za Aleksandra Michała Lubomirskiego).
Przebudowy:
- 1681-97 - według projektu Tylmana z Gameren, przebudowa prowadzona przez Helenę Lubomirską i jej syna Józefa Karola Lubomirskiego, od strony dziedzińca dobudowano dwa dwupiętrowe alkierze zdobione rzeźbami królów, zwieńczone stożkowymi dachami, połączone dobudowaną siedmioosiową elewacją, która zasłoniła dotychczasową pięcioosiową. Od strony ogrodu w miejscu wież wzniesiono dwa dwupiętrowe pawilony. Prawdopodobnie w czasie tej przebudowy (albo jeszcze przed jej rozpoczęciem) wystrój wewnętrzny pałacu został wzbogacony o kamieniarkę wymontowaną z pałacu Kazanowskiego (zakupionego przez Helenę Teklę w 1663).
Po śmierci J. K. Lubomirskiego pałac przechodzi w ręce rodziny Sanguszków. W 1721 i 1727 (problemy prawne) podarowany królowi Augustowi II, ponownie w rękach Sanguszków około 1733.
- w 1750 pałac został zakupiony przez Henryka Brühla - ministra Augusta III.
1754-59 - gruntowna przebudowa według projektu J.F. Knöbla i J.D. Jaucha. Podwyższono korpus główny do wysokości dwóch pięter i zwieńczono go wysokim mansardowym dachem. Nad wejściem głównym pojawił się balkon. Zlikwidowano wnęki z rzeźbami na fasadzie zastępując je oknami. Fasada od strony ogrodu otrzymała klasycyzującą kolumnadę. Na miejscu budynku wjezdnego zbudowano reprezentacyjną bramę, zbudowano też dwie piętrowe oficyny po obu stronach dziedzińca.
Po śmierci Brühla pałac wynajęty ambasadzie Rosji, która w późniejszym okresie przenosi się do pałacu Teppera.
Pałac zakupiony przez księcia Adama Ponińskiego. Obciążony licznymi długami, staje się własnością licznej grupy wierzycieli.
W 1787 zakupiony przez rząd Rzeczpospolitej z przeznaczeniem na ambasadę rosyjską. W zbliżonym okresie tylna część ogrodu zostaje rozparcelowana pod zabudowę przy nowowytyczonej ul. Niecałej.
- 1787-88 - generalny remont pod kierownictwem Dominika Merliniego dla ambasady rosyjskiej
Po III rozbiorze rezydencja władz pruskich, w późniejszym okresie siedziba francuskiego gubernatora Warszawy, a następnie francuskiego posła.
Od 1815 rezydencja wielkiego księcia Konstantego.
Po 1862 siedziba różnych instytucji:
- w 1862 w pałacu mieści się wydział Paszportowy Komisji Rządowej Spraw Wewnętrznych, zostaje też urządzona cerkiew pw. św. Jerzego Zwycięzcy (cerkiew Warszawskiego Okręgu Wojskowego) - istniejąca w pałacu do 1915,
- w okresie czerwiec 1862-lipiec 1863 rezydencja i kancelaria Naczelnika Rządu Cywilnego (Aleksandra Wielopolskiego),
- w okresie 1864-1867 kancelaria i rezydencja naczelnika Komitetu Urządzającego ds włościan w Królestwie Polskim, równocześnie w latach 1864-1869 oraz 1871-1876 kancelaria i rezydencja naczelnika Warszawskiego Komitetu Cenzury,
- 1868 kancelaria Rady Głównej Opiekuńczej Zakładów Dobroczynnych
- 1868-1876 kancelaria do składania próśb u podnóżka tronu
- 1869 komisja ds. oszacowania gruntów pod rozszerzenie esplanady cytadeli
W latach 1875-76 remont oraz rozbiórka oficyn na tyłach pałacu (przy ul. Wierzbowej).
W 1879 pozostająca część ogrodu została rozparcelowana, a przy pałacu została wytyczona ul. Kotzebue (obecna Fredry).
Kolejne instytucje w pałacu:
- 1877-1878 Warszawski damski komitet towarzystwa Czerwonego Krzyża (w tym szpital dla żołnierzy w czasie wojny rosyjsko-tureckiej)
- 1881-1882 ekspozycje Muzeum Sztuk Pięknych i Muzeum Przemysłu i Rolnictwa
Jesienią 1882 budynek zostaje przejęty przez Zarząd Warszawskiego Telegrafu.
W okresie jesień 1882-1883 część pomieszczeń oddana na zimową siedzibę Warszawskiego Towarzystwa Wioślarskiego
1883-1885 remont i adaptacja pałacu dla Zarządu Warszawskiego Telegrafu wraz z umieszczeniem w nim Centralnego Biura Telegraficznego, Projekt wykonał Karol Kozłowski. Główne wejście do Urzędu zostaje urządzone od strony ul. Kotzebue (Fredry). Prawdopodobnie wówczas przebudowano wysoki parter tworząc w jego miejscu dwie kondygnacje.
Po 1918 w oficynach pałacu oraz kamienicy na rogu Wierzbowej i Fredry mieści się siedziba Ministerstwa Spraw Zagranicznych, zaś korpus główny pałacu w dalszym ciągu zajmuje Urząd Telegraficzny.
W 1932, po przeniesieniu Biura Telegraficznego do nowej siedziby przy Nowogrodzkiej 45, rozpoczyna się przebudowa głównego korpusu pałacu dla Ministerstwa Spraw Zagranicznych - autorem wszystkich prac był Bohdan Pniewski.
Pomiędzy 1932 a 1934 zrekonstruowano elewację wzorując się na projektach Tylmana z Gameren z utrzymaniem wysokości budynku i dachów z czasów Brühla. Przy ul. Fredry, od strony Ogrodu Saskiego, dobudowano nowe skrzydło mieszczące mieszkanie ministra Becka i salę balową oraz rozbudowano lewą oficyną pałacu o budynek biurowy (od strony Ogrody Saskiego).
Całość prac została zakończona w czerwcu 1937 r.
Zniszczony:
wysadzony w grudniu 1944.
Obecnie:
od stycznia 1981 do sierpnia 2008 na jednym z zachowanych betonowych elementów konstrukcyjnych pałacu stał pomnik Stefana Starzyńskiego (autorstwa Ludwiki Nietschowej), obecnie stojący przed gmachem szkoły podstawowej na ul. Saskiej.
Od lat toczy się również dyskusja odnośnie odbudowy pałacu.
