Budowa:
około 1651-56 jako kamienica dla Wawrzyńca Reffusa.
Zniszczona w 1657 w czasie szturmu Warszawy przez wojska Stefana Rakoczego.
Po długotrwałej odbudowie odkupiona w 1698 przez kanonika wileńskiego K. Białłozora, który wkrótce oddał ją w użytkowanie księciu Jerzemu Dominikowi Lubomirskiego.
Przebudowy:
na początku XVIII w. książę Lubomirski przebudowuje kamienicę nadając jej pałacowy charakter oraz dobudowuje południowe skrzydło,
po 1720 następuje kolejna przebudowa - pałac otrzymuje północne skrzydło,
w 1777 pałac stał się własnością króla Stanisława Poniatowskiego, który powierzył Dominikowi Merliniemu jego przebudowę, w latach 80-tych XVIII w. pałac został połączony z nowym gmachem Biblioteki Stanisławowskiej, a przylegające do niej skrzydło zostało podwyższone o dwa piętra, prawdopodobnie również wtedy zlikwidowano zwieńczenie ryzalitu od strony Wisły,
od 1794 pałac był własnością księcia Józefa Poniatowskiego,
w latach 1850-54 przebudowany przez Gustawa Corri, m.in. obniżono dach nad korpusem głównym pałacu,
w latach 1932-37 generalna restauracja pałacu pod kierunkiem Adolfa Szyszko-Bohusza - podwyższono dach, rozebrano piętra nad skrzydłem północnym przy Bibliotece (w 1937),
Zniszczony:
spalony w 1944.
Odbudowa:
1948-49 pod kierunkiem Stanisława Barana.
Obecnie:
w 2004 w trakcie prac budowlanych na dziedzińcu pałacu odnaleziono fragmenty wału obronnego istniejącego wokół grodu istniejącego w miejscu południowo-wschodniego narożnika Zamku Królewskiego.
