przed 1784.
Pałac powstał przed 1784 za sprawą Izaaka Olliera, kupca bławatnego. Zwrócony frontem do Nowego Światu, jego ogrody sięgały Brackiej. Naśladował formę okazałego pałacu Teppera na Miodowej, był jednak niższy od niego o jedną kondygnację.
Przebudowy:
w 1848 zakupiony przez Władysława Pusłowskiego, który przystąpił do jego rozbudowy wg projektów H. Marconiego (1849-51).
Fasada w formie neorenesansu ozdobiona została w 1851 roku figurami czterech muz: Klio, Talii, Uranii i Erato, wykonanymi przez Pawła Malińskiego.
W ramach przebudowy i rozbudowy budynku na sąsiedniej posesji nr 17 powstała samodzielna kamienica.
W 1853 pałac kupiła Aleksandra z Lavalów Kossakowska. W późniejszym okresie mieściła się tutaj sławna galeria obrazów, było to także miejsce spotkań towarzyskich.
W 1858 nastapiła gruntowna przebudowa apartamentów przez Franciszka Marię Lanciego.
W 1859 gościł w pałacu młody car Aleksander II, a w piątkowe wieczory począwszy od 1874 urządzane były słynne wieczory literackie.
W 1910 roku sprzedano i wyrąbano ogród pod budowę krytego lodowiska "Palais de Glace". Od tej pory pałac zatracił swój reprezentacyjny charakter i stał się typową kamienicą czynszową. W rękach Kossakowskich posesja pozostała do 1930 roku, kiedy to spadkobiercy sprzedali pałac Warszawskiemu Towarzystwu Ubezpieczeń.
Zniszczony:
w 1939 pałac uległ uszkodzeniu, a w 1944 niemal zupełnej zagładzie.
Odbudowa:
w latach 1946-49 przez szwedzkie towarzystwo ASEA wg projektu Mieczysława Kuzmy.
