Teren zakupiony w 1759 (lub w 1744) przez zakon pijarów prowadzący Collegium Nobilium z przeznaczeniem dla uczącej się w kolegium przy Miodowej młodzieży na miejsce dla rozrywki i zabawy, a także jako skład m.in. drzewa.
Na rozległej działce powstaje ogród owocowy z letnim pałacem wzniesionym około 1760 (inna data powstania 1744 lub, raczej błędna: 1775; ).
Nadana miejscu nazwa Joli bord ('piękny brzeg') po spolszczeniu stała się nazwą całej dzielnicy - Żoliborz.
Nieopodal pałacu stanął w 1775 młyn wraz zabudowaniami gospodarczymi.
W 1807, po zajęciu przez wojska napoleońskie siedziby konwiktu na Miodowej na lazaret, letnia posiadłość na Żoliborzu staje się nową siedzibą konwiktu. W tym celu do 1822 następuje przebudowa istniejących budynków oraz powstają nowe z przeznaczeniem na mieszkania dla profesorów i mieszkających w konwikcie uczniów.
W 1831 konwikt został przeniesiony na Zakroczymską, po czym w 1832 został rozwiązany.
W 1832 budynki zostały włączone w obszar Cytadeli.
W skład konwiktu wchodziły między innymi:
- dawny pałacyk letni,
- przebudowany na bibliotekę młyn,
- budynek mieszkalny dla uczniów,
- budynek mieszkalny dla uczniów i profesorów,
- kaplica.
