Тэрыторыя былога калегіума ў межах агароджы, якая праходзіць уздоўж вуліц Ленінскай і Гейсіка, з ацалелымі на гэтай тэрыторыі двума будынкамі казармаў

Узнікненне езуіцкага калегіума звязана з дзейнасцю Мікалая Крыштафа Радзівіла Сіроткі (1549–1616), які ў 1584 г. запрасіў у горад прадстаўнікоў ордэна для місіянерскай дзейнасці.Князь падараваў новазаснаванаму калегіуму маёнтак Ліпск і шэраг паселішчаў. У 1586 г. пачалося будаўніцтва калегіума. Праект быў распрацаваны ў Рыме і дасланы ў Нясвіж. Яго аўтар невядомы. Галоўны корпус быў пабудаваны да 1588 г. і пашыраны ў 1593–1599 гг. Адначасова з гэтым у 1587–1593 гг. ішло будаўніцтва касцёла Божага Цела, які належаў калегіуму. У першыя гады існавання ў калегіуме навучалася каля 90 чалавек, да пачатку XVII ст. іх стала каля 300. Па колькасці вучняў нясвіжскі калегіум у ВКЛ саступаў толькі віленскаму. З 1610 г. пры калегіуме дзейнічала музычная школа, з 1627 г. – першая ў горадзе аптэка, з 1751 г. – друкарня. У 1773 г. у сувязі са скасаваннем ордэна езуітаў, калегіум быў ператвораны з свецкую школу. 

 У 1825–1826 гг. былы езуіцкі калегіум быў знесены, а на яго месцы пабудаваны казармы і гаспадарчыя аб’екты. 

Тэрыторыя выкарыстоўвалася вайскоўцамі да канца ХХ ст. З 1830-х гг. тут знаходзіўся артылерыйскі парк. У часы другой Рэчы Паспалітай (1921–1939) размяшчаліся падраздзяленні 27-а ўланскага палка імя Стэфана Баторыя. Даухпавярховы будынак выкарыстоўваўся як казарма. Будынак цяперашняга Інфармацыйна-касавага цэнтра – кузня. Уздоўж берага Замкавай сажалкі знаходзілася аднапавярховая стайня (суч. Сталярная майстэрня). У цэнтры пляцоўкі размяшчаўся пляц для заняткаў.

З ліпеня 1957 г. на гэтай тэрыторыі размяшчаўся вучэбны батальён па падрыхтоўцы ваенных сувязістаў (в/ч 28679). 

У 1994 г. тэрыторыя ваеннага гарадка, разам з пабудовамі, перададзена музею-запаведніку “Нясвіж”. Двухпавярховы будынак вучэбных класаў першапачаткова быў прыстасаваны для размяшчэння адміністрацыі ўстановы, а з 1998 г. выкарыстоўваўся як фондасховічша. У аднапавярховым будынку спартыўнай залы пасля рамонту размясцілася выставачная зала (цяпер – Інфармацыйна-касавы цэнтр). Двухпавярховы будынак казармы ў 1998 г. перададзены праваслаўнай абшчыне г. Нясвіжа і прыстасаваны пад царкву.