Spacerując po Górze Kalwarii warto obejrzeć także dawne Kolegium Pijarów, ufundowane w 1675 r. przez biskupa Wierzbowskiego. W 1819 r. budynki te pijarzy sprzedali wojsku rosyjskiemu na koszary, które w 1840 r. zostały zamienione na przytułek dla starców, rozbudowany w 1860 r., według projektu Henryka Marconiego. Ślady dawnych budowli pijarskich zachowały się w partiach dwóch pawilonów, zajmowanych dziś przez największy w Polsce Państwowy Dom Pomocy Społecznej, zwany popularnie Zakładem.
„Skrzydło zach. (dawne Kolegium) na planie prostokąta, piętrowe, na piwnicach sklepionych kolebką i kolebką z lunetami. Układ wnętrz trójtraktowy, z korytarzem, po obu stronach którego dwa ciągi pomieszczeń. W przyziemiu korytarz sklepiony kolebką krzyżową, w niektórych pomieszczeniach sklepienia kolebkowe z lunetami na gurtach.”