Do najciekawszych zabytków Góry Kalwarii zalicza się zespół kościelno – klasztorny bernardynów z kościołem parafialnym p.w. Niepokalanego Poczęcia Najświętszej Maryi Panny. Pierwotnie była tu drewniana świątynia. Po pożarze, w latach 1755 – 1759, marszałek wielki koronny Franciszek Bieliński ufundował murowany, jednonawowy kościół projektowany przez Jakuba Fontanę. Świątynia wzniesiona jest na planie dwóch prostokątów (nawa i prezbiterium) z kwadratową kaplicą św. Waleriana.
„Budowla wyróżnia się jednokondygnacyjną, trójosiową fasadą rozczłonkowaną toskańskimi pilastrami nadającymi jej charakter klasycystyczny. Trójkątny szczyt obejmują walutowe spływy i wazony. Bogate wnętrze utrzymano w stylu barokowo – rokokowym. Warto zwrócić uwagę na sklepienia kolebkowo – krzyżowe i owalne okna w zwieńczeniach ołtarzy.”
W późnorenesansowym ołtarzu znajduje się obraz „Matka Boża z Dziecięciem”, a w zwieńczeniu – „Św. Bonawentura”. Pary kolumn wydzielają boczne nisze z postaciami świętych Piotra i Pawła. Późnobarokowe ołtarze boczne z 3 ćw. XVIII w. zdobią obrazy: „Wizja św. Franciszka”, „Święta Rodzina”, „ Św. Antoni z Padwy” i „Ofiarowanie w świątyni”. Wszystkie namalowane w 3 ćw. XVIII w. prawdopodobnie przez Szymona Czechowicza. Zachowało się także 14 barokowych stacji Męki Pańskiej z II połowy XVIII w.
W kościele pobernardyńskim znajduje się cudowny obraz Matki Bożej Górskiej, zwanej także Łaskawą Matką Pocieszenia lub Matką Bożą Pocieszenia. Obraz pochodzi z początku XVII w. Wizerunek przedstawia Najświętszą Maryję Pannę w koronie z berłem w prawej i z Dziecięciem Jezus w koronie na lewej ręce. Dziecię Jezus trzyma księgę i różyczkę w lewej ręce, a prawą błogosławi.
Ponadto warto zwrócić uwagę na chrzcielnicę z XVII w. oraz XVIII – wieczną rokokowa ambonę. Na ścianach kościoła znajdują się tablice poświęcone księdzu proboszczowi tutejszej parafii Zygmuntowi Sajnie, zamordowanemu przez hitlerowców w Puszczy Kampinoskiej koło Palmir.
 Inne, cenne zabytki kościoła parafialnego:

 Brama prowadząca do kościoła od ul. błogosławionego Księdza Zygmunta Sajny. Znajdują się na niej cztery figury kamienne z XVIII w. przedstawiające św. Bernarda Sieneńskiego, św. Antoniego Padewskiego, św. Franciszka z Asyżu i św. Jana Kapistrana;
 Fronton. Znajduje się na nim kamienna tablica z napisem „Vota mea” wmurowana na pamiątkę odnowienia świątyni w 1848 r.;
 Wnętrze kościoła: architektura i wystrój barokowy z II połowy XVIII w. z licznymi aniołkami na gzymsach i rogach ołtarzy;
 Organy z trzydziestoma ośmioma głosami;
 Kapitularz – sala górna za ołtarzem głównym;
 W prezbiterium obraz Maryi z oddającymi Jej cześć św. Karolem Boromeuszem i św. Ambrożym (XVII w.);
 „Sarkofag z czarnego marmuru pod obrazem Świętej Rodziny, w którym znajdują się relikwie św. Waleriana, męczennika z III w. ... Relikwie te, pobrane z katakumb św. Pryscylli w Rzymie sprowadził do Góry biskup Wierzbowski w 1683 r. i ustanowił św. Waleriana Patronem Ziemi Czerskiej.”