Plany klasztoru i kościoła opracował wiedeński architekt Richard Jordan, a budową kierował Adam Kozłowski. Kościół jest budowlą trzynawową, a jego ściany wykonano z nietynkowanych cegieł. Za ołtarzem głównym na piętrze umieszczono chór zakonny. Wyposażenie kościoła (z końca XIX w.): ołtarze, kazalnica i stacje drogi krzyżowej zostało wykonane w istniejącej do dziś pracowni Ferdynanda Stuflessera w Gröden St. Ulrich w Tyrolu. W ołtarzu głównym centralne miejsce zajmuje obraz olejny św. Józefa autorstwa Franciszka Bergmana z Czech. Po prawej i lewej stronie w niszach znajdują się figury reformatorów zakonu karmelitańskiego: św. Teresy z Avili oraz św. Jana od Krzyża. Powyżej nich figury świętych karmelitańskich: św. Bertolda oraz Marii Magdaleny de Pazzi, a na zwieńczeniu ołtarza figura Boga Ojca z dwoma aniołami. Tabernakulum stanowiące serce ołtarza jest oskrzydlone przez figury adorujących aniołów. Zwieńczeniem tabernakulum jest rzeźba Baranka apokaliptycznego leżącego na księdze zamkniętej siedmioma pieczęciami. Kamienna mensa głównego ołtarza (stół) została ozdobiona płaskorzeźbami ukazującymi ofiarę Melchizedeka oraz złożenie ofiary z Izaaka przez Abrahama. W lewej nawie bocznej w ołtarzu Matki Bożej Szkaplerznej umieszczono wizerunek Matki Bożej z Góry Karmel wg obrazu Frein’a von Oër. Przed Ołtarzem tym, po pierwszej komunii św. otrzymał swój pierwszy szkaplerz Karol Wojtyła. Od tej pory przyszły papież zawsze nosił płócienny szkaplerz i nigdy go nie zastąpił medalikiem szkaplerznym. Obecnie relikwia szkaplerza św. Jana Pawła II jest eksponowana w złotej rozecie umieszczonej na ścianie po lewej stronie od ołtarza. W 2004 r. obraz św. Józefa w ołtarzu głównym przyozdobiony został Pierścieniem Rybaka Ojca Świętego Jana Pawła II, a kościół „Na Górce” otrzymał tytuł Sanktuarium św. Józefa.