Bodoči duhovniki so se pred 16. stoletjem šolali in vzgajali v samostanih in pri posameznih duhovnikih ali škofih. Šele tridentinski koncil je naročil, da mora vsak škof imeti svoje semenišče. Ljubljanski škof Tomaž Hren je 1605 v Gornjem gradu, ki je bil drugo središče ljubljanske škofije, uredil Marijin kolegij, kjer so se mladi duhovniki pripravljali na dušno pastirstvo po župnijah. V Ljubljani so za študij bogoslovcev skrbeli jezuiti, ki so v svojem študijskem programu od 1619 dalje imeli tudi »visokošolska« predavanja iz moralke.
Ko so 1701 začeli zidati novo stolnico in jo 1706 posvetili, so na sinodi sklenili ustanoviti pravo semenišče. Stavbo so začeli zidati 1708, od leta 1717 je že moglo v njej stanovati nekaj bogoslovcev, ki so hodili v šolo k jezuitom. Člani akademije operozov so temu zavodu dali ime Collegium Carolinum – Karlov zavod, da so ga razlikovali od semenišča pri jezuitskem kolegiju, kjer so stanovali predvsem revnejši dijaki.
Zgradbo je zasnoval stavbenik Carlo Martinuzzi. Prizidani Peerov trakt ob Ljubljanici je uredil stavbenik Candido Zulliani l. 1758. Stavba bi ostala povprečna, če je ne bi krasil Mislejev portal (1714). Portal sestavljata dva kamnita Herkula (Gibraltar kot konec znanega sveta), ki podpirata kapitela s preklado in napisom Virtuti et Musis (Krepostim in umetnostim) v posebni kartuši. Vmes so simbolični reliefi. Portal je nastal v delavnici kamnoseka Luke Misleja. Kipe je izklesal Angelo Putti.
Veliko spremembo je pomenil čas jožefinizma proti koncu 18. stoletja, ko so morali 1783 vsi bogoslovci v Gradec v centralno bogoslovje, kjer so bili deležni enotne državno-cerkvene vzgoje in izobrazbe. To ni trajalo dolgo, že 1791 so bili spet v Ljubljani, a vzgojna usmeritev je še nekaj desetletij ostala janzenistično-jožefinska. Glede študija, ki je bil v isti hiši, kjer so sicer stanovali bogoslovci in nekaj profesorjev, so se namreč morali povsod ravnati po obveznem učnem načrtu, enakem za vso Avstrijo.
Vsaj v začetku 19. stoletja so poleg predavanj v latinščini začeli predavati pastoralne predmete tudi v slovenščini. Predavanja so bila do 1852 v sosednjem liceju, kjer je od ljubljanskega potresa dalje živilski trg. Tam so imeli bogoslovci tudi obvezni pouk o slovenskem jeziku. Velik poudarek je bil na študiju Svetega pisma, saj so vsi znali toliko hebrejsko in grško, da so lahko brali in razlagali izvirno besedilo. V začetku 20. stoletja so v večjem obsegu začeli predavati filozofske predmete. Profesor dr. Janez Evangelist Krek je pripravil zanje pomembna skripta. Tudi cerkvena umetnost pod vodstvom Janeza Flisa je takrat postala sestavina teološkega študija.
Od ustanovitve univerze 1919 so v semenišču samo stanovanja za bogoslovce in vodstvo. Večji pretres je zavod doživel leta 1945, ko je večina študentov odšla v emigracijo in tam nadaljevala teološki študij, nova oblast pa je v zelo izpraznjeno hišo naselila invalide in še koga. Do 1952 je bilo mogoče doseči vsaj delno izpraznitev, dokončno pa šele 1959, ko so v kleti uredili pokrito mestno tržnico. Ob prenovitvi bogoslužja po drugem vatikanskem cerkvenem zboru je tudi semeniška kapela doživela marsikaj novega po načrtih ing. arh. Toneta Bitenca in z umetninami slikarja duhovnika Staneta Kregarja.
Veliko število bogoslovcev je 1968 povzročilo, da je del mariborskih bogoslovcev ponovno začel študirati v Mariboru, kjer je odtlej oddelek – enota ljubljanske teološke fakultete. V hiši so tako ostali samo bogoslovci ljubljanske, koprske in novomeške škofije.
Leta 2012 sta se semenišči zaradi zmanjšanega števila bogoslovcev ponovno združili v eno vseslovensko bogoslovno semenišče.