Ez a mai épületnél kisebb, de jóval pompásabb lehetett kertekkel, medencékkel és madárházzal. Barkóczy püspökségei idején (18. sz. közepe) készült el a második emelet. További jelentős építések Eszterházy Károly püspöksége idején Fellner Jakab tervei alapján történtek. Majd Pyrker János László érsek kérésére készítették el a déli épületrészeket a Bazilika oldalában, klasszicista stílusban 1844-ig. Az elegáns rácsos vaskaput és a középső épületrész emeleti erkélyrácsát Fazola Lénárd kovácsolta. A déli szárnyban az Érseki Hivatal, az északi szárnyban, a volt gazdasági épületrészben az Érseki Gyűjteményi Központ található.