Odmah nasuprot katedralnog kompleksa, na morskim hridima uz rivu nalazi se centar Krčke biskupije, biskupski dvor. Dvor je građen u nekoliko faza, od kojih je najranija ona uz sami Kaštel (romanička faza). Pretpostavlja se da je biskupija utemeljena negdje u 5. stoljeću, međutim, u dokumentima se prvi puta spominje 1133. godine, kao mjesto sastanka kneza, biskupa i predstavnika gradske uprave zbog nužnosti popravka gradskih zidina. U to je vrijeme jurisdikcija krčke biskupije sezala prema sjeveru na kopno sve do Vinodola i Senja. Krčka biskupija bila je dio splitske nadbiskupije sve do sredine 12. stoljeća, potom je potpala pod Zadarsku nadbiskupiju, zatim pod ingerenciju Grada, a tek od 15. stoljeća pripala je Veneciji.
Sve do 1828. godine na sjevernojadranskom području postojale su tri biskupije: krčka, rapska i osorska, nakon čega su posljednje dvije ukinute i potpale su pod jurisdikciju Krčke biskupije.
Danas Krčkoj biskupiji pripadaju otoci Krk, Cres, Lošinj, Rab i sjeverni dio Paga uz manje susjedne otoke.
Krčka biskupija pripada riječkoj metropoliji osnovanoj 1969. godine.