1777-ben Mária Terézia kinevezte Szily Jánost az új szombathelyi egyházmegye főpásztorának. Szily nagy lendülettel kezdte el az új püspöki székhely kiépítését. Először a szemináriumot, majd a püspöki palotát terveztette meg Melchior Hefele osztrák építésszel. A palota a régi vártemplom körül épült meg, kétemeletes, U alakú formában 1778-1783 között. A klasszicizáló késő barokk stílusú épület legközelebbi „rokona”a pozsonyi prímási palota, szintén Hefele alkotása. A szombathelyi palota főhomlokzata nyugodt, kiegyensúlyozott, háromtengelyes rizalittal, a homlokzaton végigfutó szobordíszes attikával, középen erkéllyel. Az első emeleten kaptak helyet a reprezentatív termek, a rizalit mögött a kétszintes díszterem, mellette a fogadószobák, a metszetterem, a sarokban a Szent Pál-terem. A termek dekorálásában Franz Anton Maulbetsch (díszterem), Dorffmaister István (Sala terrena, Szent Pál-terem) vett részt. A földszinti, kertre néző Sala terrenában Szily az első archeológiai múzeumot rendezte be a környéken talált és összegyűjtött római kőemlékekből. A püspöki palota az egyik legegységesebb és legjobb állapotban megmaradt késő barokk városi palota Magyarországon, amely a megépülésétől egyazon funkciót szolgál.