Die erste Stadtresidenz der Wittelsbacher war eine traditionelle vierflügelige Burganlage um einen Innenhof mit Hofgraben, Zwinger, Kapelle und Hofpfisterei. Nach starken baulichen Veränderungen blieb nur der zentrale gotische Abschnitt mit dem Erkertürmchen aus der Zeit um 1470 erhalten. Auf jeden Fall sehenswert ist der geschlossene Hof, in dem im Sommer gelegentlich Konzerte stattfinden. Heute residieren in dieser bevorzugten Altstadtlage die Finanzbehörden.