Herzog Carl Eugen ließ die prunkvolle dreiflügelige Anlage ab 1746 errichten. Vorbild waren die französischen Fürstenresidenzen seiner Zeit. Es entstand eine der letzten großen süddeutschen barocken Schlossanlagen. Nach schweren Zerstörungen im zweiten Weltkrieg wurde das Schloss in den Jahren zwischen 1958 und 1964 wieder aufgebaut. Heute residieren Kultus- und Finanzministerium in dem prächtigen Bau.