Das heutige Schloss wurde nach den Zerstörungen von 1499 durch Graf Rudolf von Sulz neu erbaut und diente in der Folgezeit als Residenz. Weil gleichzeitig das Schloss, die Stadt und die Wehranlagen wiederaufgebaut wurden, erstreckte sich die Bauzeit über mehrere Jahrzehnte, so dass sich Spätgotik und Renaissance nebeneinander im Schlossbau wiederfinden.