An dieser Stelle stand seit ca. 1120 ein Bischofshof. Im 15. und 16. Jahrhundert wurde das Gebäude mehrmals umgebaut.

Die bestehende Anlage geht auf Fürsterzbischof Wolf Dietrich zurück, der den Neubau der Residenz um 1600 beginnen ließ.
Unter ihm entstanden der Trakt am Residenz- und Domplatz mit dem Carabinierisaal, der Verbindungsbau zur Franziskanerkirche mit den westlichen Arkaden, welche die Franziskanergasse überspannen, sowie die sogenannte „Dietrichsruh“. Der Toskanatrakt wurde unter Erzbischof Markus Sittikus begonnen. Unter Fürsterzbischof Guidobald Graf Thun (1654 - 1668) wurde der Haupttrakt um ein Stockwerk erhöht, um die Residenz optisch an den Dom anzugleichen.

Um 1710 ließ Fürsterzbischof Franz Anton Harrach die Fassade des Hauptbaus nach Entwurf von Johann Lucas von Hildebrandt erneuern. Bis zur Säkularisierung des geistlichen Fürstentums diente die Residenz meist als Sitz der Fürsterzbischöfe von Salzburg.