Im 13. Jahrhundert wurde das Areal der heutigen Albertina durch die Erweiterung der Stadtmauer Teil von Wien. Aus dieser Zeit stammt ein Turm, der 1999 freigelegt und in das neu errichtete Studiengebäude integriert wurde.

Nach der ersten Türkenbelagerung (1529) wurde die Befestigungsanlage vergrößert. Das Areal liegt seit damals elf Meter über dem Straßenniveau. Eine Rampe ermöglichte die Auffahrt vom Schweinemarkt (heute Lobkowitzplatz) her.

Mitte des 17. Jahrhunderts entstand auf der Bastei der kaiserliche Bauhof. Emanuel Teles Graf Sylva-Tarouca, Präsident der Niederländischen Kanzlei, ließ ab 1745 statt diesem ein Palais errichten. 1780 wurde Albert Herzog von Sachsen-Teschen von Kaiserin Maria Theresia zum Statthalter der österreichischen Niederlande berufen. Er übersiedelte nach Brüssel, wo er Schloss Laecken erbauen ließ.

1792 musste er im Zuge der Napoleonischen Kriege fliehen. 1794 erhielt er von Kaiser Franz II. das Palais Tarouca als Geschenk. 1800 begannen die Umbauarbeiten nach Plänen von Louis de Montoyer. Im Klostertrakt wurde Alberts herausragende Sammlung von Meisterzeichnungen und Druckgrafiken untergebracht.

1822 ging Alberts Besitz an Erzherzog Carl, der das Palais 1822 nach Plänen von Joseph Kornhäusel im Stil des Klassizismus gestalten ließ. 1847 erbte Carls ältester Sohn, Erzherzog Albrecht, den Besitz. Unter Mitnahme aller beweglichen Güter verließ Erzherzog Friedrich 1918 Österreich. Palais und Sammlung gingen als Fideikommiss in den Besitz der Republik über. Aus der Zusammenlegung mit der Kupferstichsammlung der Nationalbibliothek entstand die Graphische Sammlung Albertina. Zur Aufstellung des enormen Bestandes mussten nun auch Teile der Prunkräume als Depots genutzt werden.

Am 12. März 1945 wurden das Palais und die Bastei von Bomben getroffen. In der Folge riss man die Auffahrtsrampe ab. Die historistische Fassade wurde abgeschlagen, der Haupteingang von der Bastei in den seither sichtbaren Keller an der Augustinerstraße verlegt. (DER STANDARD, ALBUM, Printausgabe vom 8./9. März 2003)