Sein Debüt gab Hollweg 1962 an der Kammeroper Wien. Die ersten Engagements führten ihn in der Folge nach Bonn, Gelsenkirchen und Düsseldorf. Nach dem erfolgreichen Vorsingen bei Herbert von Karajan folgten bald Berlin, Hamburg, München und wieder Wien. Bei den Salzburger Festspielen gehörte er über zwei Jahrzehnte zu den meistgefeierten Mozart-Interpreten.
Als Sänger arbeitete der Tenor u.a. mit Giorgio Strehler, Zubin Mehta, Claudio Abbado, Pierre Boulez, Yehudi Menuhin, Nikolaus Harnoncourt und August Everding zusammen.
In den 80er Jahren begann Hollweg außerdem erfolgreich als Regisseur zu arbeiten, z.B. inszenierte er "Zaide" bei den Wiener Festwochen 1983 am Theater an der Wien, gleichzeitig wandte er sich der zeitgenössischen Musik zu.