Während Swoboda in der Regel inhaltliche Kompetenz nicht abgesprochen wird, wird häufig bezweifelt, dass er die Wähler mobilisieren kann. Er kam 1996 als Listenführer der größten Partei Österreichs auf nur knapp 39.000 Vorzugsstimmen, was hinter ÖVP-Spitzenkandidatin Ursula Stenzel (168.000), FPÖ-Spitzenkandidat Franz Linser (knapp 45.000) und Michael Spindelegger von der ÖVP nur den vierten Platz bedeutete. Diese Zweifel führten dazu, dass ihm im Wahlkampf 1999 der parteifreie Journalist Hans-Peter Martin als Spitzenkandidat vorgezogen wurde. Swoboda kandidierte damals sogar nur an vierter Stelle, um zwei Frauen auf der Liste den Vortritt zu lassen. Die SPÖ errang knapp aber doch wieder die meisten Stimmen.
Fixe Größe
Im Parlament wählten die SPÖ-Europa-Abgeordneten 1999 aber zur allgemeinen Überraschung und öffentlich demonstrierten Verstimmung Martins doch wieder Swoboda zum Delegationsleiter. Swoboda war bereits nach seiner ersten Periode im EU-Parlament eine fixe Größe in der sozialistischen Fraktion geworden. So wird er jetzt von den Parteiinsidern als "Schwergewicht" und "Mann, den man bei wichtigen Fragen anhört" gelobt. Swoboda ist unter anderem in der Fraktion Vorsitzender der "Koordinatoren", das sind die Abgeordneten, die für einzelne Themengebiete zuständig sind. Damit hat er in der Vorbereitung der Plenartagungen und des Abstimmungsverhaltens der zweitgrößten Fraktion des EU-Parlaments eine zentrale Rolle. Nach seiner Wiederwahl kann er mit der Fortsetzung seines Einflusses rechnen, ihm werden sogar Chancen auf den Fraktionsvorsitz eingeräumt, wenn der deutsche Martin Schulz keine Mehrheit bekommen sollte.
SPÖ-Tabu gebrochen
Schon 1996 spezialisierte sich Swoboda auf die Verkehrs- und Sicherheitspolitik. Für eine ungewöhnliche Position war er dabei immer gut, etwa als er 1996 eine gegenseitige Beistandspflicht der EU-Staaten forderte und damit ein SPÖ-Tabu brach. Während er in der österreichischen Wahrnehmung vor allem in den Transit- und Ökopunkte-Verhandlungen aktiv war, ist er aus Sicht des EU-Parlaments auf Außenpolitik, dabei wiederum insbesondere den Balkan und den Nahen Osten spezialisiert.