Wer mit Daniel Fabian spricht, der merkt schnell: Dem aus Österreich stammenden Chef von Googles "Red Team" macht sein Job so richtig Freude. Und wer könnte ihm das verdenken – ist es doch seine Aufgabe, genau das zu tun, was sonst streng verboten ist: mit ausgeklügelten Angriffen die Systeme des eigenen Unternehmens auf Schwachstellen zu prüfen, seien sie technischer oder menschlicher Natur. "Offensive Sicherheit" nennt sich dieses Konzept, Fabians offizieller Titel "digitaler Brandstifter" trifft es aber wohl besser.
Im Rahmen der Eröffnung von Googles neuer Cybersicherheitszentrale im südspanischen Málaga hatte DER STANDARD die Möglichkeit, ein Interview mit Daniel Fabian zu führen. Darin erzählt er recht offen über die Herausforderungen seiner Arbeit, plaudert über seine eigene Techniknutzung und erklärt, warum er gerade bei künstlicher Intelligenz noch viele Herausforderungen auf uns zukommen sieht.
STANDARD: Ein Red Team arbeitet in einer gewissen Weise gegen das eigene Unternehmen. Wie definiert man da Erfolg?
Fabian: Das ist eine gute – und schwierige – Frage. Ich denke, es gibt unterschiedliche Ebenen an Erfolg. Für das Team selbst ist es natürlich ein Erfolg, wenn sie ihr Ziel erreichen, also jene Lücken finden, mit denen der simulierte Angriff erfolgreich ist. Eine zweite Ebene ist aber der Einfluss, den diese Arbeit auf die Sicherheit von Google hat, die Verbesserung der Erkennung und Abwehr von Angriffen. Unsere Arbeit endet also nicht, wenn die eigentlichen Angriffsziele erreicht sind, sie beginnt eigentlich erst richtig – müssen wir doch sicherstellen, dass die daraus gewonnenen Erkenntnisse in reale Sicherheitsverbesserungen verwandelt werden.
STANDARD: Trifft das Red Team dabei manchmal auch auf Probleme, die anschließend nicht gelöst werden können?
Fabian: Absolut. Ich würde zwar nicht sagen, dass es Dinge gibt, die wirklich unlösbar sind, aber natürlich ist immer die Frage, wie teuer und komplex eine Lösung ist. Es geht bei solchen Dingen immer um eine Risikoabschätzung, und das heißt, dass wir manchmal auch Risiken akzeptieren müssen. Und manchmal brauchen Bereinigungsprojekte auch Jahre, einfach weil sie extrem komplex sind. Wir versuchen dabei auch bewusst nicht nur ein Pflaster auf ein einzelnes Problem zu kleben, sondern immer zu analysieren, was dahintersteht. Über andere Varianten und die wahren Ursachen nachzudenken, strukturelle Verbesserungen zu finden, statt nur einzelne Lücken zu schließen.
STANDARD: Das wären dann so Dinge wie Code in Programmiersprachen wie Rust neu schreiben, richtig?
Fabian: Ja genau. Speicherfehler sind eine ganze Klasse an Fehlern, die es mit Rust nicht gibt und die man durch einen Wechsel weg von älteren Programmiersprachen loswerden kann. Aber es geht auch darum, Entwicklern Tools in die Hand zu geben, mit denen es sehr schwer ist, Fehler zu machen. Eine unserer Kernphilosophien ist: Entwickler sollten nicht Sicherheitsexperten sein müssen, insofern wollen wir ihnen Frameworks anbieten, die von Haus aus sicher sind. Damit sie sich nicht selbst mit Dingen wie Verschlüsselung oder der Absicherung gegen SQL-Injection-Angriffen (ein verbreitetes Problem bei der Einbindung von Datenbanken in Webseiten, Anm.) herumschlagen müssen.
STANDARD: Ein Red Team muss üblicherweise ein sehr striktes Regelwerk, die "Rules of Engagement", einhalten, damit es zu keinen realen Schäden kommt. Trotzdem bleibt natürlich immer ein Restrisiko. Ist dabei wirklich noch nie etwas passiert?
Fabian: Sagen wir es mal so: Wir haben noch nie einen großen Ausfall ausgelöst.
STANDARD: Also nur einen kleinen?
Fabian: Da gibt es natürlich Raum für Interpretation. Aber wenn man sich unsere Rules of Engagement ansieht, dann dürfte schnell klar werden, dass sie aus Erfahrung früherer Red-Team-Übungen geschrieben wurden. Aber klar, es läuft nicht immer alles so, wie man es plant. Aber genau das können wir dann nutzen, um Verbesserungen vorzunehmen und Gefahren besser zu verstehen.
Ganz generell sind wir als Red Team bei Google in einer sehr glücklichen Position, weil uns Google sehr viel Freiheit gibt, um Angriffe auszuprobieren. Wir arbeiten dabei auch mit einer wirklich tollen Rechtsabteilung zusammen. Wo diese bei anderen Firmen oft nur darauf aus ist, alle solche Dinge zu verhindern und schlicht Nein sagt, überlegt die Rechtsabteilung bei Google immer, wie sie unsere Ideen sicher und legal möglich machen kann.
STANDARD: Solch ein Regelwerk beschränkt natürlich die Möglichkeiten eines Red Teams. Ein Angreifer interessiert sich etwa wenig für rechtliche Fragen, macht sich auch keine Sorgen über Schäden. Wie groß ist dieser Nachteil?
Fabian: Den gibt es natürlich, Angreifer haben keine Regeln. Wir können zum Beispiel nicht einfach Sachen am Schwarzmarkt kaufen. Gleichzeitig haben wir aber Teams wie die Threat Analysis Group (TAG), die den Schwarzmarkt sehr genau beobachtet und genau weiß, was sich dort abspielt und erhältlich ist. Wir können dann also auf deren Wissen aufbauen und das simulieren.
STANDARD: Wenn man so lange ein Red Team anführt und sieht, was alles möglich ist: Wie wirkt sich das auf die eigene Nutzung von Technik aus?
Fabian: Das hat natürlich Auswirkungen, ist für mich aber gleichzeitig auch immer eine Erinnerung daran, dass Sicherheit oft sehr unbequem sein kann. Wenn ich etwa nicht einfach jede App verwenden kann, weil sie ziemlich gruselige Berechtigungen verlangt. Prinzipiell treffe ich diese Entscheidungen aber so wie jeder andere: Das hier ist ein Risiko, das ich bereit bin einzugehen, was anderes wiederum nicht.
Ich habe beispielsweise zwei Smartphones, davon eines, wo mir Sicherheit weniger wichtig ist. Das lasse ich dann zu Hause, um zu verhindern, dass irgendwelche Apps meinen Standort mitbekommen. Ansonsten benutze ich aber auch bei meinem privaten Google-Konto das "Advanced Protection"-Programm, das dieses zusätzlich schützt. Das hat zwar gewisse unangenehme Nebeneffekte, aber die bin ich dann bereit einzugehen.
STANDARD: Sie leiten seit einigen Monaten auch ein eigenes Red Team von Google für den Bereich künstliche Intelligenz. Welche spezifischen Herausforderungen ergeben sich durch KI?
Fabian: Die rasante Verbreitung von KI-Technologien führt dazu, dass sich ganz neue Angriffsflächen eröffnen. Sei es die Manipulation von Sprachmodellen oder auch der Versuch, dort Hintertüren einzubringen. Es gibt viele böse Dinge, die man Maschinenlernsystemen antun kann, und ich gehe davon aus, dass das in der Zukunft auch tatsächlich von Angreifern genutzt werden wird. Nicht dass sich diese dann ganz auf Maschinenlernen konzentrieren, aber neben klassischen Angriffstechniken werden sie halt künftig auch passende Werkzeuge für diese Dinge in ihrer Toolbox haben.
Ich denke, derzeit sind die Verteidiger hier noch im Vorteil, einfach weil all die KI-Sachen – vor allem generative KI und Maschinenlernen – noch superneu sind. Die Angreifer werden also etwas Zeit brauchen, diese Fähigkeiten aufzubauen, was uns die Zeit gibt, jetzt schon Probleme zu finden und diese zu adressieren, bevor sie aktiv angegriffen werden.
STANDARD: Ist das auch ein neues Supply-Chain-Problem, also Gefahren durch die Integration von Drittkomponenten, wie wir sie in den vergangenen Jahren immer stärker gesehen haben? Einfach weil viele Firmen jetzt schnell sehr mächtige KI-Modelle in ihre Software integrieren, ohne groß über die Risiken nachzudenken?
Fabian: Das ist definitiv eines der größeren Probleme in diesem Bereich. Aus irgendeinem Grund gehen die Leute davon aus, dass KI-Modelle Daten sind, aber das ist falsch. In Wirklichkeit ist das aber Code. Wenn sich Leute bösartige Modelle herunterladen und betreiben, dann hat das Auswirkungen, die sich nicht von klassischer Schadsoftware unterscheiden lassen. Gerade KI-Forscher agieren, was das anbelangt, bisher sehr offen. Es ist gängige Praxis, einfach Modelle aus dem Netz herunterzuladen, um sie auszuprobieren.
Insofern ist das ein Bereich, in den wir investieren müssen, um sicherzustellen, dass wir eine durchgängige Nachweisbarkeit von Modellen haben. Um garantieren zu können, dass sie nicht manipuliert wurden. Da geht es dann aber nicht nur um Supply-Chain-Fragen, sondern auch um Dinge wie das "Vergiften" von Modellen. Wir müssen also dahin kommen, dass eindeutig nachweisbar ist, anhand welcher Trainingsdaten ein Modell trainiert wurde und wie dann Finetuning betrieben wurde. Um dann all diese Dinge mit kryptografischen Signaturen abzusichern, damit man sicher sein kann, dass das Modell nicht manipuliert wurde.
STANDARD: Bietet KI Angreifern auch jenseits dieser großen Ebene noch neue Möglichkeiten?
Fabian: Phishing ist sicher das große Thema hier. KI erlaubt es, betrügerische Nachrichten sehr viel besser, sehr viel professioneller wirkend zu gestalten. Wir wissen, wie schlecht bisher zum Teil Phishing-Attacken waren, wo etwa klar war, dass die Angreifer die Sprache nicht sprechen. Das geht mit KI natürlich sehr günstig, sehr viel besser. Das ist natürlich etwas, was wir als Red Team selbst ausprobieren können, um dann hoffentlich Wege zu finden, solche Attacken besser zu identifizieren und die Nutzer davor zu schützen.
Sehr interessant sind übrigens auch die neuen Regeln der US-Regierung für künstliche Intelligenz. Diese sehen nämlich vor, dass die Hersteller Risikoabschätzungen für eine Reihe von Dingen vornehmen müssen. Dazu gehört neben biologischen oder chemischen Risiken auch die Frage, ob solche Systeme die Waffenentwicklung erleichtern. Eine weitere Kategorie sind aber Cyberangriffe. Das heißt, wir müssen testen, wie sich unsere Modelle für offensive Cyberangriffe nutzen lassen, und das ist etwas, an dem mein Team beteiligt ist. Dabei arbeiten wir mit anderen Google-Abteilungen wie Deepmind direkt zusammen.
STANDARD: Zum Abschluss noch eine sehr allgemeine Frage, und das ist ganz und gar nicht der Versuch von mir, Tipps für Geschichten zu bekommen, aber: Was ist ein Cybersecurity-Thema, über das zu wenig berichtet wird?
Fabian: Ich weiß nicht, ob zu wenig berichtet wird, aber der gesamte Bereich Maschinenlernen ist superinteressant. Da gibt es viele Dinge, die wir 2023 noch nicht gesehen haben, die aber 2024 ein großes Thema werden könnten. Ich gehe davon aus, dass Angriffe auf Maschinenlernsysteme kommendes Jahr stark zunehmen werden – durch die mal mehr, mal weniger sichere Integration in so viele Produkte, wie es gerade passiert.
Dabei ist es ein riesiges Problem, dass Entwickler meist davon ausgehen, dass die Antworten von solchen Modellen vertrauenswürdig sind, während wir wissen, dass ihr Training zu großen Teilen auf Basis der gesammelten Daten des Internets erfolgt ist. Damit sind sie aber in Wirklichkeit auch ungefähr so vertrauenswürdig wie das Internet als Ganzes.
Das soll nicht heißen, dass diese Modelle nicht supermächtig und nützlich sind. Aber aus einer Angreiferperspektive kann man sie definitiv dazu bringen, Dinge zu tun, mit denen die Entwickler nicht rechnen.
STANDARD: Wir danken für das Gespräch. (Andreas Proschofsky, 3.12.2023)