Jede:r soll die Chance haben, sich gleichermaßen in die öffentliche Debatte einzubringen. Denn ein offener und ausgewogener Diskurs ist ein wesentlicher Grundstein unserer Demokratie. Daher sollte er nicht nur für alle Interessierten frei zugänglich, sondern auch in gleichem Maße einladend sein. Tatsächlich sind aber Online-Debatten für Frauen weniger attraktiv, weil sie dort unter anderem häufig mit Sexismus und Frauenfeindlichkeit konfrontiert sind. Das ist einer der Gründe, warum sich Frauen aus dem Diskus zurückziehen. Auch in den DER STANDARD-Foren sind Frauen unter den Poster:innen in der Minderzahl. Aus diesem Grund hat DER STANDARD in Kooperation mit dem Österreichischen Forschungsinstitut für Artificial Intelligence (OFAI) im Rahmen des Forschungsprojekts "FemDwell" das Geschlechterverhältnis in seinen Foren sowie Dynamiken rund um Geschlechterthemen analysiert und ein KI-gesteuertes Tool entwickelt, das gegen Frauen gerichteten Sexismus in den Foren erkennt.

Wie lernt eine Maschine?

Maschinelles Lernen wird für eine Vielzahl verschiedener Lernsituationen verwendet, beim "überwachten" (supervised) maschinellen Lernen versucht der Algorithmus aus vorgegebenen Beispielen zu lernen, wie sie zu bewerten sind: aus (sehr) vielen Beispielen mit bekannter Bewertung erstellt der Algorithmus ein "Modell", das anschließend imstande ist, Bewertungen für neue, noch nie gesehene Beispiele zu vergeben. Je nach Schwierigkeit der Aufgabe wird dieses Modell einen bestimmten Prozentsatz von Beispielen richtig bewerten, oft ist schon eine Genauigkeit von zum Beispiel 80 oder 90 Prozent hilfreich und stellt eine Arbeitsersparnis für die Moderation dar. Meistens kann das Modell bis zu einem bestimmten Limit verbessert werden, je mehr bewertete Beispiele zur Verfügung stehen. Im vorliegenden Fall werden also von Moderator:innen als sexistisch oder nicht sexistisch bewertete Postings zum Trainieren des Algorithmus und zum Erstellen des Klassifikationsmodells verwendet. Es gibt eine große Anzahl zugrunde liegender Techniken, um solche Modelle zu erstellen, das hier zum Einsatz kommende Modell basiert auf einer Technik des Deep Learning, bei der ein Transformer-basiertes Sprachmodell zum Aufbau eines neuronalen Klassifikationsnetzwerks verwendet wird.

Menschliche Entscheidungen in Datenform

Doch wie kommt man zu einer genügend aussagekräftigen Bewertung von Sexismus, um den Algorithmus zu trainieren? Neben allgemein gültigen Normen für geschlechtsbezogene Diskriminierung beinhaltet die Überprüfung einer Aussage auf sexistische Inhalte auch immer eine subjektive Komponente. Daher wurden für die Entwicklung des Classifiers Richtlinien erstellt, mittels derer die wichtigsten Aspekte von Sexismus abgebildet wurden. Kommentare, die pauschalisierende Stereotype beinhalten, in denen Frauen auf ihr Äußeres und/oder auf ihre Sexualität reduziert und ihre Leistungen abgewertet werden, wurden gemäß den Richtlinien ebenso als sexistisch klassifiziert wie Postings mit weiblich konnotierten Beschimpfungen. Das Absprechen des körperlichen Selbstbestimmungsrechts von Frauen, die Herabwürdigung frauenrelevanter Themen sowie das Bagatellisieren von sexueller Gewalt wurden in den Richtlinien ebenfalls als Aspekte von Sexismus genannt.

8.000 bewertete Kommentare aus den DER STANDARD-Foren

Insgesamt wurden 8.000 Kommentare aus den DER STANDARD-Foren von sieben erfahrenen STANDARD-Moderator:innen und einer Expertin für Sprachtechnologie und maschinelles Lernen des OFAI annotiert. Dabei wurde jeder zu bewertende Kommentar von mindestens drei Personen auf einer Skala von null ("gar nicht sexistisch") bis vier ("extrem sexistisch") eingestuft. Für die endgültige Entscheidung, ob und wie sexistisch ein Inhalt ist, wurde die Mehrheitsmeinung aller Annotierenden herangezogen. In Fällen großer Abweichungen wurden die jeweiligen Personen gebeten, ihre Entscheidung noch einmal zu überdenken und sich auf eine Bewertung zu einigen. Der so entstandene Datensatz ist der erste deutschsprachige seiner Art und wurde für das erfolgreiche Training und Testen der Treffsicherheit des Classifier verwendet.

Für Vielfalt im virtuellen Raum

Der nächste Schritt ist die Implementierung des Sexismus-Classifiers in die bestehenden STANDARD-Moderationstools. So können Moderator:innen mithilfe künstlicher Intelligenz auf sexistische und frauenfeindliche Kommentare frühzeitig aufmerksam gemacht werden. Problematische Foren können dadurch rechtzeitig erkannt und aktiv moderiert werden. So arbeiten die KI-Technologie und die Forenmoderator:innen zusammen, wobei die letztendlichen Entscheidungen immer in menschlicher Hand bleiben. Durch das Entfernen frauenfeindlicher und sexistischer Kommentare werden destruktive Dynamiken abgeschwächt und im Optimalfall verhindert. Das erhöht den Anreiz für Frauen, sich in öffentliche Debatten einzubringen, und fördert Diversität.

Da Sexismus und Frauenfeindlichkeit nicht nur in den DER STANDARD-Foren ein Problem darstellen, ist eine Veröffentlichung des Korpus für wissenschaftliche Forschung geplant. So können sowohl das Trainingskorpus als auch der Classifier weiterentwickelt werden. Davon profitieren wir als Gesellschaft. Denn durch ein computergestütztes Vorgehen gegen geschlechterbezogene Diskriminierung und Frauenfeindlichkeit in virtuellen Räumen werden Debatten ausgewogener, das Meinungsspektrum vielfältiger und Diskussionen anregender. Das stärkt eine Demokratie. Aufgrund dieser gesellschaftspolitischen Bedeutung wurde der Sexismus-Classifier kürzlich mit dem renommierten Medienpreis "Medienlöwe des Jahres" ausgezeichnet.