In knapp zwei Monaten findet die Zentralmatura statt, die Vorbereitungen laufen langsam an. Mit wachsender Nutzung des Sprachbots ChatGPT, den mitunter auch einige Schülerinnen und Schüler verwenden, stellt sich auch bei der niederösterreichischen Landesschülervertretung die Frage: Schafft ChatGPT die Matura? Immerhin hat die Software bereits laut Medienberichten die US-Anwaltsprüfung sowie das US-Medizinexamen gemeistert.
Deshalb hat die Schülervertretung genau das mit Teilen der vorjährigen Zentralmatura überprüft. Bei dem Test wurde relativ realitätsnah vorgegangen: Bei der Eingabe in ChatGPT wurde nur die Angabe eingefügt. Bewertet wurden dann die direkten Antworten, die von der Software ausgespuckt wurden – ohne auch noch so offensichtliche Fehler auszubessern. Die Texte in Deutsch wurden dann von einem Team von Lehrerinnen und Lehrern bewertet, die Antworten in Mathe und Englisch von der Schülervertretung selbst – die Lösungen werden jährlich im Anschluss an die Matura veröffentlicht.
Das Ergebnis: Die Software besteht die Matura. Im Fach Deutsch wurde der Textautomat von Lehrern je nach Thema mit einem Befriedigend oder Genügend beurteilt. Am besten bewerteten die Lehrkräfte das Themenpaket, das auch eine Literaturaufgabe beinhaltet. Hier erhielt ChatGPT einen Dreier und Kommentare wie "sprachlich bis auf einige Ausdrucks- und Wiederholungsfehler gut!" oder "Orthografisch gut erarbeitet, auch beim Stil, wenn man von ein paar ungünstigen Wortwiederholungen absieht". Jedoch wurden auch "Inhalte teilweise unnötig ausführlich" beschrieben, die Zitierung als unvollständig bemängelt.
Ein Text "nur langweilig"
Weniger gut wurden die anderen beiden Deutsch-Pakete beurteilt. Die sprachlichen Formulierungen seien auf "niedrigem Niveau, Basisdaten fehlen, Zeilenangaben fehlen, ausreichend vorhanden für ein Genügend". Einmal hätte der Bot beinahe die falsche Textform erwischt, nutzte "keine sprachlichen Mittel, deutliche Abzüge im Auszug, keine Stilmittel, nur langweilig". Knapp, aber doch wurde die Mathe-Zentralmatura für die AHS mit einem Vierer geschafft (18,5 von 36 Punkten). In Englisch, wo nur ein Teil der Matura abgefragt wurde – etwa nicht die Höraufgaben –, kam die Software in diesen Punkten mit einem "soliden Dreier" durch.
Landesschulsprecher Marco Gayer resümierte bei der Pressekonferenz am Mittwoch: "Tritt eine Schülerin oder ein Schüler unvorbereitet zur Matura an und hat es – utopisch gedacht – geschafft, ChatGPT als Begleiter dabeizuhaben, ist es für diesen Schüler oder diese Schülerin möglich, die schriftliche Reifeprüfung in den Fächern Deutsch und Mathematik durch alleiniges Eingeben der Angabe positiv zu bestehen." Allerdings, fügt Gayer hinzu: Der Testlauf der Zentralmatura wurde mit GPT-3.5 gelöst. Kürzlich ist die Version GPT-4 erschienen. "Nun gibt es noch mehr Möglichkeiten." Bei einem neuerlichen Test könnte der Chatbot in Zukunft womöglich deutlich bessere Noten erzielen.
Dennoch, ist das Ergebnis limitiert zu betrachten: Hinter einer künstlichen Intelligenz steckt kein Verstehen im Sinne eines menschlichen Hirns. Die KI kann zwar, wie Schülerinnen und Schüler, so einen Test mit standardisierten Fragen bestehen, allerdings schafft sie es nicht, wie das Wissen dann zu interpretieren oder zu transferieren. Das betont die KI-Forscherin Melanie Mitchell in ihrem Blog. Insofern ist der Chatbot wohl so gut, wie ein Schüler, der Bulimie-artig nur für die Prüfung lernt, wovon aber nicht viel langfristig hängen bleibt. Insofern sagten solche Tests laut Mitchell nicht viel über die tatsächlichen Fähigkeiten einer KI wenig aus. (Selina Thaler, 16.3.2023)