Klaus Schuch: "Evaluierungen im Forschungs- und Technologiebereich sind anspruchsvoller geworden."
STANDARD: Österreich, sagen Sie, habe eine gut entwickelte und nachhaltige Evaluationskultur. Woran machen Sie dieses positive Urteil fest?
Schuch: Vorhandene Förderprogramme und Instrumente werden hierzulande verhältnismäßig oft evaluiert. Österreich bedient sich auch viel häufiger als andere vergleichbare Länder externer Evaluatoren, was zu einem höheren Maß an Unabhängigkeit in der Bewertung führt. Positiv kann man schließlich auch bewerten, dass Evaluationen überwiegend während der Programmlaufzeit durchgeführt werden, die Verbesserungsvorschläge also direkt einfließen. Was fehlt, sind echte Wirkungsevaluationen. Das Interesse daran ist sehr gering, weil Wirkungen im Forschungs- und Technologiebereich in der Regel erst nach mehreren Jahren eintreten, und da gibt es so manches Förderprogramm schon gar nicht mehr. Damit fehlt auch das politische Interesse. Außerdem sind diese Studien sehr komplex, da fehlt es an Ressourcen und vor allem am Budget.
STANDARD: Wie kann man Wirkung messen?
Schuch: Wirkung ist mehr als das Abzählen von Förderfällen und auch mehr als das Abzählen von Patentanträgen oder Publikationen. Zum einen gehört die Verbindung zur Technologiefolgenabschätzung neu aufgebaut, um tatsächliche ökonomische, soziale und ökologische Wirkungen, die von Förderungen ausgehen mögen, in ihrer Komplexität abzuschätzen. Dafür wären jedoch neue Evaluierungsdesigns notwendig. Aber auch in Bezug auf rein ökonomische Wirkungen wie auf die tatsächliche Verbesserung oder Einführung neuer Produkte oder Services aufgrund öffentlicher Interventionen wissen wir überraschend wenig.
STANDARD: Wo sehen Sie noch Optimierungsbedarf? Forscher und Wissenschafter beklagen häufig den hohen bürokratischen Aufwand. Können Sie diese Kritik nachvollziehen?
Schuch: Die Klagen von Forschern und Wissenschaftern betreffen den bürokratischen Aufwand auf Projektebene, der sowohl eine eindeutige Zuordenbarkeit als auch einen Zusammenhang von Arbeitseinsatz und Ergebnis in der Forschung suggeriert: So werden Stundenlisten gebastelt, auch von Personen, die eigentlich spätnachts am kreativsten denken. Forschungsprojekte sind in erster Linie Konstrukte zur Kommunikation von Vorhaben zwischen Forschern und finanzierenden Agenturen. Dass das lästig ist, ist nachvollziehbar. Da es sich aber um Steuergeld handelt, ist Evaluierung und Kontrolle die bessere Wahl im Vergleich zum Klinkenputzen. Optimiert kann hier werden, indem man offensiv mit Transparenz umgeht und bei Großprojekten auf dieser Basis den persönlichen Kontakt, etwa im Rahmen von Hearings, erhält.
STANDARD: Wie evaluiert Europa im Vergleich zu den USA?
Schuch: Evaluationen von öffentlichen Interventionen im Forschungs- und Technologiebereich sind in den USA deutlich standardisierter und routinehafter als in Europa. In der EU gibt es vielfältigere Evaluationen, sowohl in Bezug auf den Untersuchungsgegenstand, den Zweck als auch auf den Methodeneinsatz. John Marburger, der Chef des Office of Science and Technology Policy, hat in der letzten Bush-Administration versucht, die Verbindung zwischen Wissenschaft und öffentlicher Verwaltung wieder stärker zu betonen. Der Schwerpunkt diesbezüglich war jedoch stark ökonometrischer Natur. Es wurde auch versucht, die Datenlage auszubauen, z. B. durch das "starmetrics"-Projekt. Hier träumt man davon, systematisch Daten über jeden Menschen, der jemals eine öffentliche Forschungsförderung bekommen hat, jede Forschungsgruppe und jede Universität zu erheben und in Richtung von Effizienzfragen und Wirkungsfragen auszuwerten. In Zeiten der NSA-Überwachungsskandale erscheint das in einem schiefen Licht.
STANDARD: Inwieweit haben sich Evaluierungen in den vergangenen Jahren geändert?
Schuch: Evaluierungen im Forschungs- und Technologiebereich sind anspruchsvoller geworden. Der Austausch auf Plattformen und auf der großen internationalen Evaluierungskonferenz hat dazu maßgeblich beigetragen. Evaluierungen sind traditionell oft sehr nationalstaatlich fokussiert, in der eigenen Landessprache verfasst und haben kaum eine englischsprachige Zusammenfassung. Oft sind sie auch nicht öffentlich zugänglich, verschwinden in Schubladen und sind daher auch einer externen kritischen Reflexion entzogen. In Österreich ist das nicht so. Wir versuchen über die Plattform fteval, so weit wie möglich alle Evaluationen ins Internet zu stellen. Wir suchen bewusst den Austausch mit anderen, um von ihnen zu lernen, um bessere Evaluierungen machen zu können. Dazu zählt auch die Einbeziehung von ausländischen Experten in Evaluierungsvorhaben. Im eigenen Land ist man ja sonst recht schnell ein Champion. (Peter Illetschko, DER STANDARD, 13.11.2013)