Im letzten Beitrag ("Was sagen Zitationsanalysen eigentlich aus?") habe ich die Aussagekraft und die Rezeption der Höchstzitierten-Liste kritisch abgeklopft. In diesem zweiten Beitrag möchte ich näher beleuchten, wie diese Liste überhaupt zustande kommt, und auch kurz diskutieren, warum sie wichtig genommen wird.

Die Höchstzitierten-Liste ist eine spezifische Auswertung der Zitationsdatenbank "Web of Science". Konkret werden in diesem Datenbanksystem alle Publikationen einer beträchtlichen Anzahl wissenschaftlicher Journals gesammelt und nach Artikeln je Jahrgang ausgewertet. Zunutze macht es sich dabei ein ureigenes Phänomen wissenschaftlicher Literatur, das Referenzsystem (Zitation, Bibliographie). So kann festgestellt werden, wie oft ein Artikel von anderen Artikeln in der Datenbank zitiert wird. Die Annahme dabei: Je öfter die Texte eines Journals von anderen Journals in der Datenbank zitiert werden, desto relevanter ist nämliche Zeitschrift für den Fortschritt wissenschaftlicher Erkenntnis.

Mehr als nur eine Übersicht

Ursprünglich wurde "Web of Science" angelegt, um festzustellen, welche Zeitschriften öfter zitiert werden als andere, damit Uni-Bibliotheken ihre Zeitschriften-Abos entsprechend ausrichten konnten. Bald wurde deutlich, dass man aus diesem Datenbestand noch weit mehr ableiten kann. So lassen sich Autoren identifizieren, die produktiv sind, weil sie viele Artikel in annotierten Zeitschriften publizieren. Und klarerweise lässt sich bestimmen, welche Artikel besonders häufig zitiert werden.

"Web of Science" ist übrigens nicht die einzige, aber wohl die älteste und nicht zuletzt deshalb auch bekannteste Zitationsdatenbank (ein ähnlich groß angelegter Konkurrent ist Elseviers "Scopus", und daneben gibt es auch eine Reihe von eher fachspezifischen Datenbanken).

Das oberste Prozent

Grundlegendes Kriterium, um es auf die Höchstzitierten-Liste zu schaffen, ist die Anzahl der Artikel eines Autors, die in einem bestimmten Feld meistzitiert sind, und zwar die so genannten "top 1%". Für jedes Feld wird dabei ein eigener Schwellenwert definiert: die Wurzel aus der Summe aller Autoren in dem Feld.

Da diese Ziffer ein "somewhat arbitrary cut-off" darstellt, wie Clarivate zugibt, werden außerdem noch alle Autoren inkludiert, die die geringstmögliche Zahl an höchstzitierten Artikeln haben. Außerdem werden noch alle Autoren inkludiert, die einen höchstzitierten Artikel weniger haben, sofern die absolute Zitationszahl zu ihren Topartikeln wenigstens innerhalb der 50 Prozent jener liegt, die es über den Schwellenwert geschafft haben. Alles klar?

Was immer man von der Methode halten mag, sie setzt zunächst eine Datenbank voraus, die systematisch alle Artikel sowie alle Zitate untereinander erfasst, und zwar mehrere Jahrzehnte zurückgehend. Auch wenn es trivial klingen mag, es braucht auch eine eindeutige Zuordnung von Autoren. Clarivate gibt an, dass für die Höchstzitierten-Liste eine aufwendige "author disambiguation", also eine genaue Klärung der Autorenidentität, stattgefunden hat.

Herausforderungen

Das ist auch dringend notwendig, denn die Datenbank selbst gibt das nicht her. Namen wie, um bei einem naheliegenden Beispiel zu bleiben, "Thomas König", stellen ein notorisches Problem dar, nicht nur wegen des Umlauts, mit dem die anglophone Datenbank nicht recht umzugehen weiß, sondern auch weil das nun mal ein ziemlich häufiger Name ist. (Mein Selbstversuch hat drei unterschiedliche Namenseinträge für von mir verfasste Artikel ergeben).

Außerdem braucht es noch die Grenzziehung zwischen verschiedenen Wissenschaftsfeldern und die Berechnung der meistzitierten Artikel. Bei den Feldern hat sich Clarivate auf 21 festgelegt, wobei jedes Journal einem oder mehreren Feldern zugerechnet wird, und somit jeder Artikel in dem Journal als Berechnungseinheit für dieses Feld dient. (Die Ausnahme bilden multidisziplinäre Megajournals wie "Nature" und "Science", bei denen je Artikel die Zuordnung zum Feld passiert.) Es ist eine willkürliche, aber effektive Auswahl von besonders wertvollen Artikeln. Warum aber wird sie so gern angenommen?

Expandierendes Feld

Die wissenschaftliche Produktion ist in den letzten sieben Jahrzehnten enorm gewachsen, und zwar gewissermaßen nicht nur in die Höhe, sondern auch in die Breite: Sowohl die Anzahl an wissenschaftlichen Publikationen als auch die Themenbereiche (Disziplinen, Felder, …) Diese Expansion wurde ermöglicht durch die intensive Ressourcenausstattung, welche die wissenschaftliche Forschung in den letzten Dekaden erfahren hat; sie ist zugleich der eigentümlichen Logik wissenschaftlichen Erkenntnisfortschritts geschuldet, wonach ein Forschungsergebnis vielleicht eine Antwort auf eine alte Frage liefert, jedenfalls aber eine Reihe von neuen Fragen aufwirft.

Es ist heute unmöglich, noch einigermaßen Überblick über größere Wissenschaftsfelder zu behalten (geschweige denn über die Wissenschaft insgesamt). Zugleich aber haben steigende Ressourcenzuwendungen bewirkt, dass betriebswirtschaftliche Maßstäbe wie Produktivitätssteigerung und Rechenschaftspflicht ("Accountability") in den Wissenschaftsbetrieb eingezogen sind.

Die Folge ist Wettbewerb auf allen Ebenen: zwischen Wissenschaftern, die nach diversen Metriken gemessen werden; zwischen Universitäten, die in globalen Rankings gereiht werden; zwischen Nationalstaaten und Weltregionen, wo etwa der relative Anteil verschiedener Länder bzw. Weltregionen an den höchstzitierten Artikeln über eine gewisse Periode festgestellt wird.

Produktplatzierungsmaßnahme

Metriken versprechen, ein unüberschaubares Feld ordnen und eine scheinbar "harte" Aussage über Produktivität und Wirksamkeit von wissenschaftlicher Forschung treffen zu können, und Wissenschaftsmanager und -politiker sind bereit viel Geld dafür zu zahlen. Wie schon im letzten Beitrag geschrieben, ist die Höchstzitierten-Liste gratis; sie umfasst freilich nicht mehr als Namen, Affiliation, und Wissenschaftsfeld. Mehr scheint auch nicht notwendig zu sein, denn auch wissenschaftliche Institutionen suchen sich dankbar heraus, wer von ihren Mitarbeitern es auf die Liste geschafft hat, und publizieren das dann stolz – wie zum Beispiel die Akademie der Wissenschaften.

Damit erfüllt die Liste geschickt ihren Zweck als Produktplatzierungsmaßnahme, denn sie wirbt für weitere indikatorengestützte Analysen, und mithin für kostenpflichtige Instrumente wie zum Beispiel die Essential Science Indicators (ESI) – eine "Leistungsstatistik", die alle zwei Monate erneuert wird und dabei helfen soll, die wichtigsten "heißen" Artikel ("hot papers"), die aufstrebenden Forscher in einem Feld und auch noch neue Forschungsthemen ("research fronts") zu identifizieren. Potenziellen Kunden werden ein besserer Überblick und ein zeitlicher Vorsprung versprochen: mithin eine "entscheidende analytische Ressource für Politiker, Administratoren, Analytiker und Informationsspezialisten".

Wege zur Entscheidungsfindung

Analyseinstrumente dieser Art versprechen, dass wissenschaftspolitisch sensible Entscheidungen besser begründet werden könnten. Entscheidungen wie etwa darüber, wer eine Professur bekommen soll, oder bei wem sich die Vergabe eines Forschungsgrants langfristig wirklich auszahlt. Die Branche sieht hier zweifellos noch viel Potenzial, etwa die Mittelallokation durch algorithmenbasierte Datenanalyse zu gewährleisten statt, wie derzeit weit verbreitet, qua qualitatives Expertenurteil ("peer review").

Würde damit nicht ein zielgerichtetes, weniger schwerfälliges Verfahren einhergehen, welches (Steuer-)Gelder effektiver und effizienter einzusetzen vermag? Warum soll für die Wissenschaft nicht gelten, was in vielen anderen Lebensbereichen heute schon Realität ist? Clarivate, Elsevier und Konsorten stehen bereit. Allerdings: die Entscheidung darüber, wer in der Wissenschaft die Entscheidungsmacht haben soll, ist längst nicht getroffen. Darüber möchte ich im dritten und abschließenden Beitrag schreiben. (Thomas König, 22.12.2017)