„Declaring War on the Impact Factor“

Was ist das Anliegen von DORA? In der Öffentlichkeit wurde DORA martialisch als „Kriegserklärung gegen den Impact Factor“ dargestellt (z. B. Balaram 2013). Die Empfehlungen von DORA richten sich an unterschiedliche Personenkreise im Publikationsprozess wie Forschungsförderer, Verleger, Institutionen, Metriken anbietende Organisationen sowie Forscherinnen und Forscher. DORA empfiehlt in der Tat, den Journal Impact Factor (JIF)^[1], bei der Gründung von DORA noch vom Medienkonzern Thomson Reuters^[2] berechnet, nicht zur Bewertung individueller wissenschaftlicher Leistungen zu verwenden.

Dies ist eine sinnvolle, aber im Grunde keine revolutionäre Forderung. Fast die gesamte Forschungsliteratur zum Thema belegt, dass JIFs keineswegs repräsentativ für den Einfluss der einzelnen Artikel der jeweiligen Zeitschriften sind (article impact, siehe Seglen 1997). Zitier von Artikeln sind innerhalb der einzelnen Journale statistisch stark schief verteilt. Einige wenige erfolgreiche Artikel erwirtschaften oft einen Großteil der Zitate eines Zeitschriftjahrgangs. Bis zu 70 Prozent der Artikel weisen wesentlich geringere Zitierungen auf, als es der JIF als arithmetisches Mittel vermuten ließe. Möglicherweise ist gerade dieser „Huckepackeffekt“ eine Ursache für die Beliebtheit des JIF. Denn gering zitierten Artikeln können so illusionäre Zitiererfolge zugeschrieben werden. Immer öfter schmücken Autorinnen und Autoren ihre Publikationslisten mit JIF-Punkten, zur Freude ihrer akademischen Verwaltungen – und den (wechselnden) Eigentümern der Zitierungsdatenbanken SCI & SSCI, welche die Datengrundlagen für die JIF-Berechnungen liefern.

„to assess an individual scientist’s contributions ... on its own merits“

Was fordert DORA? Forschung sollte nicht mehr nach dem Publikationsorgan (der Höhe des JIF der betreffenden Zeitschrift), sondern „on its own merits“ (DORA 2012) bewertet werden: „Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions. “ (ebd.)

Wissenschaftliche Publikationen aufgrund ihrer kritischen Prüfung durch Fachleute statt über JIF-Werte als „Qualitätsmaß“ zu bewerten, ist ebenfalls eine Forderung, die bereits vielfach gestellt wurde, allerdings bisher ohne durchschlagenden Erfolg. Eher im Gegenteil: Etliche Länder offerieren den einzelnen Autorinnen und Autoren beachtliche finanzielle Bonuszahlungen für JIF-Publikationen – das heißt für von Thomson Reuters erfasste Publikationen (Tüür-Fröhlich 2014; 2016, 41). Manche Länder sind einen Schritt weiter gegangen und binden die Höhe der Boni an die Höhe der JIF-Punkte (Chou et al. 2013; Jiménez-Contreras et al. 2002). Die in der Literatur zahlreich belegten disziplinären Unterschiede bei Zitierraten und JIFs (z. B. Stellenwert von Publikationen in der Landessprache, Stellenwert von Büchern) werden bei den Bonuszahlungen nicht berücksichtigt. Autorinnen und Autoren aus Fächern mit hohen durchschnittlichen Anzahlen an Zitierungen sind daher bevorteilt, sozial- und kulturwissenschaftliche Autorinnen und Autoren sind genau deshalb benachteiligt.

Kennzahl 3.B.1

Österreich ist keine Ausnahme: Leistungsvereinbarungen zwischen Ministerium und Universitäten enthalten entsprechende Erfolgsindikatoren. Das österreichische Bundesministerium für Wissenschaft, Forschung und Wirtschaft verpflichtet die von ihr finanzierten Universitäten dazu, vor allem die Zahl in den Thomson Reuters-Zitierindexen SCI, SSCI und AHCI (für Natur-, Sozial-, Kulturwissenschaften) erfassten Publikationen aus der jeweiligen Universität in den Wissensbilanzen buchhalterisch anzuführen (siehe Bundesministerium für Wissenschaft und Forschung 2010/2012).^[3] Ähnlich wie in den Businessplänen in der neoliberalen Privatwirtschaft sehen die jeweils für drei Jahre abgeschlossenen Leistungsvereinbarungen prozentuale Steigerungen dieses Publikationsoutputs vor.

Weitere Punkte der Kritik und der Empfehlungen von DORA sind in den wissenschaftlichen und Massenmedien eher unerwähnt geblieben. Diese Lücke möchte ich mit meinem Beitrag schließen.

„Putting science into the assessment of research“

Es ist mir aufgefallen, dass der Untertitel der Deklaration: „Putting science into the assessment of research“ (DORA 2012) kaum beachtet wurde. In DORAs Untertitel kommt zum Ausdruck, dass die derzeitigen Evaluationspraktiken wissenschaftlichen Maßstäben nicht genügen. Wissenschaftliche Methoden werden zu allererst über intersubjektive Überprüfbarkeit definiert bzw. das System Wissenschaft über das Wissenschaftsethos bei Robert K. Merton (1972, 1973). Oft totgesagt, zeigen viele wissenschaftsethische und wissenschaftspolitische Initiativen in den letzten Jahren eine Wiederbelebung der institutionellen Imperative Mertons:

1. Kommunismus (aufgegriffen vor allem in der Open Access-, Open Science-Bewegung): Wissenschaftlerinnen und Wissenschaftler verdanken ihre Leistungen den Arbeiten ihrer wissenschaftlichen Vorgängerinnen und Vorgänger und haben daher auch die Pflicht, deren Resultate in den Wissenspool der Menschheit wieder einzuspeisen.

2. Universalismus: wissenschaftliche Resultate und Kritik sollen unabhängig vom Status des „Senders“ ernst genommen werden. Eigentlich verbietet dies, Befunde aus JIF-höheren Journalen einen wissenschaftlich höheren Status einzuräumen.

3. Uneigennützigkeit (im amerikanischen Original: „desinterestedness“) meint nicht, dass Wissenschaftlerinnen und Wissenschaftler keine Karriere machen oder kein Geld verdienen dürfen. Doch Forschungsdesigns, Methoden bzw. Ergebnisse dürfen nicht zugunsten der Auftraggeber manipuliert oder verbogen werden.

4. Organisierter Skeptizismus: Alles und jedes soll kritisch untersucht werden.

Mertons Forderungen sind keine Beschreibung des Wissenschaftsalltags, sondern normativ zu interpretieren: So sollte gute Wissenschaft funktionieren. Institutionelle Imperative bedeutet: Es ist nicht (nur) Sache der einzelnen Wissenschaftlerinnen und Wissenschaftler, diese Werte zu praktizieren, sondern ihre Institutionen sollten die Einhaltung dieser Werte fordern und fördern.

Black Box Zitatindexierung

DORA bezieht sich zumindest indirekt auf Mertons Wissenschaftsethos, vor allem auf sein Postulat des Kommunismus. Dies lässt sich aus DORAs Kritik an der Intransparenz der Berechnung des JIF bzw. aus DORAs Forderungen nach eindeutiger Transparenz schließen: „data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public“ (DORA 2012).

Wu et al. (2008, 582) beginnen ihre kritische Analyse der Thomson Reuters-Datenbank SCI: „It is of the utmost importance to know and understand the specific indexing methods underlying this database. Yet, it is shown that this is not easy to find out.“ Meine eigenen Forschungserfahrungen decken sich voll und ganz mit dieser Kritik. Ich möchte sie sogar noch ausweiten. In meiner Dissertation (Tüür-Fröhlich 2016) untersuchte ich die trivialen Fehler in Zitatdatenbanken und deren Auswirkungen auf betroffene Autorinnen und Autoren, Journale, Institutionen. Im Laufe der qualitativen und quantitativen Fallstudien zu den Fehlern in SSCI-Records stieß ich auf zahlreiche unerwartete Informationsbarrieren.

Ursprünglich hatte ich vorgesehen, meine Datenbank-Analysen durch Interviews mit Expertinnen und Experten zu ergänzen. Das erwies sich als nicht realisierbar, denn eigentlich war und ist alles geheim. Niemand wollte oder wagte mir etwas zu sagen, ob Beschäftigte von Thomson Reuters oder Forschende. Wenn es doch zu einem Gespräch kam, dann nur „informell“, „off-records“ und inhaltlich vage. Auf konkrete Nachfragen zur Klärung von Details kamen keine Antworten.

Geschäftsgeheimnisse der Datenbanken und in der quantitativen Evaluation

Was ist im Kontext von Datenbanken und quantitativer Evaluation geheim, d. h. durch Geheimhaltungsverträge geschützt? Es beginnt bei den Preisen für Datenbankenlizenzen, gerüchteweise 100 000 Euro für eine einjährige Campuslizenz für eine größere Zitatdatenbank. Den Bibliotheken ist es nicht gestattet, darüber Auskunft zu geben. Es geht weiter mit den Preisen für „customised data“. Damit sind Datensätze gemeint, die sich Kunden kaufen müssen, wenn sie spezielle Evaluationen durchführen wollen. Der maschinelle Zugriff über die Campuslizenz ist untersagt. Auch hier soll es um hohe Beträge gehen, Summen ab 100 000 Euro je Datenset jährlich wurden angedeutet. Diese zusätzlich zur Datenbank-Lizenz teuer gekauften Daten sind sehr fehlerhaft. Sie müssen von den Kunden aufwändig „gesäubert“ werden. Szientometrikerinnen und Szientometriker gaben mir gegenüber informell zu, 80 Prozent ihrer Zeit mit Datensäuberungen zu verbringen. Die eingekauften Daten verbleiben jedoch im Eigentum von Thomson Reuters. Veröffentlichung bzw. Weitergabe der bereinigten Daten an andere Forschungsprojekte ist untersagt; diese müssen also unter Umständen dieselben fehlerhaften Daten kaufen und erneut aufwändig säubern. Deshalb gibt es auch kaum „open Data“ in der Szientometrie.^[4] Im Gegensatz dazu verlangen Biologie- und immer häufiger auch Medizin-Zeitschriftenherausgeber von ihren Autorinnen und Autoren, die bei einer Publikation verwendeten Daten zwecks intersubjektiver Überprüfbarkeit auf einen öffentlich zugänglichen Datenserver zu laden.

DORAs Forderungen nach Open Access bei Literaturlisten

Die beiden DORA-Forderungen an die Verleger wurden in Diskussionen mit Kolleginnen und Kollegen aus Szientometrie bzw. Wissenschaftsforschung als irrelevant angesehen:

„9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication.“ (ebd.)

Diese Forderung kann ich nur unterstützen. Meine Fallstudien zu Fehlern in SSCI-Records (Tüür-Fröhlich 2014, 2015) gestalteten sich extrem aufwändig. Ich wählte die für mich naheliegende Methode, den Vergleich der SSCI-Records mit den Originalartikeln. Diese lagen meist nicht open access vor bzw. meine Heimatuniversität verfügte über keine Lizenz. Hätten die Originalliteraturlisten wie von DORA gefordert maschinell suchbar und zugreifbar vorgelegen, hätte sich der zeitliche Aufwand für die Dokumentbeschaffung um ein Vielfaches verringert. Würden alle Literaturangaben maschinell suchbar und zugreifbar vorliegen, wäre das Monopol der Zitatdatenbanken aufgeweicht. Unabhängige Forschende könnten ohne teure Lizenzzahlungen und ohne Knebelverträge Untersuchungen durchführen, quantitative Evaluationen leichter auf Fehler überprüfen und die verwendeten bzw. bereinigten Daten problemlos dokumentieren.

Eine weitere Forderung von DORA ist ambivalent zu bewerten:

„10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor or reviews in order to give credit to the group(s) who first reported a finding. “ (DORA 2012)

„Obliteration by incorporation“ ist ein in der szientometrischen Literatur bekanntes Phänomen. Übersichtsarbeiten (Reviews) zitieren eine große Zahl von Primärstudien, viele Autorinnen und Autoren zitieren daher nicht mehr die Originalstudien, sondern nur mehr die Reviews. Übersichtsarbeiten werden wesentlich häufiger als Originalstudien zitiert und sind deshalb bei Journaleditoren sehr beliebt, weil sie zuverlässig den JIF eines Journals erhöhen. Die Autorinnen und Autoren der Originalveröffentlichungen verlieren bei dieser Praktik, sie erleiden Zitierverluste. Wir sehen an dieser Forderung aber auch, dass trotz der anfänglichen Forderung nach Prüfung der „own merits“ von Studien DORA der Metrik-Logik verhaftet bleibt.

Die Forderung nach der Aufhebung aller zahlenmäßigen Beschränkungen von Referenzen ist zwar nachvollziehbar, aber zwiespältig: Thomson Reuters stuft nach den eigenen Richtlinien alle Aufsätze mit 100 und mehr Referenzen als Review ein. Ann-Wil Harzing (2013) zeigte, dass sozialwissenschaftliche Aufsätze, bei denen lange Literaturlisten üblich sind, als Reviews fehlklassifiziert wurden. Die Pointe: Das mächtige Shanghai-Universitätsranking zählt nur Originalreports als Publikationsleistung, keine Reviews. Daher wurden und werden Universitäten mit einem hohen sozialwissenschaftlichen Forschungsanteil diskriminiert, d. h. ihre Forschungsleistungen werden unterschätzt und sie landen im Universitätsranking weiter unten.

DORAs Transparenzforderungen: Methodik, Lizenzen, maschineller Zugriff

Unter den Forderungen, die sich an Organisationen richten, die Metriken bereitstellen – gemeint sind hier die Datenbank-Konzerne wie bei der DORA-Gründung Thomson-Reuters bzw. nunmehr Clarivate Analytics (Web of Science) oder Elsevier (Scopus), aber möglicherweise auch kleinere szientometrische Dienstleister – finden sich wichtige Forderungen im Sinne von Mertons „Kommunismus“:

„11. Be open and transparent by providing data and methods used to calculate all metrics.

12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to date, where possible.“ (DORA 2012)

Auch diese beiden Transparenz-Forderungen unterstütze ich voll und ganz. Autoren, die den JIF reproduzieren wollten, scheiterten, selbst wenn Thomson Reuters mit ihnen kooperierten (zusätzliche Daten wurden gekauft), siehe z. B. Rossner et al. 2007^[5] sowie Rossner et al. 2008. Doch auch viele andere Prozeduren sind undurchschaubar. Zu Recht bemängelte DORA in einem Brief an Thomson Reuters, dass das genaue Vorgehen, wie Artikel als „nicht zitierfähig“ eingestuft werden und daher den JIF eines Journals steigern, nicht nachvollziehbar sei (DORA 2013).

Es beginnt bereits bei der Dateneingabe in die Zitatindexe: Es ist unklar, wie bei Thomson Reuters die bibliographischen Angaben inklusive der Zitatliste technisch erfasst werden. Werden die bibliographischen Daten digital übernommen oder werden die Papierversionen der Journale durch Menschen und/oder nur mittels Scan-, OCR- und Parser-Programmen aufgenommen und indexiert? Ersteres behauptet Moed (2005, 182) für „viele“ der Journale, letzteres Pamela Blazick, Editorin des Journal Citation Reports von Thomson Reuters (z.n. Adam 2002, 728). Der Datenbank-Experte Peter Jacsó (2009) nimmt hingegen menschliche Indexierung an.^[6] Falls alle drei Aussagen zutreffen, bedeutet das, dass die Journale nicht einheitlich abgearbeitet werden und daher Opfer unterschiedlicher Fehlerquellen und Fehlerhäufigkeiten sind. „Off-records“ räumte jemand von Thomson Reuters nach hartnäckiger Nachfrage ein, dass die Indexierung in Billiglohnländern in Südostasien erfolgt.

Zu den vielen Unklarheiten gehört auch die Frage, ob Fehler von Thomson Reuters von sich aus, also auf eigene Initiative, korrigiert werden, oder ob dies nur aufgrund von Reklamationen betroffener Autorinnen und Autoren geschieht. Diese Frage stellen nämlich Franceschini et al. 2016. Irritierend daran ist, dass szientometrische Studien hier rätseln und es nicht als selbstverständlich gilt, dass Datenbankproduzenten im Sinne intersubjektiver Überprüfbarkeit solche Informationen ihrer Nutzerschaft bekanntgeben sollten. Eigene Nachforschungen ergaben folgendes Bild: Offiziell sollte Thomson Reuters die bibliographischen Angaben und Zitate aus dem Original ohne Korrekturen übernehmen. Informell wurde mir gegenüber zugegeben, dass berühmte Namen von Autorinnen und Autoren und Institutionen doch ad hoc korrigiert werden. Damit zeigt sich auch im Geschäft mit Zitierungen Robert K. Mertons (1968) Matthäus-Effekt, nämlich die Bevorteilung der bereits Bekannten.

„Putting science into the assessment of research“? Putting Social Sciences and Science Ethics into the Assessment of Research!

Zusammenfassend: Die Prozesse der Zitatindexierung und der darauf basierenden Evaluationspraktiken sind äußerst intransparent. DORAs Forderungen sind zu unterstützen, sollten aber durch sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven ergänzt werden.

Prozeduren und Ergebnisse der Zitatindexierungen sind nicht neutral gegenüber disziplinären Publikations- und Zitierkulturen. Rechtswissenschaftliche (vgl. Tüür-Fröhlich (2018)), sozial-wissenschaftliche (vgl. Tüür-Fröhlich (2016)) sowie kultur- und geisteswissenschaftliche Publikationen und deren Autorinnen und Autoren werden diskriminiert. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. H-Index-Derivate gibt es inzwischen mit fast allen Buchstaben des Alphabets.

Der Slogan „Putting Science into the Assessment of Research“ darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich „Evaluation“ nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden. Daher schreit die Problematik förmlich nach kritischen sozialwissenschaftlichen, wissenschaftsphilosophischen und vor allem wissenschafts- und informationsethischen Untersuchungen. Wie Espeland / Stevens (2008) gezeigt und gefordert haben, sollten wir an einer Soziologie (und wir sollten ergänzen: Wissenschaftsphilosophie, Wissenschaftsethik) der Quantifizierung arbeiten. Daher mein Vorschlag zu einem DORA 2.0, auf eine Kurzformel gebracht – „Putting Social Sciences and Science /Information Ethics into the Assessment of Research“.