Open Citations – Die Transparenzforderungen der San Francisco Declaration on Research Assessment (DORA)

Terje Tüür-Fröhlich , MSc 1
  • 1 Johannes Kepler Universität Linz, Altenberger Straße 69, 4040 Linz, Austria
Dr.in phil Terje Tüür-Fröhlich , MSc
  • Corresponding author
  • Johannes Kepler Universität Linz, Altenberger Straße 69, 4040 Linz, Austria
  • Email
  • Further information
  • Dr.in phil. Terje Tüür-Fröhlich ist Lektorin am Institut für Philosophie und Wissenschaftstheorie an der Johannes Kepler Universität (JKU) Linz/Österreich (Wissenschaftsforschung, Kultur- und Medientheorie, Informationskompetenz und Informationsethik). Ihre Forschungsinteressen sind Datenqualität und endogene Fehler in Zitatdatenbanken und deren Auswirkungen v. a. auf Wissenschaftlerinnen und Wissenschaftler, aus non-ascii- bzw. LOTE (languages other than English)-Sprachräumen, wie auch für deren Institutionen in der Ära permanenter Evaluation.
  • Search for other articles:
  • degruyter.comGoogle Scholar

Zusammenfassung

Eine wachsende Anzahl von wissenschaftlichen Gesellschaften, Zeitschriften, Institutionen und wissenschaftlich Tätigen protestieren und bekämpfen den „allmächtigen“ Journal Impact Faktor. Die bekannteste Initiative von Protest und Empfehlungen heißt DORA, The San Francisco Declaration on Research Assessment. Kritisiert wird die fehlerhafte, verzerrte und intransparente Art der quantitativen Evaluationsverfahren und ihre negativen Auswirkungen auf das wissenschaftliche Personal, insbesondere auf junge Nachwuchskräfte und ihre wissenschaftliche Entwicklung, insbesondere die subtile Diskriminierung von Kultur- und Sozialwissenschaften. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. Der Slogan „Putting Science into the Assessment of Research“ darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich „Evaluation“ nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden.

Die San Francisco Declaration on Research Assessment (siehe DORA 2012) wurde auf der Jahrestagung der US-amerikanischen Gesellschaft für Zellbiologie (ASCB) im Dezember 2012 in San Francisco von einer Gruppe von Zeitschriftenverlegern bzw. -herausgebern initiiert. Bis heute (Stichtag: 21. Juli. 2018) haben 501 Organisationen und 12.402 Einzelpersonen diese Deklaration unterzeichnet.

„Declaring War on the Impact Factor“

Was ist das Anliegen von DORA? In der Öffentlichkeit wurde DORA martialisch als „Kriegserklärung gegen den Impact Factor“ dargestellt (z. B. Balaram 2013). Die Empfehlungen von DORA richten sich an unterschiedliche Personenkreise im Publikationsprozess wie Forschungsförderer, Verleger, Institutionen, Metriken anbietende Organisationen sowie Forscherinnen und Forscher. DORA empfiehlt in der Tat, den Journal Impact Factor (JIF)1, bei der Gründung von DORA noch vom Medienkonzern Thomson Reuters2 berechnet, nicht zur Bewertung individueller wissenschaftlicher Leistungen zu verwenden.

Dies ist eine sinnvolle, aber im Grunde keine revolutionäre Forderung. Fast die gesamte Forschungsliteratur zum Thema belegt, dass JIFs keineswegs repräsentativ für den Einfluss der einzelnen Artikel der jeweiligen Zeitschriften sind (article impact, siehe Seglen 1997). Zitier von Artikeln sind innerhalb der einzelnen Journale statistisch stark schief verteilt. Einige wenige erfolgreiche Artikel erwirtschaften oft einen Großteil der Zitate eines Zeitschriftjahrgangs. Bis zu 70 Prozent der Artikel weisen wesentlich geringere Zitierungen auf, als es der JIF als arithmetisches Mittel vermuten ließe. Möglicherweise ist gerade dieser „Huckepackeffekt“ eine Ursache für die Beliebtheit des JIF. Denn gering zitierten Artikeln können so illusionäre Zitiererfolge zugeschrieben werden. Immer öfter schmücken Autorinnen und Autoren ihre Publikationslisten mit JIF-Punkten, zur Freude ihrer akademischen Verwaltungen – und den (wechselnden) Eigentümern der Zitierungsdatenbanken SCI & SSCI, welche die Datengrundlagen für die JIF-Berechnungen liefern.

„to assess an individual scientist’s contributions ... on its own merits“

Was fordert DORA? Forschung sollte nicht mehr nach dem Publikationsorgan (der Höhe des JIF der betreffenden Zeitschrift), sondern „on its own merits“ (DORA 2012) bewertet werden: „Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions. “ (ebd.)

Wissenschaftliche Publikationen aufgrund ihrer kritischen Prüfung durch Fachleute statt über JIF-Werte als „Qualitätsmaß“ zu bewerten, ist ebenfalls eine Forderung, die bereits vielfach gestellt wurde, allerdings bisher ohne durchschlagenden Erfolg. Eher im Gegenteil: Etliche Länder offerieren den einzelnen Autorinnen und Autoren beachtliche finanzielle Bonuszahlungen für JIF-Publikationen – das heißt für von Thomson Reuters erfasste Publikationen (Tüür-Fröhlich 2014; 2016, 41). Manche Länder sind einen Schritt weiter gegangen und binden die Höhe der Boni an die Höhe der JIF-Punkte (Chou et al. 2013; Jiménez-Contreras et al. 2002). Die in der Literatur zahlreich belegten disziplinären Unterschiede bei Zitierraten und JIFs (z. B. Stellenwert von Publikationen in der Landessprache, Stellenwert von Büchern) werden bei den Bonuszahlungen nicht berücksichtigt. Autorinnen und Autoren aus Fächern mit hohen durchschnittlichen Anzahlen an Zitierungen sind daher bevorteilt, sozial- und kulturwissenschaftliche Autorinnen und Autoren sind genau deshalb benachteiligt.

Kennzahl 3.B.1

Österreich ist keine Ausnahme: Leistungsvereinbarungen zwischen Ministerium und Universitäten enthalten entsprechende Erfolgsindikatoren. Das österreichische Bundesministerium für Wissenschaft, Forschung und Wirtschaft verpflichtet die von ihr finanzierten Universitäten dazu, vor allem die Zahl in den Thomson Reuters-Zitierindexen SCI, SSCI und AHCI (für Natur-, Sozial-, Kulturwissenschaften) erfassten Publikationen aus der jeweiligen Universität in den Wissensbilanzen buchhalterisch anzuführen (siehe Bundesministerium für Wissenschaft und Forschung 2010/2012).3 Ähnlich wie in den Businessplänen in der neoliberalen Privatwirtschaft sehen die jeweils für drei Jahre abgeschlossenen Leistungsvereinbarungen prozentuale Steigerungen dieses Publikationsoutputs vor.

Weitere Punkte der Kritik und der Empfehlungen von DORA sind in den wissenschaftlichen und Massenmedien eher unerwähnt geblieben. Diese Lücke möchte ich mit meinem Beitrag schließen.

„Putting science into the assessment of research“

Es ist mir aufgefallen, dass der Untertitel der Deklaration: „Putting science into the assessment of research“ (DORA 2012) kaum beachtet wurde. In DORAs Untertitel kommt zum Ausdruck, dass die derzeitigen Evaluationspraktiken wissenschaftlichen Maßstäben nicht genügen. Wissenschaftliche Methoden werden zu allererst über intersubjektive Überprüfbarkeit definiert bzw. das System Wissenschaft über das Wissenschaftsethos bei Robert K. Merton (1972, 1973). Oft totgesagt, zeigen viele wissenschaftsethische und wissenschaftspolitische Initiativen in den letzten Jahren eine Wiederbelebung der institutionellen Imperative Mertons:

  1. (1)Kommunismus (aufgegriffen vor allem in der Open Access-, Open Science-Bewegung): Wissenschaftlerinnen und Wissenschaftler verdanken ihre Leistungen den Arbeiten ihrer wissenschaftlichen Vorgängerinnen und Vorgänger und haben daher auch die Pflicht, deren Resultate in den Wissenspool der Menschheit wieder einzuspeisen.
  2. (2)Universalismus: wissenschaftliche Resultate und Kritik sollen unabhängig vom Status des „Senders“ ernst genommen werden. Eigentlich verbietet dies, Befunde aus JIF-höheren Journalen einen wissenschaftlich höheren Status einzuräumen.
  3. (3)Uneigennützigkeit (im amerikanischen Original: „desinterestedness“) meint nicht, dass Wissenschaftlerinnen und Wissenschaftler keine Karriere machen oder kein Geld verdienen dürfen. Doch Forschungsdesigns, Methoden bzw. Ergebnisse dürfen nicht zugunsten der Auftraggeber manipuliert oder verbogen werden.
  4. (4)Organisierter Skeptizismus: Alles und jedes soll kritisch untersucht werden.

Mertons Forderungen sind keine Beschreibung des Wissenschaftsalltags, sondern normativ zu interpretieren: So sollte gute Wissenschaft funktionieren. Institutionelle Imperative bedeutet: Es ist nicht (nur) Sache der einzelnen Wissenschaftlerinnen und Wissenschaftler, diese Werte zu praktizieren, sondern ihre Institutionen sollten die Einhaltung dieser Werte fordern und fördern.

Black Box Zitatindexierung

DORA bezieht sich zumindest indirekt auf Mertons Wissenschaftsethos, vor allem auf sein Postulat des Kommunismus. Dies lässt sich aus DORAs Kritik an der Intransparenz der Berechnung des JIF bzw. aus DORAs Forderungen nach eindeutiger Transparenz schließen: „data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public“ (DORA 2012).

Wu et al. (2008, 582) beginnen ihre kritische Analyse der Thomson Reuters-Datenbank SCI: „It is of the utmost importance to know and understand the specific indexing methods underlying this database. Yet, it is shown that this is not easy to find out.“ Meine eigenen Forschungserfahrungen decken sich voll und ganz mit dieser Kritik. Ich möchte sie sogar noch ausweiten. In meiner Dissertation (Tüür-Fröhlich 2016) untersuchte ich die trivialen Fehler in Zitatdatenbanken und deren Auswirkungen auf betroffene Autorinnen und Autoren, Journale, Institutionen. Im Laufe der qualitativen und quantitativen Fallstudien zu den Fehlern in SSCI-Records stieß ich auf zahlreiche unerwartete Informationsbarrieren.

Ursprünglich hatte ich vorgesehen, meine Datenbank-Analysen durch Interviews mit Expertinnen und Experten zu ergänzen. Das erwies sich als nicht realisierbar, denn eigentlich war und ist alles geheim. Niemand wollte oder wagte mir etwas zu sagen, ob Beschäftigte von Thomson Reuters oder Forschende. Wenn es doch zu einem Gespräch kam, dann nur „informell“, „off-records“ und inhaltlich vage. Auf konkrete Nachfragen zur Klärung von Details kamen keine Antworten.

Geschäftsgeheimnisse der Datenbanken und in der quantitativen Evaluation

Was ist im Kontext von Datenbanken und quantitativer Evaluation geheim, d. h. durch Geheimhaltungsverträge geschützt? Es beginnt bei den Preisen für Datenbankenlizenzen, gerüchteweise 100 000 Euro für eine einjährige Campuslizenz für eine größere Zitatdatenbank. Den Bibliotheken ist es nicht gestattet, darüber Auskunft zu geben. Es geht weiter mit den Preisen für „customised data“. Damit sind Datensätze gemeint, die sich Kunden kaufen müssen, wenn sie spezielle Evaluationen durchführen wollen. Der maschinelle Zugriff über die Campuslizenz ist untersagt. Auch hier soll es um hohe Beträge gehen, Summen ab 100 000 Euro je Datenset jährlich wurden angedeutet. Diese zusätzlich zur Datenbank-Lizenz teuer gekauften Daten sind sehr fehlerhaft. Sie müssen von den Kunden aufwändig „gesäubert“ werden. Szientometrikerinnen und Szientometriker gaben mir gegenüber informell zu, 80 Prozent ihrer Zeit mit Datensäuberungen zu verbringen. Die eingekauften Daten verbleiben jedoch im Eigentum von Thomson Reuters. Veröffentlichung bzw. Weitergabe der bereinigten Daten an andere Forschungsprojekte ist untersagt; diese müssen also unter Umständen dieselben fehlerhaften Daten kaufen und erneut aufwändig säubern. Deshalb gibt es auch kaum „open Data“ in der Szientometrie.4 Im Gegensatz dazu verlangen Biologie- und immer häufiger auch Medizin-Zeitschriftenherausgeber von ihren Autorinnen und Autoren, die bei einer Publikation verwendeten Daten zwecks intersubjektiver Überprüfbarkeit auf einen öffentlich zugänglichen Datenserver zu laden.

DORAs Forderungen nach Open Access bei Literaturlisten

Die beiden DORA-Forderungen an die Verleger wurden in Diskussionen mit Kolleginnen und Kollegen aus Szientometrie bzw. Wissenschaftsforschung als irrelevant angesehen:

„9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication.“ (ebd.)

Diese Forderung kann ich nur unterstützen. Meine Fallstudien zu Fehlern in SSCI-Records (Tüür-Fröhlich 2014, 2015) gestalteten sich extrem aufwändig. Ich wählte die für mich naheliegende Methode, den Vergleich der SSCI-Records mit den Originalartikeln. Diese lagen meist nicht open access vor bzw. meine Heimatuniversität verfügte über keine Lizenz. Hätten die Originalliteraturlisten wie von DORA gefordert maschinell suchbar und zugreifbar vorgelegen, hätte sich der zeitliche Aufwand für die Dokumentbeschaffung um ein Vielfaches verringert. Würden alle Literaturangaben maschinell suchbar und zugreifbar vorliegen, wäre das Monopol der Zitatdatenbanken aufgeweicht. Unabhängige Forschende könnten ohne teure Lizenzzahlungen und ohne Knebelverträge Untersuchungen durchführen, quantitative Evaluationen leichter auf Fehler überprüfen und die verwendeten bzw. bereinigten Daten problemlos dokumentieren.

Eine weitere Forderung von DORA ist ambivalent zu bewerten:

„10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor or reviews in order to give credit to the group(s) who first reported a finding. “ (DORA 2012)

„Obliteration by incorporation“ ist ein in der szientometrischen Literatur bekanntes Phänomen. Übersichtsarbeiten (Reviews) zitieren eine große Zahl von Primärstudien, viele Autorinnen und Autoren zitieren daher nicht mehr die Originalstudien, sondern nur mehr die Reviews. Übersichtsarbeiten werden wesentlich häufiger als Originalstudien zitiert und sind deshalb bei Journaleditoren sehr beliebt, weil sie zuverlässig den JIF eines Journals erhöhen. Die Autorinnen und Autoren der Originalveröffentlichungen verlieren bei dieser Praktik, sie erleiden Zitierverluste. Wir sehen an dieser Forderung aber auch, dass trotz der anfänglichen Forderung nach Prüfung der „own merits“ von Studien DORA der Metrik-Logik verhaftet bleibt.

Die Forderung nach der Aufhebung aller zahlenmäßigen Beschränkungen von Referenzen ist zwar nachvollziehbar, aber zwiespältig: Thomson Reuters stuft nach den eigenen Richtlinien alle Aufsätze mit 100 und mehr Referenzen als Review ein. Ann-Wil Harzing (2013) zeigte, dass sozialwissenschaftliche Aufsätze, bei denen lange Literaturlisten üblich sind, als Reviews fehlklassifiziert wurden. Die Pointe: Das mächtige Shanghai-Universitätsranking zählt nur Originalreports als Publikationsleistung, keine Reviews. Daher wurden und werden Universitäten mit einem hohen sozialwissenschaftlichen Forschungsanteil diskriminiert, d. h. ihre Forschungsleistungen werden unterschätzt und sie landen im Universitätsranking weiter unten.

DORAs Transparenzforderungen: Methodik, Lizenzen, maschineller Zugriff

Unter den Forderungen, die sich an Organisationen richten, die Metriken bereitstellen – gemeint sind hier die Datenbank-Konzerne wie bei der DORA-Gründung Thomson-Reuters bzw. nunmehr Clarivate Analytics (Web of Science) oder Elsevier (Scopus), aber möglicherweise auch kleinere szientometrische Dienstleister – finden sich wichtige Forderungen im Sinne von Mertons „Kommunismus“:

„11. Be open and transparent by providing data and methods used to calculate all metrics.

12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to date, where possible.“ (DORA 2012)

Auch diese beiden Transparenz-Forderungen unterstütze ich voll und ganz. Autoren, die den JIF reproduzieren wollten, scheiterten, selbst wenn Thomson Reuters mit ihnen kooperierten (zusätzliche Daten wurden gekauft), siehe z. B. Rossner et al. 20075 sowie Rossner et al. 2008. Doch auch viele andere Prozeduren sind undurchschaubar. Zu Recht bemängelte DORA in einem Brief an Thomson Reuters, dass das genaue Vorgehen, wie Artikel als „nicht zitierfähig“ eingestuft werden und daher den JIF eines Journals steigern, nicht nachvollziehbar sei (DORA 2013).

Es beginnt bereits bei der Dateneingabe in die Zitatindexe: Es ist unklar, wie bei Thomson Reuters die bibliographischen Angaben inklusive der Zitatliste technisch erfasst werden. Werden die bibliographischen Daten digital übernommen oder werden die Papierversionen der Journale durch Menschen und/oder nur mittels Scan-, OCR- und Parser-Programmen aufgenommen und indexiert? Ersteres behauptet Moed (2005, 182) für „viele“ der Journale, letzteres Pamela Blazick, Editorin des Journal Citation Reports von Thomson Reuters (z.n. Adam 2002, 728). Der Datenbank-Experte Peter Jacsó (2009) nimmt hingegen menschliche Indexierung an.6 Falls alle drei Aussagen zutreffen, bedeutet das, dass die Journale nicht einheitlich abgearbeitet werden und daher Opfer unterschiedlicher Fehlerquellen und Fehlerhäufigkeiten sind. „Off-records“ räumte jemand von Thomson Reuters nach hartnäckiger Nachfrage ein, dass die Indexierung in Billiglohnländern in Südostasien erfolgt.

Zu den vielen Unklarheiten gehört auch die Frage, ob Fehler von Thomson Reuters von sich aus, also auf eigene Initiative, korrigiert werden, oder ob dies nur aufgrund von Reklamationen betroffener Autorinnen und Autoren geschieht. Diese Frage stellen nämlich Franceschini et al. 2016. Irritierend daran ist, dass szientometrische Studien hier rätseln und es nicht als selbstverständlich gilt, dass Datenbankproduzenten im Sinne intersubjektiver Überprüfbarkeit solche Informationen ihrer Nutzerschaft bekanntgeben sollten. Eigene Nachforschungen ergaben folgendes Bild: Offiziell sollte Thomson Reuters die bibliographischen Angaben und Zitate aus dem Original ohne Korrekturen übernehmen. Informell wurde mir gegenüber zugegeben, dass berühmte Namen von Autorinnen und Autoren und Institutionen doch ad hoc korrigiert werden. Damit zeigt sich auch im Geschäft mit Zitierungen Robert K. Mertons (1968) Matthäus-Effekt, nämlich die Bevorteilung der bereits Bekannten.

„Putting science into the assessment of research“? Putting Social Sciences and Science Ethics into the Assessment of Research!

Zusammenfassend: Die Prozesse der Zitatindexierung und der darauf basierenden Evaluationspraktiken sind äußerst intransparent. DORAs Forderungen sind zu unterstützen, sollten aber durch sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven ergänzt werden.

Prozeduren und Ergebnisse der Zitatindexierungen sind nicht neutral gegenüber disziplinären Publikations- und Zitierkulturen. Rechtswissenschaftliche (vgl. Tüür-Fröhlich (2018)), sozial-wissenschaftliche (vgl. Tüür-Fröhlich (2016)) sowie kultur- und geisteswissenschaftliche Publikationen und deren Autorinnen und Autoren werden diskriminiert. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. H-Index-Derivate gibt es inzwischen mit fast allen Buchstaben des Alphabets.

Der Slogan „Putting Science into the Assessment of Research“ darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich „Evaluation“ nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden. Daher schreit die Problematik förmlich nach kritischen sozialwissenschaftlichen, wissenschaftsphilosophischen und vor allem wissenschafts- und informationsethischen Untersuchungen. Wie Espeland / Stevens (2008) gezeigt und gefordert haben, sollten wir an einer Soziologie (und wir sollten ergänzen: Wissenschaftsphilosophie, Wissenschaftsethik) der Quantifizierung arbeiten. Daher mein Vorschlag zu einem DORA 2.0, auf eine Kurzformel gebracht – „Putting Social Sciences and Science /Information Ethics into the Assessment of Research“.

Literatur

  • Adam, David. 2002. The counting house. Nature, 415: 726–729.

  • Archambault, Éric and Vincent Larivière. 2009. History of the journal impact factor: contingencies and consequences. Scientometrics 79 (3): 1–15.

  • Balaram, Padmanabhan. 2013. Research Assessment: Declaring War on the Impact Factor. Current Science, 104: 1267–1268.

  • Bundesministerin für Wissenschaft und Forschung Wien (2010/2012): Kennzahl 3.B.1: Wissensbilanz, Leistungsvereinbarung: Output und Wirkungen der Kernprozesse – Forschung und Entwicklung/Entwicklung und Erschließung der Künste. Verordnung der Bundesministerin für Wissenschaft und Forschung über die Wissensbilanz (Wissensbilanz-Verordnung 2010 – WBV 2010) StF: BGBl. II Nr. 216/2010; Änderung BGBl. II Nr. 292/2012; BGBl. II Nr. 253/2013.

  • Chou, Chuing Prudence, Hsiao Fang Lin and Yun-ju Chiu. 2013. The impact of SSCI and SCI on Taiwan’s academy: an outcry for fair play. Asia Pacific Education Review, 14: 23–31. DOI: 10.1007/s12564-013-9245-1.

  • DORA. 2012. San Francisco Declaration on Research Assessment. Putting science into the assessment of research. http://am.ascb.org/dora/ [15.5.2018]; aktuell https://sfdora.org [21.7.2018].

  • DORA. 2013. Letter to Thompson (sic! TTF) Reuters. Archiviert unter https://web.archive.org/web/20170204072933/, http://www.ascb.org/dora/a-letter-to-thompson-reuters/ [25.5.2018]

  • Espeland, Wendy Nelson und Mitchell L. Stevens. 2008. A Socio-logy of Quantification. European Journal of Sociology 49: 401–436.

  • Franceschini, Fiorenzo, Domenico Maisano and Luca Mastrogiacomo. 2016. Do Scopus and WoS correct ‘old’ omitted citations? Scientometrics. Published online: 1 February 2016. DOI 10.1007/s11192-016-1867-8.

  • Harzing, Anne-Wil. 2013. Document categories in the ISI Web of Knowledge: Misunder-standing the Social Sciences? Scientometrics 94: 23–34.

  • Jacsó, Péter. 2009. Errors of omission and their implications for computing scientometric measures in evaluating the publishing productivity and impact of countries. Online Information Review 33 (2): 376-385.

  • Jiménez-Contreras, Evaristo, Delgado López-Cózar, Rafael Ruiz-Pérez und Víctor M. Fernández. 2002. Impact-factor rewards affect Spanish research. Nature 417 (6892): 898.

  • Merton, Robert King. 1973. The Sociology of Science: Theoretical and Empirical Investigations, 267–278. Chicago: University of Chicago Press.

  • Merton, Robert King. 1972. Wissenschaft und demokratische Sozialstruktur. In: (Hrsg.) Peter Weingart, Wissenschaftssoziologie I. Wissenschaftliche Entwicklung als sozialer Prozeß, 45–59. Frankfurt/Main: Fischer Athenäum.

  • Merton, Robert King. 1968. The Matthew Effect in Science. Science 159(3810): 56–83.

  • Moed, Henk F. 2005. Citation Analysis in Research Evaluation. Dordrecht: Springer.

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2007. Show me the data. The Journal of cell biology 179: 1091–1092.

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2008. Irreproducible Results – a Response to Thomson Scientific. The Journal of General Physiology 131: 183–184.

  • Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. British Medical Journal 314: 497–502.

  • Šubelj, Lovor, Marko Bajec, Biljana Mileva Boshkoska, Andrej Kastrin and Zoran Levnajić. 2015. Quantifying the Consistency of Scientific Databases. PLoS ONE 10(5): e0127390. doi:10.1371/journal.pone.0127390.

  • Tüür-Fröhlich, Terje. 2014. “Needless to say my proposal was turned down”. The early days of commercial citation indexing, an “error-making” (Popper) activity and its repercussions till today. Theory of Science 36 (2):155–180. http://sammelpunkt.philo.at:8080/2426/ [15.5.2018].

  • Tüür-Fröhlich, Terje. 2016. The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Glücksstadt/D.: VWH, Schriften zur Informationswissenschaft, Band 69 (zugleich Doctoral Thesis, Johannes Kepler Universität Linz, Institut für Philosophie und Wissenschaftstheorie).

  • Tüür-Fröhlich, Terje. 2018. Eine „autoritative“ Datenbank auf dem Prüfstand: Der Social Sciences Citation Index (SSCI) und seine Datenqualität. Erscheint in: IWP 69(5–6).

  • Wu, Xiu-fang, Qiang Fu and Ronald Rousseau. 2008. On indexing in the Web of Science and predicting journal impact factor. Journal of Zhejiang University SCIENCE B 9 (7): 582–590.

Footnotes

1

Der JIF, entwickelt von Sher/Garfield in den 1960ern nach einem älteren Vorbild (Archambault / Larivière 2009), wird folgendermaßen aus dem Journalpool von Thomson Reuters (nur SCI bzw. SSCI) berechnet: Der „Journal Impact Factor“ (JIF) soll die durchschnittliche Zitierrate von Artikeln einer bestimmten Zeitschrift in einem sehr begrenzten Zeitraum ermitteln. Nach der Grundidee aus den 1920er-Jahren entwickelten Irving Sher und Eugene Garfield in den 1960er-Jahren die Formel. In einem Beispiel erläutert: Der JIF 2016 des Journals ABC wird errechnet, in dem alle Zitierungen, die ABC in den Jahren 2014/2015 (nur von Journalen aus dem Pool von SCI oder SSCI) erhalten hat, dividiert wird durch die Zahl nur jener Artikel des Journals ABC in 2014/15, die von Indexierern des SCI bzw. SSCI als „zitierfähig“ eingestuft wurden (Originalreports, Reviews). Welcher Artikel als „zitierfähig“ gilt, bzw. wie Thomson Reuters diese indexiert, ist nicht intersubjektiv nachvollziehbar und wird auch von DORA in einem ergänzenden Brief an Thomson Reuters als intransparent kritisiert (siehe DORA 2013).

2

July 2016 verkündete Thomson Reuters den Verkauf seiner Intellectual Property & Science Geschäfte an Onex Corporation und Baring Private Equity Asia. Als derzeitige Eigentümer der Zitierindexe wird Clarivate Analytics angeführt.

3

Der österreichische Forschungsfonds FWF, Erstunterzeichner von DORA, hat inzwischen seine Bewertungspolitik geändert. Der FWF hat das Monopol von Thomson Reuters gebrochen und akzeptiert jetzt auch Publikationen, die von Scopus und dem Directory of Open Access Journals (DOAJ) erfasst sind.

4

Die einzige mir bekannte Ausnahme ist die Studie von Subelj et al. 2015. Hier heißt es immerhin (ebd., 1): „Data from Thompson (sic! TTF) can be obtained by contacting Julian Herciu (julian.herciu@thomsonreuters.com).“ Auch in den Anmerkungen (ebd., 13) heisst es: „Authors thank ... Thomson Reuters for providing the data. Thomson Reuters had no role in study design, data collection and analysis, decision to publish, or preparation of the manuscript.“ Diese Anmerkung ist keineswegs trivial oder selbstverständlich. Datenproduzenten behalten sich das Recht auf „Prüfung“ der Studien, die mittels ihrer Daten erstellt wurden, in der Regel vertraglich vor – eine Praktik, die übrigens bereits unter Eugene Garfield in den 1970er-Jahre begonnen haben soll, siehe Tüür-Fröhlich 2015.

5

Rossner et al. (2007, 1092) durften die verwendeten Daten nicht veröffentlichen: “data not shown due to restrictions of the license agreement with Thomson Scientific.”

6

Moed und Jacsó stützen ihre Aussagen nicht auf wissenschaftliche Referenzen, sondern höchstwahrscheinlich auf informelles Insiderwissen.

If the inline PDF is not rendering correctly, you can download the PDF file here.

  • Adam, David. 2002. The counting house. Nature, 415: 726–729.

  • Archambault, Éric and Vincent Larivière. 2009. History of the journal impact factor: contingencies and consequences. Scientometrics 79 (3): 1–15.

  • Balaram, Padmanabhan. 2013. Research Assessment: Declaring War on the Impact Factor. Current Science, 104: 1267–1268.

  • Bundesministerin für Wissenschaft und Forschung Wien (2010/2012): Kennzahl 3.B.1: Wissensbilanz, Leistungsvereinbarung: Output und Wirkungen der Kernprozesse – Forschung und Entwicklung/Entwicklung und Erschließung der Künste. Verordnung der Bundesministerin für Wissenschaft und Forschung über die Wissensbilanz (Wissensbilanz-Verordnung 2010 – WBV 2010) StF: BGBl. II Nr. 216/2010; Änderung BGBl. II Nr. 292/2012; BGBl. II Nr. 253/2013.

  • Chou, Chuing Prudence, Hsiao Fang Lin and Yun-ju Chiu. 2013. The impact of SSCI and SCI on Taiwan’s academy: an outcry for fair play. Asia Pacific Education Review, 14: 23–31. DOI: 10.1007/s12564-013-9245-1.

  • DORA. 2012. San Francisco Declaration on Research Assessment. Putting science into the assessment of research. http://am.ascb.org/dora/ [15.5.2018]; aktuell https://sfdora.org [21.7.2018].

  • DORA. 2013. Letter to Thompson (sic! TTF) Reuters. Archiviert unter https://web.archive.org/web/20170204072933/, http://www.ascb.org/dora/a-letter-to-thompson-reuters/ [25.5.2018]

  • Espeland, Wendy Nelson und Mitchell L. Stevens. 2008. A Socio-logy of Quantification. European Journal of Sociology 49: 401–436.

  • Franceschini, Fiorenzo, Domenico Maisano and Luca Mastrogiacomo. 2016. Do Scopus and WoS correct ‘old’ omitted citations? Scientometrics. Published online: 1 February 2016. DOI 10.1007/s11192-016-1867-8.

  • Harzing, Anne-Wil. 2013. Document categories in the ISI Web of Knowledge: Misunder-standing the Social Sciences? Scientometrics 94: 23–34.

  • Jacsó, Péter. 2009. Errors of omission and their implications for computing scientometric measures in evaluating the publishing productivity and impact of countries. Online Information Review 33 (2): 376-385.

  • Jiménez-Contreras, Evaristo, Delgado López-Cózar, Rafael Ruiz-Pérez und Víctor M. Fernández. 2002. Impact-factor rewards affect Spanish research. Nature 417 (6892): 898.

  • Merton, Robert King. 1973. The Sociology of Science: Theoretical and Empirical Investigations, 267–278. Chicago: University of Chicago Press.

  • Merton, Robert King. 1972. Wissenschaft und demokratische Sozialstruktur. In: (Hrsg.) Peter Weingart, Wissenschaftssoziologie I. Wissenschaftliche Entwicklung als sozialer Prozeß, 45–59. Frankfurt/Main: Fischer Athenäum.

  • Merton, Robert King. 1968. The Matthew Effect in Science. Science 159(3810): 56–83.

  • Moed, Henk F. 2005. Citation Analysis in Research Evaluation. Dordrecht: Springer.

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2007. Show me the data. The Journal of cell biology 179: 1091–1092.

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2008. Irreproducible Results – a Response to Thomson Scientific. The Journal of General Physiology 131: 183–184.

  • Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. British Medical Journal 314: 497–502.

  • Šubelj, Lovor, Marko Bajec, Biljana Mileva Boshkoska, Andrej Kastrin and Zoran Levnajić. 2015. Quantifying the Consistency of Scientific Databases. PLoS ONE 10(5): e0127390. doi:10.1371/journal.pone.0127390.

  • Tüür-Fröhlich, Terje. 2014. “Needless to say my proposal was turned down”. The early days of commercial citation indexing, an “error-making” (Popper) activity and its repercussions till today. Theory of Science 36 (2):155–180. http://sammelpunkt.philo.at:8080/2426/ [15.5.2018].

  • Tüür-Fröhlich, Terje. 2016. The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Glücksstadt/D.: VWH, Schriften zur Informationswissenschaft, Band 69 (zugleich Doctoral Thesis, Johannes Kepler Universität Linz, Institut für Philosophie und Wissenschaftstheorie).

  • Tüür-Fröhlich, Terje. 2018. Eine „autoritative“ Datenbank auf dem Prüfstand: Der Social Sciences Citation Index (SSCI) und seine Datenqualität. Erscheint in: IWP 69(5–6).

  • Wu, Xiu-fang, Qiang Fu and Ronald Rousseau. 2008. On indexing in the Web of Science and predicting journal impact factor. Journal of Zhejiang University SCIENCE B 9 (7): 582–590.

FREE ACCESS

Journal + Issues

Information – Wissenschaft und Praxis (Information – Science and Practice) has been a leading forum for discussions concerning changes in the landscape of information and knowledge for over 60 years. The professional journal addresses the use of cutting-edge information and communication technologies and presents the results of the latest research in information science as well as practice-based field reports.

Search