1 Zitatdatenbanken als Datenbasis für quantitative Evaluationen wissenschaftlicher Leistungen

Zitatdatenbanken bilden die Grundlage für viele szientometrische/bibliometrische^[1]Untersuchungen. Sie liefern die Datengrundlagen für die Evaluation wissenschaftlicher Leistungen (von Zeitschriften, Fächern, Forschenden) und für die Berechnung von Universitätsrankings und anderen Kennzahlen, von denen Gelder, Posten und Karrieren abhängen können.

Der Social Sciences Citation Index gilt unter Fachleuten aus der Evaluations-/Szientometrie-Szene als „autoritative“ Datenbank (im Gegensatz etwa zur angeblich unseriösen Zitatsuchmaschine Google Scholar). Bis vor kurzem hatte der SSCI jahrzehntelang das Monopol auf dem Gebiet der Zitatindexierung.

Die SSCI-Records (= die Repräsentationen von Zeitschriftenartikeln in der Datenbank, die klassischen Dokumentationseinheiten) enthalten bekanntlich zusätzlich zu den üblichen bibliographischen Angaben die komplette Literaturliste der zitierten Zeitschriftenartikel, zumindest dem Anspruch nach. Daher kann die Suche umgedreht werden und es kann gefragt werden: Wer hat eine Autorin oder einen Autor oder eine Zeitschrift zitiert? Der SSCI wird täglich weltweit dazu verwendet, Zeitschriften, Institutionen, einzelne Forschende der Sozialwissenschaften im weitesten Sinne des Begriffs (inkl. Ökonomie, Rechtswissenschaften), die Zeitschriften, in denen sie publizieren und ihre Institutionen zu suchen und/oder zu bewerten.

Die akribische Prüfung der Datenqualität dieser SSCI-Records stand im Fokus der Dissertation der Verfasserin.^[2] Ihre wichtigsten Ergebnisse werden in diesem Beitrag skizziert. Technischer Jargon soll dabei nach Möglichkeit vermieden werden, Vereinfachungen sind daher unvermeidlich. Die Beschränkung auf den SSCI erfolgt aus pragmatischen Gründen: Der AHCI (Arts & Humanities Citation Index, für Geistes- und Kulturwissenschaften) ist an der JKU Linz, der Heimatinstitution der Verfasserin, nicht verfügbar und eigene Forschungserfahrungen wie wissenschaftliche Kompetenzen der Verfasserin beziehen sich neben den Kulturwissenschaften auf die Sozialwissenschaften im weitesten Sinne.

2 Defizite der Fehlerforschung/Grundannahmen der Mainstream-Szientometrie/Bibliometrie

Unter sogenannten banalen (trivialen) Fehler verstehen wir gewöhnlich z. B. Tipp-, Schreib- oder Druckfehler der Namen von Autorinnen und Autoren oder Initialen, Journaltitel, Namen wissenschaftlicher Einrichtungen; Falschklassifizierung von Dokumenten; fehlende Einträge (z. B. Universitüt statt Universität, Saltzburg statt Salzburg, Tür statt Tüür, Wiese statt Weise).

Nach allgemeiner Meinung unter Wissenschaftlerinnen und Wissenschaftlern sind banale Fehler von geringer Relevanz. Vor allem in der Kommunikationswissenschaft, der Szientometrie und bei Datenbankanbietern ist die feste Ansicht verbreitet, dass Fehler in wissenschaftlichen Publikationen und Datenbanken irrelevant wären. Ja, es gäbe viele Fehler, – aber sie würden sich gegenseitig ausgleichen (Garfield 2005). Im Gegensatz zu dieser weit verbreiteten Meinung habe ich für mein Dissertationsprojekt meine Forschungsthese T2 (Tüür-Fröhlich 2016, 30) formuliert – kurz: Fehler sind nicht zufällig verteilt, sondern treten gehäuft bei der Indexierung nicht-englischsprachiger Namen und Publikationen (LOTE= Languages Other Than English) auf, und eher bei weniger bekannten Autorinnen und Autoren und bei niedrigrangigen Journalen bzw. Verlagen. Die Fehler sind hartnäckig, nicht zuletzt, weil Autorinnen und Autoren ihre Literaturlisten oft aus den (fehlerhaften) Angaben aus Artikeln oder Datenbanken ohne Sichtung des Originals übernehmen (vgl. Simkin/Roychowdhury 2002).

Ein kurzer kritischer Überblick über die Behandlung der Fehlerthematik in der Literatur führt zu folgendem Ergebnis:

1. Die systematische Literatursuche nach Fehlererkennungs- bzw. Fehlermanagementliteratur zeigt viele Publikationen in Psychologie und Management Science. Diese thematisieren den Umgang mit Katastrophen wie Tschernobyl – hervorgerufen aufgrund menschlichen Fehlverhaltens.

2. „Typo“- und „accuracy of references“-Studien wurden vor allem in Medizin, Pflege-, Bibliotheks- und Informationswissenschaftsjournalen gefunden. Aus dieser Literatur lassen sich folgende Verallgemeinerungen ableiten: Die Mehrzahl der Studien klassifiziert Fehler entweder als geringfügig (minor) oder schwerwiegend (major). Es gibt allerdings keine allgemeingültigen Definitionen. Oft wird ein Fehler als minderwertig betrachtet, wenn ein Artikel trotz der fehlerhaften bibliographischen Angaben im Internet gefunden werden konnte. Ein Fehler wurde als wichtig erachtet, wenn der Artikel überhaupt nicht gefunden werden konnte. Für die Fehler werden die Autor(en) der Publikationen verantwortlich gemacht. Laut Unver et al. (2009) schleichen sich Fehler in Referenzlisten ein: aufgrund mangelnder Aufmerksamkeit für Details, „unvorsichtiger“ Transkription von bibliographischen Daten, oder der „Delegation von Verantwortung“, d. h. der Abwälzung der Überprüfung der Zitate auf unqualifizierte Assistenten. Die Verantwortung für die Korrektheit der Zitate liege bei den Autoren. Nur wenige Publikationen erwähnen beiläufig, dass Datenbanken nicht fehlerfrei sind.

3. Interessanterweise zeigt die Literatur zu Datenbankverzerrungen und / oder Datenbankfehlern in Finanzanalysen (z. B. Finanzinformationen zu öffentlichen Unternehmen)^[3] eine kritischere Haltung. Sie kritisieren u. a. Auswahl, Auslassungen und Fehlklassifikationen sowie Kodierungsrichtlinien der inspizierten Datenbanken und schlagen Methoden der Qualitätskontrolle vor. Ich denke, die Informationswissenschaften könnten von diesem Forschungsgebiet lernen.

Zusammengefasst: In der Fachliteratur finden sich kaum Hinweise auf Fehler in Datenbanken, am seltensten auf Fehler in den kostenpflichtigen Datenbanken SCI/SSCI/AHCI.^[4] Hingegen kritisieren mehrere Studien die schlechte Datenqualität (Doubletten, Phantomautoren) der (gratis nutzbaren) Zitatsuchmaschine Google Scholar.^[5]

Wenn Datenbankfehler überhaupt erwähnt werden, macht die Fachliteratur für die Entstehung von Datenbankfehlern die Autorinnen und Autoren der Originalpublikation verantwortlich: Die Datenbanken würden deren Fehler übernehmen. Belege für diese die Datenbankproduzenten entlastenden These finden sich jedoch keine. Wenn Fehler angesprochen werden, dann handelt es sich um recht „harmlose“ banale Fehler (etwa falsche Seitenzahlen, leichte Tippfehler).

Nur einige wenige kritische Publikationen (und Blogs) erwägen die Möglichkeit endogener (= durch die Datenbankproduktion selbst verursachte) Fehler in Zitatdatenbanken.

3 Eigene Fallstudien zur Datenqualität von SSCI-Records

Von diesem Mainstream abweichend, wurden im Dissertationsprojekt der Verfasserin folgende methodische Vorgangsweisen gewählt:

1. Es wurde die – für den normalen wissenschaftlichen Hausverstand – naheliegende Herangehensweise gewählt: Der Vergleich zwischen den Literaturlisten der Original­publikation mit den Datenbank-Einträgen in den SSCI-Records (in der Folge: Original- Record), so wie sie bei einer Zitatrecherche in der Datenbank (lizensierter Zugriff über die JKU Linz) sichtbar sind. Diese Methode wurde bislang zwar bei der Suche von bibliographischen Fehlern in Zeitschriften, nicht jedoch bei der Fehlersuche in Datenbanken eingesetzt.

2. Auf Grundlage des Vergleichs Original – Record kann nach endogenen Datenbankfehlern gesucht werden: Die Feststellung Originalangaben richtig – Referenzen im SSCI-Record fehlend oder falsch lässt nur einen Schluss zu: Die gefundenen Fehler müssen bei der Dateneingabe bzw. -verarbeitung zur Produktion des SSCI entstanden sein.

4 Ausgangspunkt: der Autorenname Pierre Bourdieu

Die Vergleiche Original-Record wurden nicht an willkürlich ausgewählten Zeitschriftenartikeln vorgenommen (es wurden also nicht einzelne SSCI-Records mit schwerwiegenden Fehlern herausgegriffen). Bei der Auswahl der Vergleichspaare wurde konsequent nach der Schneeballmethode vorgegangen.^[6]

Ausgangspunkte der Suche waren die Fehlschreibungen, Mutationen, Verstümmelungen des Namens des französischen Philosophen und Soziologien Pierre Bourdieu als zitierter Autor im SSCI (d. h. im Datenfeld „cited author“). Die Auswahl dieses Autors erfolgte aus pragmatischen Gründen:

Um Fehlern in Zitatdatenbanken mit Hilfe der Ping-Pong-Methode (siehe Kapitel 5) auf die Spur zu kommen, ist die Kenntnis des Gesamtwerks eines Autors oder einer Autorin inklusive Übersetzungen, Neubearbeitungen etc. unverzichtbar. Bei Pierre Bourdieu konnte auf eine an der JKU Linz seit vielen Jahren aufwändig erstellte Hypertext-Rekonstruktion seines Gesamtwerks zurückgegriffen werden.^[7]

Der Name Pierre Bourdieu enthält (sowohl im Vor- wie auch im Familiennamen) nur ASCII (= American Standard Code for Information Interchange)-Zeichen, daher sollte die Verarbeitung seines Namens durch einen nordamerikanischen Datenbankproduzenten keine Schwierigkeit bereiten.

5 Fallstudie PIERRE BOURDIEU: Mutationen, Mutilationen, Totalverluste

Bei der Fehlersuche zum Thema Pierre Bourdieu als zitierter Autor im SSCI wurde nach der selbst entwickelten Ping-Pong-Methode vorgegangen, Darunter ist das Hin- und Herspringen zwischen den Datenfeldern (vor allem: Cited Author, Cited Work/Title) zu verstehen. Schwere Fehler und fehlende Einträge im Datenfeld Cited Author können nicht direkt gesucht werden, aber es kann z. B. im Datenfeld „Cited Work“ nach Zitaten des Bourdieuschen Hauptwerkes „La distinction“ gesucht werden. Findet sich im so gefundenen SSCI-Eintrag im Datenfeld Cited Author ein Fehler oder fehlt dort ein Eintrag, ist damit eine neue Fehlervariante gefunden. Abgesehen von fehlende Einträgen bzw. „anonymous“-Einträgen können diese fehlerhaften Autorennamen wieder ins Datenfeld Cited Author eingegeben werden und unter Umständen zu weiteren Fehlern im Datenfeld „Cited Work“ führen. Dieses Wechseln der Datenfelder lässt sich fast unendlich oft wiederholen.

Als Resultat zeigten sich mehr als 85 Mutationen, Verstümmelungen, Totalverluste. Folgende Typologie konnte erstellt werden, wobei die zahllosen falschen Initialen, die Bourdieu „angedichtet“ wurden, im Folgenden erst gar nicht erwähnt werden:

1. Fehlertyp 1: Fehler eher banalerer Art („Bordieu“ ohne „u“, „Boudieu“ ohne „r“); diese sind aber keineswegs irrelevant, weil die Datenbank-Software Zeichenketten (strings) vergleicht, und hier sind bereits kleine Abweichungen folgenschwer.

2. Fehlertyp 2: Schwerwiegende Fehler, z. B. „*BP“, „I3ourdieu, (P)“, „ourdieu P“,

3. Fehlertyp 3: Substitution durch andere Autorennamen (z. B. fand sich der Leistungs­psychologe Rowland Atkinson als Autor von Bourdieus Hauptwerk „La distinction“),

4. Fehlertyp 4: Missings (Totalverluste): leeres Feld beim Autorennamen oder Angabe „anonymous“ (obwohl im Original Bourdieu als Autor korrekt angegeben war),

5. Fehlertyp 5: Verwechslung von Vor- und Nachnamen bei der Indexierung.^[8]

Bourdieu-Zitierungen sind also im SSCI auch unter „Pierre B*“, ja in einem Fall sogar unter „Pierri B*“ auffindbar. SSCI-Records mit den Phantomautoren „Pierre B“ bzw. „Pierri B“ wurden in der Folge mit der Originalpublikation verglichen: War Bourdieu der einzige verstümmelte Autorenname, oder geschah dies auch bei den übrigen Referenzen des jeweiligen Artikels?

6 Fallstudie SOFIO 2008a, Journal Travail, genre et sociétés^[9]

Der erste als Volltext verfügbare Zeitschriftenartikel mit einem SSCI-Record, das „Pierre B“ enthielt, war der Artikel von Séverine Sofio 2008a:

Sofio, Séverine (2008a): Les vertus de la reproduction. Travail, genre et sociétés 19, 23–39.

Der SSCI-Record Sofio 2008a enthält den Eintrag: „PIERRE B, 1987, CAHIERS MUSEE NATL M, V19, P6“. Im Original lesen wir hingegen in der Bibliographie am Ende des Artikels: „BOURDIEU Pierre, 1987, « L’institutionnalisation de l’anomie », Cahiers du Musée national d’art moderne, 19–20, pp. 6–19.“

Es zeigte sich: Der Originalartikel enthält an seinem Ende eine korrekte Bibliographie, in der die zitierten Werke nach den Familiennamen alphabetisch gelistet werden. Die Nachnamen sind sogar in Kapitalia hervorgehoben. Die Verarbeitung dieser Bibliographie hätte also keine Herausforderung darstellen müssen.

Trotzdem zeigte der Vergleich Original-Record (Tabelle 1) ein ernüchterndes Ergebnis: Nur eine Referenz von n=26 im Original korrekten Referenzen war fast richtig dargestellt (wenn auch unter Verletzung der Indexierungsregeln des SSCI). Alle anderen hatten schwere Mängel. Eine Literaturangabe fehlte ganz, n=23 im Original korrekt zitierte Autorinnen und Autoren mutierten zu Phantomautoren, bei denen der erste Vorname oder der mittlere Name als neuer Familienname verwendet wurden und der Nachname zur neuen Initiale schrumpfte. In einem Fall war zwar die Initiale richtig, aber der Familienname mit einem nirgendwo in der Literaturliste oder im übrigen Artikel auffindbaren Zeichenkette „bitaud“ zusammengeklumpt: aus Cacouault, M. wurde Cacouaultbitaud, M.

Fazit: Von einer einzigen halbwegs richtig wiedergegebenen Referenz abgesehen, gehen bei Sofio 2008 a alle übrigen n=25 Referenzen verloren, sowohl für Zitatrecherchen als auch für Zitatzählungen, etwa für einen h-index.^[10]

Die Referenzenliste im SSCI-Record (und wie eine extensive Sichtung zeigte, die vieler anderer Artikel aus dem Journal Travail, genre et sociétés) kann wohl kaum einer Qualitätsüberprüfung unterzogen worden sein. Ein Vorname kann auch als Nachname fungieren, doch handelt es sich dabei eher um seltene Fälle. Ein solch massenhaftes Vorkommen von Autorinnen und Autoren mit Nachnamen wie Albert, Andree, Anne, Bruno, Chantal, Charlotte, Eugene, Gerard, Isabelle, Margaret, Maria, Nathalie, Rene, Severine wie in diesem SSCI-Record hätte jedoch auffallen müssen.^[11]

7 Fallstudie BEEBE 2010, Journal Harvard Law Review (HLR)

Kommen wir zum Phantomautor „Pierri B“ im SSCI. Der zitierte Autoreneintrag „Pierri B“ enthält drei Fehler: Falscher Nachname, falscher Anfangsbuchstaben des Vornamens – beide Fehler können nur durch die Verwechslung von Nachname und Vorname zustande gekommen sein. Zusätzlich enthält der Vorname – der fälschlich als Nachname geführt wird – einen Schreibfehler (ein „i“ anstelle eines „e“). Diese drei schwerwiegenden Fehler müssen beim Scannen bzw. der Umwandlung in maschinenlesbare Zeichen mittels OCR („Optical Character Recognition“) bzw. beim Parsen^[12]entstanden sein.

Jener Artikel, der bei der Suche nach dem zitierten Autor „Pierri B“ vom SSCI nachgewiesen wurde, war Beebe 2010:

Barton Beebe (2010): Intellectual property law and the sumptuary code. Harvard Law Review 123 (4), 809–889.

Der SSCI-Record zu Beebe 2010 enthält den Eintrag: „PIERRI B, 1970, REPROD IN ED, P71“. Im Originalartikel von Beebe 2010 ist in Fußnote 23 hingegen angeführt:

„PIERRE BOURDIEU & JEAN-CLAUDE PASSERON, REPRODUCTION IN EDUCATION, SOCIETY AND CULTURE (Richard Nice trans., Sage Publ’ns 1977) (1970)” (Beebe 2010, 814).

Der Vergleich Original – Record zu Beebe 2010 war außerordentlich komplex und zeitintensiv^[13]:

a) Der Originalartikel hat 80 Seiten und enthält n=435 Fußnoten. Um das Untersuchungs­ergebnis vorwegzunehmen: Für n=277 (von insgesamt n=493) ursprünglichen Zitaten im Original gibt es überhaupt keinen Eintrag im SSCI-Record, d. h. 65 Prozent der Originalreferenzen gingen bei der Indexierung verloren. Dafür fanden sich für etliche Originaleinträge gleich mehrere Phantomreferenzen im Record (Beispiel Thorstein Veblen siehe Tabelle 2).

b) Der ausgewertete Originalartikel enthält keine alphabetisch geordnete Bibliographie. Beebe 2010 verwendet die vom Harvard Law Review vorgeschriebene Zitierweise. Demnach sind eher Fußnoten zu verwenden, die Fußnoten sollten den Bestimmungen der 19. Ausgabe des Bluebook folgen.^[14] Das Bluebook kann als das juristische Zitierungssystem in den USA bezeichnet werden, seine Richtlinien müssten den nordamerikanischen Datenbankproduzenten bekannt sein.

Der Vergleich Original – Record erbrachte zahlreiche Phantomautorinnen und -autoren und Phantomwerke (zu einigen Beispielen siehe Tabelle 3):

Dabei unterlief SSCI oft eine „Todsünde“ der Indexierung, nämlich die Verwechslung von Datenfeldern. So mutiert im ersten Beispiel in Tabelle 3 der abgekürzte Journaltitel FAR E. ECON. REV. im Original, er steht für Far Eastern Economic Review, im Record zu einem AutorInnennamen „Econ R“.

Im zweiten Fall wird der Vorname des Philosophen Walter Benjamin zum neuen Nachnamen, mit einem OCR-Fehler (F statt E), der Anfangsbuchstabe seines Nachnamens wird zum fiktiven Initial, und der Titel des Sammelbandes wird aufgrund weiterer schwerer OCR-Fehler fast völlig verstümmelt, aus „ILLUMINATIONS” wird “11LUMINKFIONS“.

Im dritten Fall wird der Autorennachname im SSCI-Record fast richtig getroffen, abgesehen vom letzten Buchstaben, der dafür zwischen die zwei richtigen Initialen gequetscht wird. Aus dem weltbekannten „Mega-Journal“ Nature wird jedoch ein Phantomjournal: Aufgrund eines OCR-Fehlers wird „NATURE” zu „NXRURE“ und aufgrund eines Parsingfehlers wird aus der in der Fußnote folgenden Referenz der Autorenname inklusive eines OCR-Fehlers (FT statt F.P.) zum zweiten Teil des Phantomjournals „NXRURE FT BUNDY”. Es folgt die Jahrgangszahl der zweiten Referenz (die mit Bovenkerk 1959 nichts zu tun hat), und eine Seitenzahl, die offensichtlich mittels OCR- und Parsingfehler aus dem Publikationsjahr von Bovenkerk gezogen wurde (P959 aus 1959 im Original wird P959 im Record).

Diese drei Beispiele (3 von 197 Phantomeinträgen im Record) mögen hier genügen. Das ernüchternde Ergebnis des Vergleichs Original – Record ist in Tabelle 4 zusammengefasst.

Über die Hälfte der Originalreferenzen sind auf dem Weg in den SSCI-Record spurlos verschwunden („Lost in Indexing“, würde die Regisseurin Sofia Coppola betiteln). 40 Prozent sind nur in Form von Phantomeinträgen ‚erhalten‘ geblieben. Neben ca. drei Prozent mit kleineren Fehlern indexierten Einträgen, sind nur ein Prozent der im Original korrekten Referenzen auch im SSCI-Record korrekt repräsentiert.

Zusammenfassend: Referenzen in Fußnoten laufen große Gefahr, in Phantomautoren, Phantomwerke und Phantomreferenzen verwandelt zu werden, durch irrtümliche „Interpretation“ von Zitattexteilen, Zitatsymbolen und Fußnotenfragmenten als bibliographische Informationen.

8 Kritisches Resümee der Fallstudien

Die hier skizzierten Fallstudien^[15] zeigen eine hohe Anzahl endogener Datenbankfehler wie Auslassungen und Fehler in Form schwerer Mutationen, Verstümmelungen, Zusammen­klumpungen, die noch nie in der Fachliteratur erwähnt wurden. Moed (2005,175) gibt für „defekte“ oder „diskrepante“ Referenzen nur einen Prozentsatz von zwei bis neun Prozent im SCI an.^[16] In meinen bisher durchgeführten Fallstudien im SSCI liegt der Prozentsatz der schwerwiegenden Defekte und verstümmelten Referenzen weitaus höher, nämlich zwischen 93 und 99 Prozent.

Die Fehlerraten der Phantom-Autorennamen (Nachnamen und Vornamen getauscht) sind in den Fällen Sofio 2008 a und Beebe 2010 ähnlich hoch. Dies ist merkwürdig: Denn Sofio 2010 enthält eine nach den Nachnamen alphabetisch geordneten Literaturliste am Ende ihres Artikels. Beebe hingegen verwendet den Bluebook-Stil für Zitierungen, mit den Literaturangaben in Fußnoten. Im Fall von Sofio sollte es also keine große Herausforderung für die Produzenten von Zitatdatenbanken sein, diese Literaturliste korrekt zu übernehmen und damit den Artikel korrekt zu indexieren. Wie es zur fast durchgängigen Verwechslung von Vor- und Nachnamen kommt, bleibt daher ein Rätsel.

Im Bluebook-Stil für juristische US-Publikationen werden die vollständigen Referenzen in Fußnoten jeweils nur bei ihrer erstmaligen Zitierung im Text angeführt. Diese Fußnoten sind nummeriert, bei weiteren Zitierungen desselben Werkes wird in abgekürzter Form auf diese Fußnote verwiesen. Die Indexierung von Referenzen in Fußnoten scheint also stark fehleranfällig zu sein und überfordert offenbar die Textparser (Programme zum „Lesen“, zur inhaltlichen Interpretation der Dateien) und die (menschlichen) SSCI-Indexierer: Aufgrund fehlerhafter „Interpretationen“ werden beliebige Wörter und Wortfragmente aus Fußnoten zu angeblichen Autorennamen oder Werktiteln, Zahlen bzw. Zahlenfragmente zu angeblichen Jahrgangs- oder Seitenzahlen.

Die Vergleiche von Original und Datensatz zeigte: Die ursprünglichen Referenzen waren fehlerfrei. Die Verluste (Missings), Mutationen, Verstümmelungen müssen im Laufe der Dateneingabe bzw. Datenverarbeitung bei der Bearbeitung des SSCI entstanden sein. Es handelt sich hier also eindeutig um endogene Datenbankfehler.

Artikel, Bücher und andere Publikationsformen, die fälschlicherweise gar nicht indexiert oder nur stark mutiert und verstümmelt werden, sind nicht suchbar und werden in Zitatstatistiken nicht mitgezählt. Der Oxford-Stil beim Zitieren ist jedoch eine Gemeinsamkeit von Rechts- Sozial-, Kultur- und Geisteswissenschaften, vor allem bei Monographien und Sammelbänden vieler traditioneller Verlage.

Es ist daher davon auszugehen, dass diese Fächer bei der Zitatindexierung benachteiligt werden. Die Phantomwerke führen, so die These dieses Beitrags, zu gering oder gar nicht zitierten Publikationen im SSCI-Pool. Behauptungen, die Sozial- und Kulturwissenschaften hätten kaum Resonanz (siehe Hamilton 1990, 1991, Pendlebury 1991), sind daher sehr fragwürdig. Es könnte sich bei den Nichtzitierungen um die Effekte der schweren Indexierungsfehler handeln, weil die tatsächlich vorgenommenen Zitierungen nicht von der Datenbank registriert wurden.

Der Anspruch von SSCI ist es, die „relevante“ globale Sozialwissenschaft abzubilden, für alle im SSCI erfassten Disziplinen. Diesem Anspruch wird der SSCI in der derzeitigen Form nicht gerecht.

9 Empfehlungen für betroffene Autorinnen und Autoren

Abschließend noch fünf Empfehlungen:

1. Überwachen Sie Ihre eigenen Zitierungen! Geben Sie Ihren Namen und Ihre Publikationstiteln auch absichtlich fehlerhaft ein, um auf Fehlervarianten zu stoßen!

2. Ändern Sie niemals Ihren Namen! Im Falle eines unvermeidlichen Namenswechsels: vermerken Sie unbedingt Ihre früheren Namen als „früher bekannt als ...“ im Autorenfeld (und in ihren Lebensläufen)!

3. Übermitteln Sie aktiv Fehlermeldungen an die Datenbankproduzenten, Zeitschriftenredaktionen und akademischen Verwaltungen!

4. Diskutieren Sie öffentlich über gefundene Fehler und veröffentlichen Sie diese (in Briefen an die Herausgeber, in Blogs, in Massenmedien)!

5. Unterzeichnen sie DORA, die San Francisco Declaration on Research Assessment! Bewegen Sie Ihre wissenschaftliche Fachgesellschaft, ihr Institut, ihre Universität dazu, DORA ebenfalls zu unterzeichnen!

DORA fordert eine Reform der derzeit gängigen Evaluationspraktiken und wendet sich gegen die Verwendung des JIF^[17] zur Evaluation persönlicher Forschungsleistungen (denn die durchschnittliche Zitierung einer Zeitschrift hat wenig mit der Zitierung einzelner Beiträge zu tun). DORA kritisiert die intransparente Praxis der Zitatdatenbanken SCI, SSCI, AHCI (zum Zeitpunkt der Formulierung von DORA war dies der Medienkonzern Thomson Reuters). DORA stellt verschiedene sinnvolle Forderungen auf, z. B. dass Zitatlisten der einzelnen Artikel nicht mehr Geschäftsgeheimnisse sein sollten, sondern open access zugänglich sind, damit Forschende diese Zitate überprüfen, aber auch für eigene Auswertungen nützen können.^[18] Es ist wichtig, dass wir Wissenschaftlerinnen und Wissenschaftler uns nicht wie die Lemminge allen Evaluationspraktiken fügen, sondern unsere kritischen Stimmen erheben. Evaluation ist keine Naturgewalt, sondern ein menschengemachtes Phänomen, welches der Kritik unterliegen muss, und das veränderbar ist.