Jump to ContentJump to Main Navigation
Show Summary Details
More options …

Information - Wissenschaft & Praxis

Ed. by Reibel-Felten, Margarita

6 Issues per year


CiteScore 2017: 0.10

SCImago Journal Rank (SJR) 2017: 0.151
Source Normalized Impact per Paper (SNIP) 2017: 0.384

Online
ISSN
1619-4292
See all formats and pricing
More options …

Open Citations – Die Transparenzforderungen der San Francisco Declaration on Research Assessment (DORA)

Open Citations. The San Francisco Declaration on Research Assessment (DORA) demands transparency in quantitative evaluation

Citations ouvertes. Les exigences de transparence de la déclaration de San Francisco sur l’évaluation de la recherche (DORA)

Dr.in phil Terje Tüür-Fröhlich , MSc
  • Corresponding author
  • Johannes Kepler Universität Linz, Altenberger Straße 69, 4040 Linz, ÖsterreichJohannes Kepler Universität LinzAltenberger Straße 694040 LinzAustria
  • Email
  • Other articles by this author:
  • De Gruyter OnlineGoogle Scholar
Published Online: 2018-08-22 | DOI: https://doi.org/10.1515/iwp-2018-0032

Zusammenfassung

Eine wachsende Anzahl von wissenschaftlichen Gesellschaften, Zeitschriften, Institutionen und wissenschaftlich Tätigen protestieren und bekämpfen den „allmächtigen“ Journal Impact Faktor. Die bekannteste Initiative von Protest und Empfehlungen heißt DORA, The San Francisco Declaration on Research Assessment. Kritisiert wird die fehlerhafte, verzerrte und intransparente Art der quantitativen Evaluationsverfahren und ihre negativen Auswirkungen auf das wissenschaftliche Personal, insbesondere auf junge Nachwuchskräfte und ihre wissenschaftliche Entwicklung, insbesondere die subtile Diskriminierung von Kultur- und Sozialwissenschaften. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. Der Slogan „Putting Science into the Assessment of Research“ darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich „Evaluation“ nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden.

Abstract

A growing number of learned societies, journals, institutions and scientists argue and campaign against the ‘almighty‘ journal impact factor. The most famous initiative of protests and recommendations is named DORA, The San Francisco Declaration on Research Assessment. The critics emphasize the erroneous, biased and “opaque” nature of quantitative evaluation procedures and their negative effects on scientific personnel, especially early career scientists and scientific development. The often subtle discrimination of cultural and social sciences is overseen and not discussed at all. We should not uncritically be captured by the metrics paradigm and hail the next indicator presented. DORA’s slogan “Putting Science into the Assessment of Research” may not be understood only as a scientometrical abbreviation. Social phenomena cannot be studied merely by quantitative and natural sciences methods. Critique and transformation of the social activities – which evaluation is – demand to consider the perspectives of philosophy of sciences and social sciences. Evaluation is not a value-free establishment, but closely linked to power structures, including the decision making for the available resources apportionment.

Résumé

Un nombre croissant de sociétés savantes, de revues, d’institutions et de chercheurs contestent et contestent et combattent « l’hégémonie » du facteur d’impact des revues. L’initiative la plus célèbre en termes de protestation et de recommandations est DORA, la Déclaration de San Francisco sur l’évaluation de la recherche. Les critiques soulignent le caractère erroné, déformé et opaque du processus d’évaluation quantitative et ses effets négatifs sur le personnel scientifique, en particulier sur les jeunes chercheurs et sur le développement des sciences, relevant notamment la discrimination subtile des sciences sociales et culturelles. Nous ne devrions pas rester enfermés sans esprit critique dans le paradigme des métriques et applaudir le flot de nouveaux indicateurs issus de la scientométrie. Le slogan « Putting Science into the Assessment of Research » (« Pour une évaluation scientifique de la recherche ») ne doit pas être compris de façon réductrice et scientiste. Les phénomènes sociaux ne peuvent pas être étudiés exclusivement avec les méthodes des sciences exactes. La critique et la transformation des activités sociales qui s’appellent « évaluation » requièrent les perspectives de la sociologie et de la philosophie des sciences. L’évaluation n’est pas une entreprise neutre en termes de valeur, mais elle est étroitement liée au pouvoir, à la domination et à l’allocation des ressources.

Deskriptoren: Bewertung; Impact Factor; Kritik; Zitierhäufigkeit; Wissenschaftler; Forschung; Sozialwissenschaften

Descriptors: Citation frequency; Criticism; Evaluation; Impact factor; Research; Scientist; Social sciences

Descripteurs: Évaluation, Facteur d’impact, Critique, Fréquence de citation, Personnel scientifique, Recherche, Sciences sociales

Eine frühere Version dieses Beitrags habe ich auf dem Kongress für Soziologie 2015 in Innsbruck/Österreich vorgetragen (Ad hoc-Gruppe „DORA et al.: Global movements against ‘impactitis’ and ‘evaluitis’“). Den zahlreichen Personen, die während der Sessions und in den Pausen, engagiert mit mir diskutiert haben, danke ich für konstruktive Kritik und Ermutigung.

Literatur

  • Adam, David. 2002. The counting house. Nature, 415: 726–729.Google Scholar

  • Archambault, Éric and Vincent Larivière. 2009. History of the journal impact factor: contingencies and consequences. Scientometrics 79 (3): 1–15.Google Scholar

  • Balaram, Padmanabhan. 2013. Research Assessment: Declaring War on the Impact Factor. Current Science, 104: 1267–1268.Google Scholar

  • Bundesministerin für Wissenschaft und Forschung Wien (2010/2012): Kennzahl 3.B.1: Wissensbilanz, Leistungsvereinbarung: Output und Wirkungen der Kernprozesse – Forschung und Entwicklung/Entwicklung und Erschließung der Künste. Verordnung der Bundesministerin für Wissenschaft und Forschung über die Wissensbilanz (Wissensbilanz-Verordnung 2010 – WBV 2010) StF: BGBl. II Nr. 216/2010; Änderung BGBl. II Nr. 292/2012; BGBl. II Nr. 253/2013.Google Scholar

  • Chou, Chuing Prudence, Hsiao Fang Lin and Yun-ju Chiu. 2013. The impact of SSCI and SCI on Taiwan’s academy: an outcry for fair play. Asia Pacific Education Review, 14: 23–31. DOI: 10.1007/s12564-013-9245-1.Google Scholar

  • DORA. 2012. San Francisco Declaration on Research Assessment. Putting science into the assessment of research. http://am.ascb.org/dora/ [15.5.2018]; aktuell https://sfdora.org [21.7.2018].

  • DORA. 2013. Letter to Thompson (sic! TTF) Reuters. Archiviert unter https://web.archive.org/web/20170204072933/, http://www.ascb.org/dora/a-letter-to-thompson-reuters/ [25.5.2018]

  • Espeland, Wendy Nelson und Mitchell L. Stevens. 2008. A Socio-logy of Quantification. European Journal of Sociology 49: 401–436.Google Scholar

  • Franceschini, Fiorenzo, Domenico Maisano and Luca Mastrogiacomo. 2016. Do Scopus and WoS correct ‘old’ omitted citations? Scientometrics. Published online: 1 February 2016. DOI 10.1007/s11192-016-1867-8.Google Scholar

  • Harzing, Anne-Wil. 2013. Document categories in the ISI Web of Knowledge: Misunder-standing the Social Sciences? Scientometrics 94: 23–34.Google Scholar

  • Jacsó, Péter. 2009. Errors of omission and their implications for computing scientometric measures in evaluating the publishing productivity and impact of countries. Online Information Review 33 (2): 376-385.Google Scholar

  • Jiménez-Contreras, Evaristo, Delgado López-Cózar, Rafael Ruiz-Pérez und Víctor M. Fernández. 2002. Impact-factor rewards affect Spanish research. Nature 417 (6892): 898.Google Scholar

  • Merton, Robert King. 1973. The Sociology of Science: Theoretical and Empirical Investigations, 267–278. Chicago: University of Chicago Press.Google Scholar

  • Merton, Robert King. 1972. Wissenschaft und demokratische Sozialstruktur. In: (Hrsg.) Peter Weingart, Wissenschaftssoziologie I. Wissenschaftliche Entwicklung als sozialer Prozeß, 45–59. Frankfurt/Main: Fischer Athenäum.Google Scholar

  • Merton, Robert King. 1968. The Matthew Effect in Science. Science 159(3810): 56–83.Google Scholar

  • Moed, Henk F. 2005. Citation Analysis in Research Evaluation. Dordrecht: Springer.Google Scholar

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2007. Show me the data. The Journal of cell biology 179: 1091–1092.Google Scholar

  • Rossner, Mike, Heather Van Epps and Emma Hill. 2008. Irreproducible Results – a Response to Thomson Scientific. The Journal of General Physiology 131: 183–184.Google Scholar

  • Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. British Medical Journal 314: 497–502.Google Scholar

  • Šubelj, Lovor, Marko Bajec, Biljana Mileva Boshkoska, Andrej Kastrin and Zoran Levnajić. 2015. Quantifying the Consistency of Scientific Databases. PLoS ONE 10(5): e0127390. doi:10.1371/journal.pone.0127390.Google Scholar

  • Tüür-Fröhlich, Terje. 2014. “Needless to say my proposal was turned down”. The early days of commercial citation indexing, an “error-making” (Popper) activity and its repercussions till today. Theory of Science 36 (2):155–180. http://sammelpunkt.philo.at:8080/2426/ [15.5.2018].

  • Tüür-Fröhlich, Terje. 2016. The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Glücksstadt/D.: VWH, Schriften zur Informationswissenschaft, Band 69 (zugleich Doctoral Thesis, Johannes Kepler Universität Linz, Institut für Philosophie und Wissenschaftstheorie).Google Scholar

  • Tüür-Fröhlich, Terje. 2018. Eine „autoritative“ Datenbank auf dem Prüfstand: Der Social Sciences Citation Index (SSCI) und seine Datenqualität. Erscheint in: IWP 69(5–6).Google Scholar

  • Wu, Xiu-fang, Qiang Fu and Ronald Rousseau. 2008. On indexing in the Web of Science and predicting journal impact factor. Journal of Zhejiang University SCIENCE B 9 (7): 582–590.Google Scholar

About the article

Dr.in phil Terje Tüür-Fröhlich , MSc

Dr.in phil. Terje Tüür-Fröhlich ist Lektorin am Institut für Philosophie und Wissenschaftstheorie an der Johannes Kepler Universität (JKU) Linz/Österreich (Wissenschaftsforschung, Kultur- und Medientheorie, Informationskompetenz und Informationsethik). Ihre Forschungsinteressen sind Datenqualität und endogene Fehler in Zitatdatenbanken und deren Auswirkungen v. a. auf Wissenschaftlerinnen und Wissenschaftler, aus non-ascii- bzw. LOTE (languages other than English)-Sprachräumen, wie auch für deren Institutionen in der Ära permanenter Evaluation.


Published Online: 2018-08-22

Published in Print: 2018-08-08


Citation Information: Information - Wissenschaft & Praxis, Volume 69, Issue 4, Pages 183–189, ISSN (Online) 1619-4292, ISSN (Print) 1434-4653, DOI: https://doi.org/10.1515/iwp-2018-0032.

Export Citation

© 2018 Walter de Gruyter GmbH, Berlin/Boston.Get Permission

Comments (0)

Please log in or register to comment.
Log in