1 Einleitung
In diesem Artikel wird die Altmetric-Abdeckung von heterogenem wissenschaftlichem und außerwissenschaftlichem Forschungsoutput in einem transdisziplinären Forschungsfeld analysiert. Dabei kann transdisziplinäre Forschung als ein reflexiver Forschungsansatz beschrieben werden, welcher gesellschaftliche Probleme in wissenschaftliche Fragestellungen integriert, heterogene wissenschaftliche und außerwissenschaftliche Erkenntnisse einbezieht und sowohl zum gesellschaftlichen als auch zum wissenschaftlichen Fortschritt beiträgt (vgl. Jahn, Bergmann & Keil, 2012; Gibbons, 1994).
Klassische szientometrische Ansätze sind auf die intrawissenschaftliche Messung beschränkt. Altmetrics bieten das Potential, auch die außerwissenschaftliche Kommunikation mit einzubeziehen und werden daher als erweiterter Ansatz zur Messung des gesellschaftlichen Impacts von Forschung diskutiert (Barnes, 2015; Bornmann, 2014 a, 2015; Holmberg et al., 2015). Weiterhin sind Altmetrics in der Lage, eine größere Varietät an Forschungsprodukten, wie Datensätze, Software, Algorithmen, graue Literatur und Foliensätze in den wissenschaftlichen Evaluationsapparat mit einzubeziehen (Bornmann, 2014 a; Priem, 2014; Zahedi, Fenner & Costas, 2014). Das bietet in Hinblick auf die Heterogenität der transdisziplinären Forschungsleistungen bemerkenswertes Potential. Auf der anderen Seite ist die Messung des nicht-wissenschaftlichen Outputs schwierig (Koier & Horlings, 2015) und es fehlt noch an systematischer Analyse der Genauigkeit von Altmetrics in der transdisziplinären Forschung.
Dieser Artikel verwendet das transdisziplinäre Feld der Bildungsforschung als Fallstudie. Die Bildungsforschung wird als problemorientiertes und disziplinär heterogenes Feld (z. B. Psychologie, Soziologie und Politologie, Ökologie) mit einer starken Ausrichtung auf die pädagogische Praxis (Baumann, 2005; Dees, 2015; Deutscher Bildungsrat, 1974) charakterisiert. Beide Kennzeichen der Bildungsforschung werden in dieser Studie genutzt, um Herausforderungen und Grenzen bei der altmetrischen Bestimmung von gesellschaftlichem Impact zu eruieren.
Konkret werden verschiedene methodische Wege getestet, um einen ersten Einblick zu bekommen, wie aktuelle Altmetric-Tools das Feld der Bildungsforschung hinsichtlich des generellen Publikationsoutputs abdecken. Ein zusätzlicher experimenteller Ansatz analysiert die Twitter-Erwähnungen eines fortlaufenden Forschungsberichtes zur Situation der Bildung in Deutschland (Autorengruppe Bildungsberichterstattung, 2016). Der Bildungsbericht wurde als relevante transdisziplinäre Forschungsleistung gewählt (vgl. Dees, 2015, 178), welche die außerwissenschaftliche Welt der Bildungspolitik und -administration sowie die allgemeine Öffentlichkeit adressiert.
2 Aktueller Forschungsstand
Zur transdisziplinären Forschung existieren eine Vielzahl von Konzeptualisierungen (Gibbons, 1994; Jahn, Bergmann & Keil, 2012; Nowotny, Scott & Gibbons, 2001). Die Integration von Wissen heterogener Disziplinen in die Forschung (Interdisziplinarität) ist in der Praxis schwer zu messen (Huutoniemi et al., 2010). Bisher wird der wissenschaftliche Output (hauptsächlich Publikationen) dafür herangezogen (Wagner et al., 2011). Die Integration der außerwissenschaftlichen Welt (z. B. gesellschaftliche Probleme, Wissen, Interessengruppen, Fortschritt) in bibliometrische Methoden ist dadurch erschwert, dass diese auf rein wissenschaftlichen Publikationsdatenbanken basieren. (Koier & Horlings, 2015). Umgekehrt lässt die intrawissenschaftliche Ausrichtung der Publikationsdatenbanken (z. B. das Web of Science (WoS)) Zweifel aufkommen, ob die Ableitung von Aussagen zum gesellschaftlichen Impact zulässig ist (vgl. Holmberg et al., 2015).
Seit einiger Zeit werden webbasierte Altmetrics als sogenannte alternative Metriken diskutiert, die eine Erweiterung der zitatbasierten Impactmessungen versprechen (Priem et. al., 2010). Für die transdisziplinäre Forschung sind verschiedene Potenziale artikuliert worden (Koier & Horlings, 2015), insbesondere den gesellschaftlichen Fortschritt betreffend (Bornmann, 2014 b, 2014a). Altmetrics erweitern das Spektrum der Forschungsprodukte für die wissenschaftliche Evaluation (Bornmann, 2014 a, 2015; Priem, 2014; Zahedi, Fenner & Costas, 2014) und beziehen die außerwissenschaftliche Welt ein. Ein weiterer Vorteil wird in der schnelleren Reaktion von z. B. Twitter-Zitaten im Vergleich zu Zitaten in Publikationen gesehen (Bornmann, 2016). Andererseits werden Einschränkungen sichtbar, wenn die Kriterien Abdeckung, Konsistenz und Rückverfolgbarkeit von Datenquellen und Aggregatoren (Chamberlain, 2013; Zahedi, Fenner & Costas, 2014, 2015) betrachtet werden. Vermutet wird auch eine Abhängigkeit von Kommunikations- und Publikationspraktiken bestimmter Wissenschaftsgemeinschaften (Costas, Zahedi & Wouters, 2014; Peters et al., 2014; Zahedi, Costas & Wouters, 2014).
Die aktuelle Altmetric-Forschung behandelt vorrangig die Frage, ob Altmetrics das Gleiche wie die traditionelle Bibliometrie messen und in welcher Repräsentativität dies gewährleistet ist. Die meisten der altmetrischen Studien fokussieren sich auf die Naturwissenschaften und medizinische Disziplinen (z. B. Andersen & Haustein 2015, Bar-Ilan 2014, Adams und Loach 2015). Im Rahmen von multidisziplinären Studien wurden jedoch auch die Sozial-, Kunst- und Geisteswissenschaften einbezogen. Mohammadi and Thelwall (2014) analysierten Mendeley-Leserdaten von WoS Artikeln von 2008. Mit 39 Prozent erreichte das Feld der Bildung und Bildungsforschung einen relativ hohen Leserschaftsanteil, während z. B. nur 13 Prozent der geisteswissenschaftlichen WoS-Artikel eine Leserschaft in Mendeley nachweisen konnten.
Eine im Jahr 2015 veröffentlichte Studie zur disziplinären Ausrichtung von in sozialen Medien erwähnten Publikationen (Costas, Zahedi & Wouters, 2015) stellte fest:
‘The humanities, natural sciences, and engineering disciplines have a much lower presence of social media metrics. Twitter has a stronger focus on general medicine and social sciences. Other sources (blog, Facebook, Google+, and news media mentions) are more prominent in regards to multidisciplinary journals’ (Costas, Zahedi & Wouters, 2015, 260).
Peters et al. (2014) untersuchten die altmetrischen Erwähnungen für Publikationen (Zeitschriftenartikel und Buchkapitel) von zwölf Leibniz-Instituten (2011 bis 2012). Darunter wurden je ein Institut aus den Geisteswissenschaften und aus den Erziehungswissenschaften ausgewählt (Abschnitt A). Die Publikationen beider Institute hatten mit 32 und 30 Prozent im Vergleich zu den anderen Sektionen die wenigsten Altmetric-Erwähnungen. Hierbei ist jedoch zu berücksichtigen, dass in den Sozialwissenschaften und den Geisteswissenschaften subdisziplinär sehr heterogene Publikationskulturen festgestellt wurden (Fry & Talja, 2004; Nederhof, 2006), was insbesondere auch für die Bildungsforschung belegt wurde (Singleton et al., 2015; Dees, 2008). So beziehen Altmetric-Tools deutlich stärker Publikationen in Zeitschriften ein als in Monographien und Sammelbänden, die in vielen geistes- und sozialwissenschaftlichen Teildisziplinen eine große Rolle spielen. Das bibliometrisch und altmetrisch bevorzugte Publikationsformat ‚Artikel‘, wird in der psychologisch orientierten Bildungsforschung (36,2 %) deutlich mehr genutzt als in der soziologischen (27,4 %) und genuin pädagogischen (28,9 %) Forschung (Singleton et al., 2015, 83).
3 Methodologie
Die Vermessung zur Abdeckung der Publikationspraxis in der Bildungsforschung wurde in fachspezifischen Datenbanken durchgeführt, die so weit wie möglich die disziplinäre Heterogenität abbilden. Für den Bereich der Publikationen (Stand Juni 2016) in der Bildungsforschung wurde die FIS Bildung Literaturdatenbank[2] verwendet (2010 bis 2015), die ein breites Spektrum an unterschiedlichen Publikationstypen (z. B. Monographien) inklusive praxis-orientierter Literatur erfasst. Für alle in der FIS-Bildung nachgewiesenen Artikel mit dem eindeutigen Identifier DOI wurden am 10. Mai 2016 mit Hilfe des Programms R und dem rAltmetric Packet Altmetric-Werte über die Altmetric.com[3]-API abgerufen.
Eine weitere exemplarische Quelle bildet eine Sammlung von Twitter-Erwähnungen im Kontext des im ca. zweijährigen Abstand erscheinenden Forschungsberichts „Bildung in Deutschland“ (Autorengruppe Bildungsberichterstattung, 2016). Die Erwähnungen wurden über die Twitter-Search API mit NodeXL aufgezeichnet. Sie wurden für sieben Tage nach dem Tag der Veröffentlichung (16. Juni 2016) des Bildungsberichts gesammelt.
4 Abdeckung des Outputs der Bildungsforschung
4.1 Abdeckung der Publikationen
Von den 134.301 Publikationen der FIS Bildung (Erscheinungsjahre 2010 bis 2015) wiesen nur 12 Prozent (16.076) eine DOI auf und konnten über Altmetric.com abgefragt werden (s. Tab. 1). Davon lagen zu 21,2 Prozent Altmetric-Daten, also Erwähnungen im Web, vor.[4] 17,5 Prozent dieser Erwähnungen entfielen auf Twitter, gefolgt von Blogs (2,3 %), Google+ (1,0 %) und Nachrichtenseiten (0,2 %). Der hohe Anteil der Twitter-Erwähnungen steht im Einklang mit den Ergebnissen früherer Studien (e. g. Costas, 2015).
In Hinblick auf die gesamte Bandbreite der FIS-Publikationen (2010 bis 2015) und die Umstände der Aggregation konnten nur 2,5 Prozent (n = 3,404) identifiziert und mit Altmetric-Daten versehen werden. Ein fehlender Identifier[5] ist zurzeit noch ein großes Hindernis bei der Abdeckung in Altmetric-Studien.
Altmetrics für die Publikationen der FIS Bildung (2010–2015)
| Jahr | Alle Pub. | Pub. mit DOI (PubD /FIS) | Pub. m Altmetrics (PubA /DOI) (PubA /FIS) | Blogs | News | Google+ | Wikipedia | ||
| 2010–2015 | 134.301 | 16.076 (12 %) | 3.404 (21,2 %) (2,53 %) | 2.816 (17,5 %) (2,1 %) | 541 (3,4 %) (0,4 %) | 368 (2,3 %) (0,27 %) | 29 (0,2 %) (0,02 %) | 162 (1,0 %) (0,12 %) | 69 (0,43 %) (0,05 %) |
Bei der Betrachtung der verschiedenen Arten von Publikationen, die in einem transdisziplinären Forschungsfeld mit seinen heterogenen Publikationspraktiken verwendet werden, ergibt sich ein präziseres Bild.
Anteile der Publikationstypen in der FIS Bildung (2010–2015).
Abbildung 1 zeigt die Verteilung der Publikationstypen in der FIS Bildung (2010 bis 2015). Betrachtet man die Altmetric-Abdeckung nach Publikationstyp, so zeigt sich: Im Vergleich zu den anderen Publikationstypen steigt der Anteil der Zeitschriftenartikel in der Datenbank von 48 Prozent von allen Publikationen auf 60 Prozent der Publikationen mit DOI und auf 82 Prozent der Publikationen mit Altmetric-Daten.
Andere wichtige Publikationstypen wie Monographien und Teile von Sammelwerken sinken von 52 Prozent (alle) auf 40 Prozent (mit DOI) auf 18 Prozent (mit Altmetric-Werten). Mit Berücksichtigung der in Fachcommunities unterschiedlich bevorzugten Publikationsarten scheint es plausibel, dass nichtjournalbasierte Felder der Bildungsforschung bei der Anwendung der Altmetricmessung benachteiligt werden. Es ist also fraglich, ob altmetrische Messungen derzeit die Defizite der traditionellen Bibliometrie als Impacteinschätzungen ausgleichen können.
Da die gesellschaftliche Impactmessung als ein transdisziplinäres Potenzial für Altmetrics angenommen wird, spielt es auch eine zentrale Rolle, inwieweit Forschungsergebnisse bei dem Zielpublikum (praxis- und politiknahe Kreise) und ihren Aktivitäten wirken. In diesem Kontext ist die Sprache zentral, in der die Forschungsergebnisse formuliert sind.
Unsere Untersuchung zeigt, dass deutschsprachige Publikationen stark unterrepräsentiert sind, wenn es um die Zugänglichkeit für diese Verfahren geht. Obwohl in der FIS-Bildung Literaturdatenbank die Publikationen in deutscher Sprache mit 72 Prozent klar überwiegen, sinkt der Anteil bei der Eingrenzung auf Publikation mit DOI auf 43 Prozent und letztlich verbleiben nur 5 Prozent deutschsprachige bei den Publikationen mit Altmetric-Daten (Abb. 2). Diese Benachteiligung der deutschen Sprache ist vermutlich ausschlaggebend wenn außerwissenschaftliche Zielgruppen erreicht werden sollen.
Anteil der Publikationen nach Sprachen in der FIS-Bildung (2010–2015).
4.2 Abdeckung von Twittererwähnungen für einen transdisziplinären Bericht
Am 16. Juni 2016 wurde der Bericht „Bildung in Deutschland 2016“ veröffentlicht. Er beruht auf einer indikatorbasierten wissenschaftlichen Beobachtung des deutschen Bildungssystems und wird von einem transdisziplinären Team von Bildungsforschern erstellt; seine Zielgruppe sind Bildungspolitik, Bildungsverwaltung und die breitere Öffentlichkeit. Damit ist der Bericht eine beispielhafte Publikation mit transdisziplinärem Anspruch.
Eine Abfrage nach ‘bildungsbericht‘ über die Twitter-Search-API fand 405 einzelne Tweets für den Zeitraum vom 16. bis 22. Juni 2016.[6] Zusätzlich gab es 447 Retweets von 134 einzelnen Tweets. 386 Tweets enthalten URLs zu 85 verschiedenen Domains. Die am meisten referenzierte Domain ist faz.net (Website der Frankfurter Allgemeinen Zeitung) mit 52 Links, gefolgt von bildungsbericht.de (die offizielle Berichtsseite) mit 38 Links. Unter den zehn meistgenannten Domains gibt es sieben Links zu etablierten Mainstream-Nachrichten-Seiten. Dies deutet auf eine außerwissenschaftliche Aufmerksamkeit für den Bericht hin.
Am Tag der Veröffentlichung des Berichts gab es einen großen Ausschlag bei den Erwähnungen; im Folgenden sank die Dichte der Erwähnungen mit dem zeitlichen Abstand zum Ereignis: 65,5 Prozent (558) der gesammelten Tweets wurden am 16. Juni 2016 erstellt; 14,1 Prozent (120) entstanden am Tag nach der Veröffentlichung. 640 Personen wurden als aktiv identifiziert, von denen 302 Tweets und 361 Retweets posteten. 43 Prozent (302) der aktiven Personen schrieben nur Tweets, 53 Prozent (361) retweeteten nur und vier Prozent (23) taten beides. Diese Ergebnisse bestätigen Altmetrics als schnellen Echtzeit-Indikator für die Kommunikation über Publikationen, die eine hohe gesellschaftliche Aufmerksamkeit hervorrufen. Unter der Voraussetzung, dass Publikationen im Web eindeutig identifizierbar sind, können altmetrische Instrumente besonders geeignet sein, transdisziplinären Impact schnell zu erfassen.
5 Diskussion
In dieser Studie wurde die Abdeckung mit Altmetrics in Bezug auf heterogene Publikationspraktiken und -formen in einem transdisziplinären Bereich, nämlich der Bildungsforschung, analysiert. Für die Gesamtzahl der Publikationen im Bereich der Bildungsforschung wurden mit Blick auf die derzeitige altmetrische Messbarkeit eher niedrige Werte (nur 12 % aller Publikationen in der FIS-Bildung Datenbank haben eine DOI) gefunden. Diese niedrige Abdeckungsrate reduzierte sich bei der Ermittlung von Altmetric-Daten für diesen Bestand (21 %) weiter, sodass lediglich 2,5 Prozent aller Publikationen dieser Datenbank altmetrisch analysierbar sind. Die spezifische Publikationsstruktur weiter Teile der Bildungsforschung, die nicht zentral auf Zeitschriften ausgerichtet ist und nur zu einem geringen Teil in englischer Sprache stattfindet, erlaubt derzeit keine umfassende altmetrische Beobachtung.
Einerseits bedeutet dies, dass die Grundgesamtheit und die spezifische Publikationskultur einer Disziplin (hier Bildungsforschung in Deutschland) in Altmetrics-Studien berücksichtigt werden muss. Andererseits zeigt es die Notwendigkeit, dass altmetrische Aggregationen wie Altmetric.com den eingeschränkten Bereich des einzelnen Identifikators DOI erweitern müssen, wenn sie den Erwartungen gerecht werden wollen, ein größeres Spektrum des wissenschaftlichen Outputs einzubeziehen, als es die traditionellen bibliometrischen Verfahren tun. Die Fokussierung auf englischsprachige Zeitschriftenartikel schränkt gleichzeitig weitere Erwartungen an Altmetrics ein, die mit der transdisziplinären Adressierung praxisorientierter Bereiche und der Einbeziehung lokal orientierter Publikationen (vgl. Koier & Horlings, 2015) verbunden sind.
Dennoch zeigt die Studie Potenziale der Social-Media-Analyse, die traditionelle bibliometrische Analysen übertreffen. Auf der Basis eines erweiterten zukünftigen Satzes von messbaren Identifikatoren wird die Kommunikation von transdisziplinären Publikationen besser abgedeckt sein. Das Beispiel des Bildungsberichtes zeigt, dass ein außerwissenschaftlicher Diskurs über Forschungsergebnisse, referenziert von den Mainstream-Medien und darüber hinaus, sichtbar gemacht werden kann. Hier sind auch jetzt schon Trendanalysen methodisch vorstellbar.
Die Abdeckung von Altmetric-Tools ist noch im Wachsen begriffen; Altmetrics.com ergänzt zurzeit weitere Identifikatoren wie die in Deutschland häufig verwendete URN. Mittelfristig können webbasierte Langzeitbeobachtungen auch für größere Publikationssammlungen oder Forschungsdaten abrufbar gemacht werden. Transdisziplinäre Diskurse können dann als kontextuelle Anreicherungen von Forschungsleistungen in Forschungsinfrastrukturen (z. B. Referenzdatenbanken) angeboten werden. Altmetrics stehen erst am Anfang, das Potenzial für die Analyse außerwissenschaftlicher Auswirkungen von Forschungsergebnissen ist weiterhin gegeben.
Deskriptoren: Informationsanalyse, Interdisziplinär, Mes-sung, DOI, Bibliometrie, Almetrics
Anmerkung
Dieser Artikel ist eine Kurzfassung des in englischer Sprache verfassten Beitrags im Rahmen des International Symposium of Information Science (ISI) 2017 in Berlin, s. (Vogler et al., 2017).
Literatur
Adams, Jonathan; Loach, Tamar (2015). Altmetric mentions and the communication of medical research. Disseminating research outcomes outside academia: Digital Research Reports. London: Digital Science.Search in Google Scholar
Andersen, Jens Peter; Haustein, Stefanie (2015). Influence of Study Type on Twitter Activity for Medical Research Papers. In: A. A. Salah (Hg.): Proceedings of ISSI 2015 Istanbul. Istanbul: Bogaziçi.Search in Google Scholar
Autorengruppe Bildungsberichterstattung (Ed.). (2016). Bildung in Deutschland 2016. (1. Auflage). Bielefeld: Bertelsmann, W.Search in Google Scholar
Bar-Ilan, Judit (2014). Astrophysics publications on arXiv, Scopus and Mendeley: a case study. In: Scientometrics 100 (1), S. 217–225. DOI: 10.1007/s11192-013-1215-1.10.1007/s11192-013-1215-1Search in Google Scholar
Barnes, C. (2015). The Use of Altmetrics as a Tool for Measuring Research Impact. Australian Academic & Research Libraries, 46(2), 121–134.10.1080/00048623.2014.1003174Search in Google Scholar
Baumann, U. (2005). Interdisziplinarität, Transdisziplinarität, Integralität. Tertium comparationis, 11(1), 3–14.Search in Google Scholar
Bornmann, L. (2014a). Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics, 8(4), 895–903.10.1016/j.joi.2014.09.005Search in Google Scholar
Bornmann, L. (2014b). Validity of altmetrics data for measuring societal impact: A study using data from Altmetric and F1000Prime. Journal of Informetrics, 8(4), 935–950.10.1016/j.joi.2014.09.007Search in Google Scholar
Bornmann, L. (2015). Usefulness of altmetrics for measuring the broader impact of research. Aslib Journal of Information Management, 67(3), 305–319.10.1108/AJIM-09-2014-0115Search in Google Scholar
Bornmann, L. (2016). Measuring impact in research evaluations: A thorough discussion of methods for, effects of and problems with impact measurements. Higher Education. doi:10.1007/s10734-016-9995-x.10.1007/s10734-016-9995-xSearch in Google Scholar
Chamberlain, S. (2013). Consuming Article-Level Metrics: Observations and Lessons. Information Standards Quarterly, 25(2), 4–13.10.3789/isqv25no2.2013.02Search in Google Scholar
Costas, R., Zahedi, Z., & Wouters, P. (2014). Do altmetrics correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. doi:10.1002/asi.23309.10.1002/asi.23309Search in Google Scholar
Costas, R., Zahedi, Z., Wouters, P. (2015). The thematic orientation of publications mentioned on social media. In: Aslib Journal of Information Management, 67(3), 260-288.10.1108/AJIM-12-2014-0173Search in Google Scholar
Dees, W. (2008). Innovative Scientometric Methods for a Continuous Monitoring of Research Activities in Educational Science. In Fourth International Conference on Webometrics, Informetrics and Scientometrics & Ninth COLLNET Meeting. Berlin.Search in Google Scholar
Dees, W. (2015). Bildungsforschung – eine bibliometrische Analyse des Forschungsfeldes. Humboldt-Universität zu Berlin.Search in Google Scholar
Deutscher Bildungsrat. (1974). Aspekte für die Planung der Bildungsforschung: Klett.Search in Google Scholar
Fry, J., & Talja, S. (2004). The cultural shaping of scholarly communication. Proceedings of the American Society for Information Science and Technology, 41(1), 20–30.10.1002/meet.1450410103Search in Google Scholar
Gibbons, M. (1994). The new production of knowledge: The dynamics of science and research in contemporary societies. Los Angeles: Sage.10.4135/9781446221853Search in Google Scholar
Holmberg, K., Didegah, F., Bowman, T., & Kortelainen, T. (2015). Measuring the societal impact of open science-Presentation of a research project. Informaatiotutkimus, 34(4). Search in Google Scholar
Huutoniemi, K., Klein, J. T., Bruun, H., & Hukkinen, J. (2010). Analyzing interdisciplinarity: Typology and indicators. Research Policy, 39(1), 79–88. doi:10.1016/j.respol.2009.09.011.10.1016/j.respol.2009.09.011Search in Google Scholar
Jahn, T., Bergmann, M., & Keil, F. (2012). Transdisciplinarity: Between mainstreaming and marginalization. Ecological Economics, 79, 1–10.10.1016/j.ecolecon.2012.04.017Search in Google Scholar
Koier, E., & Horlings, E. (2015). How accurately does output reflect the nature and design of transdisciplinary research programmes? Research Evaluation, 24(1), 37–50. doi:10.1093/reseval/rvu027.10.1093/reseval/rvu027Search in Google Scholar
Mohammadi, E., & Thelwall, M. (2014). Mendeley readership altmetrics for the social sciences and humanities. Journal of the Association for Information Science and Technology, 65(8), 1627–1638.10.1002/asi.23071Search in Google Scholar
Nederhof, A. J. (2006). Bibliometric monitoring of research performance in the Social Sciences and the Humanities: A Review. Scientometrics, 66(1), 81–100.10.1007/s11192-006-0007-2Search in Google Scholar
Nowotny, H., Scott, P., & Gibbons, M. (2001). Re-thinking science: Knowledge and the public in an age of uncertainty. Cambridge, UK: Polity.Search in Google Scholar
Peters, I., Jobmann, A., Eppelin, A., Hoffmann, C. P., Künne, S., & Wollnik-Korn, G. (2014). Altmetrics for large, multidisciplinary research groups: a case study of the Leibniz Association. In: Pehar, F., Tanacković, S. F., Bosančić, B. (Eds.): Libraries in Digital Age (LIDA) Proceedings: Vol 13 (2014): Assessing libraries and library users and use. University of ZadarSearch in Google Scholar
Priem, J. (2014). Altmetrics. In B. Cronin & C. R. Sugimoto (Eds.), Beyond bibliometrics. Harnessing multidimensional indicators of scholarly impact (pp. 263–287). Cambridge, Massachusetts: The MIT Press.Search in Google Scholar
Priem, J., Taraborelli, D., Groth, P., & Neylon, C. (2010). altmetrics: a manifesto. Retrieved from http://www.altmetrics.org/manifesto.Search in Google Scholar
Singleton, K., Kuhberg-Lasson, V., Sondergeld, U., & Schultheiß, J. (2015). Publikationen der Bildungsforschung. In A. Botte, U. Sondergeld, & M. Rittberger (Eds.), Monitoring Bildungsforschung. Bad Heilbrunn: Klinkhardt, Julius, 67–106.Search in Google Scholar
Vogler, E., Schindler, C., Botte, A., Rittberger, M. (2017). Are altmetrics effective in transdisciplinary research fields? : altmetric coverage of outputs in educational research. In: Gäde, M., Trkulja, V., Petras, V. (Eds.). Everything changes, everything stays the same? : proceedings of the 15th International Symposium of Information Science (ISI 2017). Glückstadt: HülsbuschSearch in Google Scholar
Wagner, C., Roessner, J.D., Bobb, K., Klein, J.T., Boyack, K., Keyton, J., Rafols, I., Borner, K. (2011). Approaches to understanding and measuring interdisciplinary scientific research (IDR): A review of the literature. Journal of Informetrics, 5(1), 14–26.10.1016/j.joi.2010.06.004Search in Google Scholar
Zahedi, Z., Costas, R., & Wouters, P. (2014). How well developed are altmetrics? A cross-disciplinary analysis of the presence of ‘alternative metrics’ in scientific publications. Scientometrics, 101(2), 1491–1513.10.1007/s11192-014-1264-0Search in Google Scholar
Zahedi, Z., Fenner, M., & Costas, R. (2014). How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM, Mendeley and Altmetric.com APIs.Search in Google Scholar
Zahedi, Z., Fenner, M., & Costas, R. (2015). Consistency among altmetrics data provider/aggregat ors: what are the challenges? In altmetrics15. the 2015 Altmetrics Workshop (pp. [3 S.]). Amsterdam.Search in Google Scholar
© 2017 Walter de Gruyter GmbH, Berlin/Boston
