Jump to ContentJump to Main Navigation
Show Summary Details
More options …

Information - Wissenschaft & Praxis

Ed. by Reibel-Felten, Margarita


CiteScore 2018: 0.06

SCImago Journal Rank (SJR) 2018: 0.131
Source Normalized Impact per Paper (SNIP) 2018: 0.220

Online
ISSN
1619-4292
See all formats and pricing
More options …

Das Relevance Assessment Tool

Eine modulare Software zur Unterstützung bei der Durchführung vielfältiger Studien mit Suchmaschinen

The Relevance Assessment ToolA modular software to support the implementation of various studies with search engines

L'outil d'évaluation de la pertinenceUn logiciel modulaire pour le support de multiples études avec des moteurs de recherche

Prof. Dr. Dirk Lewandowski
  • Corresponding author
  • Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg)Fakultät Design, Medien und Information, Department InformationFinkenau 3522081 HamburgGermany
  • Email
  • Other articles by this author:
  • De Gruyter OnlineGoogle Scholar
/ Sebastian Sünkler
  • Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg)Fakultät Design, Medien und Information, Department InformationFinkenau 3522081 HamburgGermany
  • Email
  • Other articles by this author:
  • De Gruyter OnlineGoogle Scholar
Published Online: 2019-02-12 | DOI: https://doi.org/10.1515/iwp-2019-0007

Zusammenfassung

In diesem Artikel stellen wir eine Software vor, mit der sich Studien zu Such- und Informationssystemen realisieren lassen. Das Relevance Assessment Tool (RAT) soll umfangreiche Untersuchungen mit Daten von kommerziellen Suchmaschinen unterstützen. Die Software ist modular und webbasiert. Es lassen sich damit automatisiert Daten von Suchmaschinen erfassen. Dazu können Studien mit Fragen und Skalen flexibel gestaltet und die Informationsobjekte anhand der Fragen durch Juroren bewertet werden. Durch die Modularität lassen sich die einzelnen Komponenten für eine Vielzahl von Studien nutzen, die sich auf Web-Inhalte beziehen. So kann die Software auch für qualitative Inhaltsanalysen eingesetzt werden oder durch das automatisierte Scraping eine große Datenbasis an Web-Dokumenten liefern, die sich quantitativ in empirischen Studien analysieren lassen.

Abstract

In this article, we present a software that can be used to carry out studies on search and information systems. The goal of the Relevance Assessment Tool (RAT) is to support extensive research using data from commercial search engines. The software is a modular web-based software with which data from search engines can be recorded automatically, studies with questions and scales can be flexibly designed and the information objects can be evaluated by jurors on the basis of the questions. Due to the modularity the individual components can be used for a multitude of studies relating to web content. Thus, the software can also be used for qualitative content analyses or, through automated scraping, can provide a large database of web documents that can be analysed quantitatively in empirical studies.

Résumé

Dans cet article, nous présentons un logiciel qui permet de mener des études sur les systèmes de recherche et d’information. L’objectif du Relevance Assessment Tool (outil d’évaluation de la pertinence, RAT) est de soutenir des recherches vastes à l’aide de données provenant de moteurs de recherche commerciaux. Le logiciel est un logiciel modulaire basé sur le web qui permet de collecter automatiquement des données de moteurs de recherche, de présenter des études construites à l’aides de questionnaires et d’échelles de façon flexible et d’évaluer les objets d’information à l’aide de questions. Grâce à cette modularité, les composantes individuelles peuvent être utilisées pour une multituded’études relatives à du contenu web. Ainsi, le logiciel peut également être utilisé pour une analyse de contenu qualitative ou, par le biais de la récupération automatique de données, fournir une grande base de données de documents Web qui peuvent être analysés quantitativement dans des études empiriques.

Deskriptoren: Software; Suchmaschine; Daten; Empirische Untersuchung; Information Retrieval System

Descriptors: Software; Search Engine; Data; Empirical; Studies; Information Retrieval System

Deskriptoren: Logiciels; Moteur de recherche; Données; Études; Système de recherche d’information

Literatur

  • Ballatore, A. (2015). Google chemtrails: A methodology to analyze topic representation in search engine results. First Monday, 20(7). http://www.firstmonday.org/ojs/index.php/fm/article/view/5597/4652 [1.12.2018]

  • Behnert, C., & Plassmeier, K. (2016). Results of Evaluation Runs and Data Analysis in the LibRank project.Google Scholar

  • Fox, S., Karnawat, K., Mydland, M., Dumais, S., & White, T. (2005). Evaluating implicit measures to improve web search. ACM Transactions on Information Systems, 23(2), 147–168. https://doi.org/10.1145/1059981.1059982

  • Gather, A. (2013). Suchmaschinen und Sprache: eine Studie über den Umgang von Google und BING mit den Besonderheiten der deutschen Sprache. [Masterarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.Google Scholar

  • Gordon, M., & Pathak, P. (1999). Finding information on the World Wide Web: the retrieval effectiveness of search engines. Information Processing & Management, 35(2), 141–180.Google Scholar

  • Günther, M. (2012). Evaluierung von Suchmaschinen: Qualitäts-vergleich von Google- und Bing-Suchergebnissen unter besonderer Berücksichtigung von Universal-Search-Resultaten. [Bachelorarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.Google Scholar

  • Günther, M. (2016). Welches Weltbild vermitteln Suchmaschinen? Untersuchung der Gewichtung inhaltlicher Aspekte von Google- und Bing-Ergebnissen in Deutschland und den USA zu aktuellen internationalen Themen. [Masterarbeit] Hamburg: Hochschule für Angewandte Wissenschaften. Google Scholar

  • Hawking, D., Craswell, N., Bailey, P., & Griffiths, K. (2001). Measuring Search Engine Quality. Information Retrieval, 4(1), 33–59.Google Scholar

  • Höchstötter, N., & Lewandowski, D. (2009). What users see – Structures in search engine results pages. Information Sciences, 179(12), 1796–1812. https://doi.org/10.1016/j.ins.2009.01.028

  • Kelly, D. (2009). Methods for Evaluating Interactive Information Retrieval Systems with Users. Foundations and Trends® in Information Retrieval, 3(1—2), 1–224. https://doi.org/10.1561/1500000012.

  • Koch, W. & Frees, B. (2016). Ergebnisse der ARD/ZDF-Online-Studie: Dynamische Entwicklung bei mobiler Internetnutzung sowie Audios und Videos. In Media Perspektiven 9/2016), S. 418–437. http://www.ard-zdf-onlinestudie.de/files/2016/0916_Koch_Frees.pdf [1.12.2018].

  • Krewinkel, A., Sünkler, S., Lewandowski, D., Finck, N., Tolg, B., Kroh, L. W., ... Fritsche, J. (2016). Concept for automated computer-aided identification and evaluation of potentially non-compliant food products traded via electronic commerce. Food Control, 61, 204–212. https://doi.org/10.1016/j.foodcont.2015.09.039.

  • Lewandowski, D. (2008). The retrieval effectiveness of web search engines: considering results descriptions. Journal of Documentation, 64(6), 915–937. https://doi.org/10.1108/00220410810912451.

  • Lewandowski, D. (2012). A framework for evaluating the retrieval effectiveness of search engines. In C. Jouis (Ed.), Next Generation Search Engines (pp. 456–479). Hershey, PA: IGI Global. https://doi.org/10.4018/978-1-4666-0330-1.ch020.

  • Lewandowski, D. (2015). Evaluating the retrieval effectiveness of Web search engines using a representative query sample. Journal of the Association for Information Science & Technology, 66(9), 1763–1775. https://doi.org/DOI: 10.1002/asi.23304.

  • Lewandowski, D., & Sünkler, S. (2013). Designing search engine retrieval effectiveness tests with RAT. Information Services & Use, 33(1), 53–59.Google Scholar

  • Machill, M., Neuberger, C., Schweiger, W., & Wirth, W. (2003). Wegweiser im Netz: Qualität und Nutzung von Suchmaschinen. In M. Machill & C. Welp (Eds.), Wegweiser im Netz (pp. 13–490). Gütersloh: Bertelsmann Stiftung.Google Scholar

  • Otterbacher, J., Bates, J., & Clough, P. (2017). Competent Men and Warm Women. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems – CHI ’17 (pp. 6620–6631). New York, New York, USA: ACM Press. https://doi.org/10.1145/3025453.3025727.

  • Pan, B., Hembrooke, H., Joachims, T., Lorigo, L., Gay, G., & Granka, L. (2007). In Google we trust: users’ decisions on rank, position, and relevance. Journal of Computer-Mediated Communication, 12(3), 801–823.Google Scholar

  • Podgajnik, L. (2013). Relevanzanalyse niedrig gerankter Google-Suchergebnisse auf informationsorientierte Suchanfragen mit dem Relevan-ce Assessment Tool. [Bachelorarbeit] Hamburg: Hochschule für Angewandte Wissenschaften. Google Scholar

  • Purcell, K., Brenner, J., & Raine, L. (2012). Search Engine Use 2012. Search. Washington, DC. http://pewinternet.org/~/media/Files/Reports/2012/PI P_Search_Engine_Use_2012.pdf [1.12.2018].

  • Schaer, P., Mayr, P., Sünkler, S., & Lewandowski, D. (2016). How Relevant is the Long Tail? In N. Fuhr, P. Quaresma, T. Gonçalves, B. Larsen, K. Balog, C. Macdonald, ... N. Ferro (Eds.), CLEF 2016 (Vol. 9822, pp. 227–233). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-445649_20.

  • Singer, G., Norbisrath, U., Vainikko, E., Kikkas, H., & Lewandowski, D. (2011). Search-Logger: Analysing Exploratory Search Tasks. In SAC2011. Proceedings of the 2011 ACM Symposium on AppliedComputing (pp. 751–756). New York: ACM.Google Scholar

  • Spink, A., Jansen, B. J., Blakely, C., & Koshman, S. (2006). A study of results overlap and uniqueness among major Web search engines. Information Processing & Management, 42(5), 1379–1391. https://doi.org/10.1016/j.ipm.2005.11.001

  • Sünkler, S., & Lewandowski, D. (2017). Does it matter which search engine is used? A user study using post-task relevance judgments. In Proceedings of the 80th Annual Meeting of the Association of Information Science and Technology, Crystal City, VA, USA (pp. 405–414). https://doi.org/10.1002/pra2.2017.14505401044

  • Tague-Sutcliffe, J. (1992). The pragmatics of information retrieval experimentation, revisited. Information Processing & Management, 28(4), 467–490.Google Scholar

  • Tosques, F., & Mayr, P. (2009). Programmierschnittstellen der kommerziellen Suchmaschinen. Handbuch Internet-Suchmaschinen, 116–147.Google Scholar

  • Voorhees, E. M. (2009). I Come Not to Bury Cranfield, but to Praise It. In Proceedings of the workshop on human-computer interaction and retrieval (pp. 13–16). https://doi.org/10.1080/2158379X.2013.849369

  • White, R. W. & Horvitz, E. (2009). Cyberchondria: Studies of the escalation of medical concerns in Web search. ACM Trans. Inf. Syst. 27, 4, Article 23 (November 2009), 37 pages. https://doi.org/10.1145/1629096.1629101 [1.12.2018].

  • White, R. (2016). Interactions with Search Systems. New York: Cambridge University Press.Google Scholar

About the article

Prof. Dr. Dirk Lewandowski

Dirk Lewandowski ist Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg. Weitere Informationen: www.searchstudies.org/dirk

Sebastian Sünkler

Sebastian Sünkler ist wissenschaftlicher Mitarbeiter und Promovierender an der Hochschule für Angewandte Wissenschaften Hamburg. Weitere Informationen: www.searchstudies.org/sebastian


Published Online: 2019-02-12

Published in Print: 2019-01-31


Citation Information: Information - Wissenschaft & Praxis, Volume 70, Issue 1, Pages 46–56, ISSN (Online) 1619-4292, ISSN (Print) 1434-4653, DOI: https://doi.org/10.1515/iwp-2019-0007.

Export Citation

© 2019 Walter de Gruyter GmbH, Berlin/Boston.Get Permission

Comments (0)

Please log in or register to comment.
Log in