Christina Margrit Siever. 2015. Multimodale Kommunikation im Social Web. Forschungsansätze und Analysen zu Text-Bild-Relationen. (Sprache – Medien – Innovationen 8). Frankfurt/M.: Peter Lang. 495 S.

1 Multimodalität als Herausforderung

Multimodalität ist ein ebenso aktueller wie herausfordernder Untersuchungsgegenstand. Denn in den letzten Jahrzehnten gelang es immer besser, einfacher und massentauglicher, gesprochene und/oder geschriebene Texte zusammen mit stehenden und/oder bewegten Bildern sowie Musik und anderen optischen und akustischen Signalen auf ein und derselben technischen Plattform zu produzieren und zu verbreiten. So entstanden zahlreiche neue Kommunikationsformen vor allem im Internet, auch in so genannten Sozialen Medien. Immer häufiger werden darin Botschaften ausgetauscht, in denen geschriebene und/oder gesprochene Sprache sowie stehende und/oder bewegte Bilder wechselseitig aufeinander verweisen, also gemeinsame Bedeutungseinheiten bilden.

Diesen neuen Entwicklungen werden die Wissenschaften erst mit einiger Verzögerung gerecht. Entsprechend der überkommenen technisch bedingten Trennung der einzelnen Modi haben die semiotischen Wissenschaften sich traditionell auf jeweils einzelne Zeichenarten spezialisiert. Methodisch und sachlich am weitesten gediehen ist dabei die Linguistik (zuerst vorwiegend in der Erforschung schriftlicher, später auch mündlicher Äußerungen), wohl weil Sprache als das gesellschaftlich wichtigste Kommunikationswerkzeug empfunden wird. Mit nonverbalen akustischen und visuellen Gestalten haben sich hauptsächlich ästhetisch und historisch ausgerichtete Forschungen auseinandergesetzt, nämlich Musikwissenschaft und Kunstgeschichte. Erst neuerdings entstehen allgemeiner ausgerichtete bild-, körpersprach- und wohl auch designwissenschaftlich ausgerichtete Ansätze mit schnell wachsenden Publikationszahlen (vgl. z. B. den Artikel ,Bildwissenschaft‘ in Wikipedia mit guter Literaturauswahl, s. den Verweis im Literaturverzeichnis, bzw. Stukenbrock 2015 bzw. Joost/Scheuermann (Hg.) 2008). Doch Herstellung, Strukturen, Prozesse, Funktionen und Wirkungen der im Alltag heute allgegenwärtigen intermodalen Verknüpfungen wurden erst sporadisch und unvollständig untersucht (vgl. z. B. Klug/Stöckl (Hg.) 2016 und die 31 Handbuchartikel zur Multimodalität in Chapelle (ed.) 2013). Noch fehlen umfassende theoretische Grundlagen, ausgereifte Methoden und große Korpora. Schließlich sind multimodale Zeichenverbünde oft viel komplexer gebaut als monomodale Botschaften; ihre Erforschung erfordert entsprechend großen Aufwand.

In dieser Situation bieten sich EinzelwissenschaftlerInnen drei Vorgehensweisen oder deren Verknüpfung an. Entweder führt man bisherige Forschungsergebnisse kritisch unter bestimmten Gesichtspunkten zusammen und spürt offene Fragen auf. Oder man untersucht einzelne (exemplarische oder besonders prägnante) Beispiele intensiv: heuristisch, abduktiv und deskriptiv bis in kleinste Details. Oder, drittens, man stellt überschaubare Korpora wohldefinierter und nicht sehr komplexer bimodaler Zeichengestalten zusammen und analysiert sie möglichst vollständig im Hinblick auf klare Fragen und Hypothesen.

2 Sievers Weg

Christina Siever verbindet den ersten und dritten Weg. Anhand zweier sorgfältig erstellter Korpora widmet sich ihre produktanalytische Studie dem Social Tagging und der Notizenkommunikation in der Foto-Community Flickr. Am Tagging möchte sie zeigen, wie Laien ihre Bilder sprachlich dokumentieren (unter Retrieval-Gesichtspunkten oft nämlich nicht besonders effizient); bei den Notizen beschreibt sie Merkmale von Sprache in einfachen Text-Bild-Bezügen. Diese ihres (S. 20) und auch meines Wissens erste Untersuchung von Text-Bild-Relationen im Social Web bettet sie ein in eine weitgreifende Darstellung einschlägiger Forschungsliteratur. Die zweiteilige Anlage der Arbeit wird angemessen im Untertitel angekündigt: „Forschungsansätze und Analysen zu Text-Bild-Relationen“. Im Folgenden gehe ich zunächst auf den Forschungsbericht ein (Abschnitt 3), dann auf Sievers eigene Untersuchung (Abschnitt 4). Abschnitt 5 diskutiert Probleme der Textsorte Dissertation und überlegt, ob man die vorliegende Studie hätte anders anlegen können. Abschnitt 6 formuliert eine zusammenfassende Kurzrezension und Wünsche für die Zukunft.

3 Der Lagebericht

Nach einer Einleitung zu Forschungsfragen, Ziel, Methodik und Aufbau der Arbeit widmen sich gut drei Viertel des Buchtextes (S. 31–339) einem detaillierten Überblick

1. über technische Möglichkeiten, konventionelle Gepflogenheiten und im weitesten Sinne kommunikationswissenschaftliche Erforschung digitaler Medien (Kap. 2), des Social Web (Kap. 3), des Social Sharing und Social Tagging vor allem in Foto-Communitys (Kap. 4 und 5) sowie

2. über Probleme des Verhältnisses von Privatheit und Öffentlichkeit im Social Web (Kap. 6), Aspekte multimodaler Kommunikation (Kap. 7) und spezielle Merkmale bildorientierter Kommunikation (Kap. 8) jeweils auch mit Blickrichtung auf Foto-Communitys.

Siever breitet ihre profunden Kenntnisse der Forschungslage und kommunikationstechnischen Situation in plausibler Gliederung und klarer, flüssiger Sprache aus. Dabei nähert sie sich ihrem eigentlichen Thema (Tags & Notizen in Flickr) sehr weitläufig: Sie steckt das ganze breite Terrain ab und diskutiert ein großes Spektrum an Forschungsliteratur (das Literaturverzeichnis nennt 688 Titel). Das ist hilfreich für Menschen, die viel Zeit haben und Einblicke in die Forschungslandschaft gewinnen wollen, in dieser Ausführlichkeit aber nicht notwendig zur Durchführung und zum Verständnis der empirischen Studie im letzten Teil der Arbeit.

4 Die eigene Untersuchung

In Sievers eigener Untersuchung (Kap. 9, S. 341–409) geht es um Social Tagging und verfasste Notizen in Foto-Communitys, hier am Beispiel Flickr. Tags dienen vorrangig der Dokumentation, Notizen der Kommunikation. Weil sie unterschiedliche Funktionen erfüllen und unterschiedlich intensiv genutzt werden, stellt Siever zwei verschiedene Korpora zusammen. In einem Kleinkorpus aus 1000 gut begründet ausgewählten Flickr-Accounts einer deutschsprachigen Community von August/September 2010 untersucht sie sämtliche Tags. Für die Notizen erweist sich eine Vollerhebung derselben Community von Anfang 2006 bis Anfang 2013 als notwendig; dieses Korpus umfasst gut 150.000 Fotos von über 1700 verschiedenen Nutzerinnen und Nutzern.

Den Zwecken entsprechend handelt es sich um jeweils sehr kurze Texte – kürzer noch als die von Torsten Siever (2011) untersuchten „stark raumbegrenzten Textsorten“. Im Durchschnitt enthalten Tags 11,2 und Notizen 29,5 Zeichen (S. 347). Mit linguistischem Interesse gibt es an derartigen „Randerscheinungen von Textualität“ (S. 346) nicht viel zu erforschen. Dieser Umstand erlaubt der Verfasserin aber auch eine Komplett-Analyse sämtlicher nur denkbaren Merkmale dieser Minitexte nach allen Regeln der deskriptiv-statistischen Kunst. Dazu zählen Nutzer- und Häufigkeitsverteilungen, Länge, Sprachwahl, Wortarten, Groß- und Kleinschreibung, Morphologie, Tag-Tag/Bild/Text-Relationen, kommunikative Funktionen, Deixis, Elliptizität, dialogische Elemente u. a. m. 85% aller Fotoseiten enthalten (jeweils durchschnittlich 10) Tags, aber nur 5% sind mit Notizen versehen (S. 406). Siever zeigt, dass Laien ihre Fotos eben nur laienhaft taggen. Zur Retrieval-Verbesserung unterbreitet sie deshalb Empfehlungen für die Dienstanbieter von Tagging-Systemen (S. 408f.).

Darüber hinaus bietet die Untersuchung vielerlei interessantes Material und Detailergebnisse für alle, die sich mit schriftlichen Kürzest-Texten beschäftigen. Nicht alles davon ist gewichtig. Es mag, um nur ein Beispiel zu nennen, nicht sehr überraschen, wenngleich beruhigend wirken, dass lediglich ein Prozent aller Tags einen Tipp- oder Rechtschreibfehler enthalten. Doch wem dient deren prozentuale Aufteilung in die vier Kategorien fehlende, überflüssige, falsche und vertauschte Buchstaben (S. 364)?

5 Altes Wissen und neue Fragen

Geistes- und sozialwissenschaftliche Dissertationen werden immer dicker. Wer (außer den Gutachtern und Rezensenten) soll das alles lesen? Bei gründlicher Lektüre braucht man für die gut 400 Seiten Text (ohne Anhänge) etwa drei Tage. Anfänger ohne Vorkenntnisse müssten sich länger abmühen und würden mit umfangreichem Detailwissen reich belohnt; für sie ist das Buch aber nicht geschrieben. Experten aus der Forschung zur Internet- bzw. Text-Bild-Kommunikation brauchen die meisten Passagen der ersten acht Kapitel höchstens zum Nachschlagen oder kursorischen Überfliegen; grundsätzlich Neues bringt nur und immerhin die empirische Untersuchung in Kap. 9.

Wäre es also nicht viel ökonomischer, effizienter und leserfreundlicher, wenn man solche Dissertationen ganz anders aufbaute? Kann man nicht darauf verzichten, detailliert nachzuweisen, was man alles gelesen hat? Sollte es nicht allein darum gehen, mit diesem Expertenwissen interessante Fragen zu entwickeln und methodisch solide gewonnene Antworten darauf zu finden? Sollten nicht, wo irgend möglich, gerade auch höchst anspruchsvolle Qualifikationsarbeiten so verfasst sein, dass mindestens einige Hundert echte Leserinnen und Leser (konkurrierende Forscher, interessierte Studierende und die eine oder andere Laie) echten Nutzen aus dem gesamten Werk ziehen könnten?

Diese kritischen Überlegungen gelten weniger der Verfasserin persönlich, sondern treffen vielmehr eine teils wohl verunsicherte Kultur deutschsprachiger Dissertationen. Gerade in einer Zeit, in der das öffentliche Ansehen geistes- und sozialwissenschaftlicher Doktorarbeiten durch Halb- und Ganzplagiate sowie schnell hingehudelte Arbeiten von Hochstaplern und Gernegroßen ein wenig in Misskredit geraten ist, sind seriöse, fleißige, grundsolide und eigenständige Arbeiten wie die hier vorgelegte erst recht zu loben und wertzuschätzen. Viele Jahre intensiver Arbeit stecken darin.

Umso mehr wünscht man sich aber, dass solche Publikationen auch für ein etwas breiteres Publikum relevant sein können und breite Resonanz finden. Schließlich meint die Verfasserin selbst, durch wissenschaftliche Forschung könnten verbreitete Ängste vor Veränderungen im digitalen Zeitalter „rationalisiert, relativiert und vielleicht überwunden“ werden (S. 102). Würde sich das vorliegende Buch mit zwei oder drei klar formulierten Forschungsfragen auf das eigentliche Kernthema konzentrieren und sämtliche Passagen straff darauf ausrichten, blieben vermutlich etwa 200 sehr lesenswerte Seiten übrig. Es klingt paradox, doch vielleicht hat Siever aus Angst, die Untersuchung wirklich sehr kleiner Texte könnte allzu kleine Ergebnisse erbringen, besonders viel langen Text darüber verfasst.

Die (trotz der falschen Bezeichnung „Synopse“) vorzüglichen Zusammenfassungen an jedem Kapitelende könnten den Kern einer für diese Arbeit allein notwendigen kompakten Darstellung des Forschungsstandes (wie etwa über Flickr schön kurz auf S. 139f.) bilden, aus der dann die für die eigene Untersuchung relevanten Forschungsfragen und Hypothesen zu entwickeln wären. Lange, nicht selten auch redundante Passagen, die vom eigentlichen Kernanliegen wegführen, könnten entfallen. Wen beispielsweise interessieren langatmige Ausführungen über aktuelle Funktionen und Merkmale von Flickr in Kap. 4, wenn doch zu Recht darauf hingewiesen wird, dass sie sich ständig verändern und man sich selbst auf den Flickr-Seiten informieren möge (S. 119), während die untersuchten Daten freilich schon einige Jahre alt sind? Und warum muss man sich in diesem Rahmen über Privatheit und Öffentlichkeit im Internet Gedanken machen (Kap. 6), wo dieses Thema doch für die eigene Untersuchung keine nennenswerte Rolle spielt? Gründlich bedacht führte es vielmehr zu einer ganz anderen Abhandlung etwa im Anschluss an Habermas (1990), der nicht einmal erwähnt wird. Und – um ein letztes Beispiel zu nennen – das Kap. 7 verhandelt aus dem riesigen Feld multimodaler Kommunikation vielerlei unterschiedlichste Gesichtspunkte bis hin zu ausführlichen Erläuterungen von Emojis in unterschiedlichen Schriftarten, bezieht sie aber nur selten (z. B. S. 276–281) auf Flickr.

6 Ertrag und Perspektive

Kurzum: Eine breit angelegte und ausgesprochen kenntnisreiche, allerdings wenig fokussierte und streckenweise etwas ausufernde Darstellung mannigfaltiger Aspekte multimodaler Kommunikation im Social Web bietet den Hintergrund für eine grundsolide und vollständige korpuslinguistische Untersuchung sämtlicher Eigenschaften von Tags und Notizen in einer der größten und bekanntesten Foto-Communitys. Damit liegt die erste Untersuchung von Text-Bild-Beziehungen im Social Web vor.

Wie kann es weitergehen? Digitale Kommunikationsformen entwickeln sich schnell, Wissenschaft arbeitet langsam. Siever selbst bemerkt: „Vieles, was in dieser Studie erörtert wurde, wird sehr schnell veraltet sein“ (S. 412). Beispielsweise werden seit Mai 2015 automatische Tags vergeben, was neue Probleme erzeugt (S. 411). Umso bedauerlicher ist, dass vom Zeitpunkt der Promotion bis zum Erscheinen des Bandes zwei Jahre vergingen. Nach dieser Pionierarbeit wünscht man sich für die Zukunft weitere Untersuchungen multimodaler Kommunikation im Internet, die theoretisch gut reflektierte, klar formulierte und längerfristig haltbare Forschungsfragen über ebenso gründliche Empirie an prägnanten Beispielen oder exemplarischen Korpora zu beantworten suchen.