In der Angewandten Linguistik im Allgemeinen und der Multimodalitätsforschung im Speziellen wird mit empirischen Daten gearbeitet. Wir konzentrieren uns hierbei auf qualitative d.h. vergleichsweise kleine Korpora. Diese müssen gesammelt und aufbereitet werden. Dazu muss zunächst ein Korpus zusammengestellt werden. Art und Größe des Korpus richten sich dabei nach der konkreten Fragestellung und muss mit der Betreuerin abgesprochen werden. Die gesammelten Daten müssen für die weitere Arbeit und spätere Präsentation aufbereitet werden.

Mögliche Korpora

Mögliche Korpora

  • Werbespots
  • Aufsteller in Supermärkten
  • Produktverpackungen
  • YouTube-Videos
  • Fernsehsendungen
  • (Sprechstunden-)Gespräche
  • Hörspiele
  • Graffitis
  • u.v.m.

All diese Korpora benötigen eine unterschiedlich aufwändige Aufbereitung, um mit den erhobenen Daten wissenschaftlich arbeiten zu können. Eine besondere Form der Aufbereitung benötigen Korpora, die aus verschiedenen multimodalen Ressourcen bestehen, wie zum Beispiel YouTube-Videos. Nachfolgend soll deshalb verdeutlicht werden, wie solche aufwändig gestalteten Korpora in einem Transkript aufbereitet werden.

Dokumentation

  • Ordnen
    Zunächst einmal muss die Quelle der einzelnen Daten dokumentiert werden. Dazu kann es – je nach Art der Daten – hilfreich sein, Metadaten (Aufnahmeort, -datum, -zeit) in tabellarischer Form zu dokumentieren.
  • Fotografieren
    Nicht immer ist das gewünschte Datenmaterial bereits digital verfügbar. Produktaufsteller oder Graffitis müssen z.B. zunächst mit einer Kamera digitalisiert werden. Dabei ist zu beachten, dass das Objekt des Interesses ausreichend gut erkennbar und die Auflösung für eine Darstellung geeignet ist. Ebenfalls ist es wichtig, den Ort und Zeitpunkt der Aufnahmen zu dokumentieren.
  • Aufnehmen audiovisueller Daten
    Manchmal ist es besonders sinnvoll, sich bei der Analyse auf audiovisuelle Daten zu stützen. Untersucht man zum Beispiel Mimik oder Gestik in Formen der direkten Kommunikation oder aber im Rahmen von Werbespots geht ohne das bewegte Bild viel Information verloren. Diese Videos müssen im Anschluss noch im Rahmen einer Transkription aufbereitet werden.
  • Schneiden audiovisueller Daten
    Für die Präsentation müssen geeignete Ausschnitte aus dem Datenmaterial ausgewählt werden. Dabei ist es wichtig, dass die Screenshots eines Videos genau das zeigen, was analysiert wird. Manchmal reicht ein einziger Screenshot, gelegentlich sind allerdings auch mehrere nötig. [Verlinken wie man Screenshots macht]
  • Transkription
    Sprachliche Daten bedürfen zusätzlich einer Aufbereitung dahingehend, dass die gesprochene Sprache sichtbar gemacht werden muss. Hier ist eine Transkription notwendig, die an die individuellen Bedürfnisse der Fragestellung angepasst werden muss. Vgl. Selting et al

Transkription gesprochener Sprache

Für die Transkription gesprochener Sprache bietet sich das gesprächsanalytische Transkriptionssystem GAT2 an, das eigens für die Transkription gesprochener Sprache entwickelt wurde.

In diesem System werden einzelne abgeschlossene Redezüge (LinguistInnen sprechen von Turn Construction Units – TCU) in tabellarischer Form notiert und durch prosodische Informationen wie Betonung und Stimmführung ergänzt. Das dadurch entstandene Verbaltranskript ermöglicht es, die gesprochensprachlichen Daten zu veranschaulichen und systematisch zu analysieren. Vgl. Selting et al

Erweiterung zu einem multimodalen Transkript

Wenn Sie sich für die Transkription eines audiovisuellen Textes, bspw. eines Werbespots entschieden haben, stehen Sie vor dem Problem das Video zu transkribieren. Hierzu liefern die folgenden Überlegungen einige unterstützende Hinweise.

Das Verbaltranskript wird im Fall von audiovisuellen Daten um multimodale Aspekte erweitert. Die wichtigste Erweiterung in einem multimodalen Transkript stellt das Einbinden von Standbildern dar. Diese ermöglichen eine Analyse von gesprochener Sprache in Kombination mit visuellen Einflüssen. Zur Einbindung wird oberhalb der Zeile für gesprochene Sprache eine weitere Zeile für die Standbilder eingefügt. Die Position des einzelnen Standbildes innerhalb des Verbaltranskriptes wird durch einen | an der entsprechenden Stelle angezeigt.

Musik, Geräusche, aber auch Mimik, Gestik und Bewegung lassen sich weder über Standbilder noch über das Verbaltranskript abbilden. Um diese Aspekte im Transkript zu ergänzen, können unterhalb der Verbalzeile weitere Kommentarzeilen eingefügt werden. In diesen Zeilen können akustische Einflüsse oder Bewegungen beschrieben werden und somit ebenfalls für die Analyse sichtbar gemacht werden.

Eine fertige Zeile eines multimodalen Transkriptes sieht so aus:

Oberhalb der Verbalzeile findet sich das Standbild zu dieser Stelle. In der Verbalzeile wird nach GAT2 die gesprochene Sprache wiedergegeben. Darunter werden weitere Kommentare, hier Geräusche und Bewegungen, in Kommentarzeilen ergänzt.

Auswahl der Standbilder

Vor der Auswahl der passenden Standbilder stellt sich zunächst die Frage nach dem wissenschaftlichen Fokus der Fragestellung. Dieser bestimmt, nach welchen Kriterien die Standbilder ausgewählt werden. In den meisten Arbeiten wird der Fokus entweder medienwissenschaftlich oder sprachwissenschaftlich sein.

  • Bei einem sprachwissenschaftlichen Fokus liegt das Interesse des Betrachters auf den sprachlichen Elementen des Analysegegenstandes. Dementsprechend wird das Standbild anhand dieser Kriterien ausgewählt.
  • Mit einem medienwissenschaftlichen Schwerpunkt steht das Bild im Fokus des Interesses. Für Fragestellungen dieser Art wird ein aussagekräftiges Bild ausgewählt. Die sprachlichen Elemente stehen hierbei im Hintergrund.

Je nach Komplexität des zu analysierenden Abschnittes, fällt es schwer, die Szene auf ein Standbild zu reduzieren. In diesem Fall können mehrere Standbilder ausgewählt werden.

Anfertigen von Standbildern