Ein Szenario: Ein Mann sitzt in einem Restaurant in Hong Kong. Von seinem Hemd trieft rote Sauce herunter, die die Kellnerin gerade versehentlich auf ihn geschüttet hat. Aus Verlegenheit lächelt die Bedienung den Mann freundlich an. Dieser fühlt sich deswegen auf den Arm genommen. Nur, ist seine Wahrnehmung stimmig?
Mit solchen und weiteren Fragen der Kommunikationsforschung beschäftigt sich Prof. Dr. Hansjörg Mixdorff, Fachbereich VI. Der Professor hat sich den sogenannten Attitudes verschrieben. Der Begriff steht für die Art und Weise, wie Menschen ihre innere Einstellung oder Haltung zum Ausdruck bringen – in Form von akustischer Sprache und Gesichtsmimik.
„Es kommt auf den Unterton an“, sagt Mixdorff. Als Attitude zählt beispielsweise Verachtung, Aufrichtigkeit, Arroganz, Höflichkeit, Bewunderung und Neutralität. „Emotionen stellen stets eine Komponente von Attitudes dar, aber sie nicht mit ihnen gleichzusetzen.“
Um herauszufinden, wie Menschen aus unterschiedlichen Kulturen und Sprachfamilien Attitudes wahrnehmen und interpretieren, ist ein „Korpus“, eine Datensammlung, notwendig. Er entsteht aus Videoaufnahmen, in denen Menschen in standardisierten Situationen Attitudes darstellen. Die Wissenschaftler*innen extrahieren daraus prägnante Clips.
In Perzeptionsexperimenten werden zunächst Teilnehmer*innen aus derselben Kultur gezeigt, um die Richtigkeit der Präsentationen bewerten zu lassen. Die dabei als gut bewerteten Äußerungen werden für weitere Versuche verwendet, in denen die Teilnehmer*innen sie identifizieren oder frei bewerten sollen. Die Resultate unterscheiden sich auch je nachdem, ob man das Video mit oder ohne Ton sowie nur den Ton präsentiert.
16 Situationen
Der Professor für digitale AV-Technik und Sprachverarbeitung engagiert sich seit zwölf Jahren in der Attitude-Forschung. Zuletzt bot sich ihm im 2024 während einer DAAD-Kurzzeitdozentur in Thailand die Chance, mit einheimischen Studierenden einen „Korpus“ zu erstellen. Er besteht aus 16 Situationen, in denen sich zwei Teilnehmer*innen in ihrer Muttersprache unterhalten.
Die per Video aufgezeichneten Dialoge waren so konzipiert, dass sie auf zwei verschiedene Zielphrasen hinauslaufen, die durch die Versuchsperson mit einer bestimmten Attitude produziert werden sollen. Der Professor plant, die Clips demnächst in Versuchen deutschen Studierenden vorzulegen, die die thailändischen Attitudes entschlüsseln sollen.
In seiner Forschung an der BHT hat Mixdorff drei Länder- beziehungsweise Sprachgruppen miteinander verglichen: China, Deutschland und Indien. Über alle Gruppen hinweg zeigte sich, dass emotionale Anteile im Gesicht leichter erkannt werden. Die Teilnehmer*innen registrierten Gefühlsregungen wie Skepsis und Verblüffung präzise. Dennoch konnten sie bei 16 Attitudes lediglich sechs Subgruppen verlässlich identifizieren. Das bedeutet, dass sich Attitudes ähneln können, etwa Verachtung, Arroganz und Autorität.
Die Erkennungsschwierigkeiten hängen vermutlich auch mit Gewohnheiten zusammen. Beispiel: „Im deutschen Sprachraum unterscheiden sich neutrale und höfliche Äußerungen weder in Mimik noch in Stimmlage, sondern in der Wortwahl.“ In der Sprache Hindi sei dies anders. Der deutschen Gruppe sei außerdem die Entschlüsselung der Gemütszustände chinesischer Probanden schwergefallen. „Im Gesichtsausdruck ließ sich nicht erkennen, ob das Gegenüber verärgert oder neutral gestimmt ist.“
KI erkennt Gefühlsregungen
Im Vergleich der drei Gruppen bemerkte Mixdorff, dass die indischen Teilnehmer*innen eine außergewöhnliche Fähigkeit besitzen: Sie erkannten die Attitudes von Chinesen und Deutschen. „Sie konnten beide recht gut dekodieren“, sagt der Professor. Im Gegensatz dazu hatten Deutsche und Chinesen erhebliche Schwierigkeiten, die jeweils andere Gruppe richtig einzuordnen. Die Auswertung der Daten zeigte außerdem, dass die indische Gruppe die deutschen und chinesischen Teilnehmer*innen positiver bewertete als umgekehrt.
Hansjörg Mixdorff untersuchte in Simulationsexperimenten mit indischen Kolleg*inen am Indian Institute of Technology Bombay ebenso, inwiefern Künstliche Intelligenzen menschliche Emotionen erkennen können. Die Ergebnisse zeigen, dass maschinelle Lernverfahren, ähnlich wie Menschen, nur sechs Attitude-Kategorien zuverlässig identifizieren können. Allerdings: „Die Maschine hat den Menschen dabei stets übertroffen“. In den Experimenten zeigte sich außerdem ein großer Unterschied: Während Gesichtsausdrücke für Menschen wichtig sind für die Emotionserkennung, reichte dem Computer oft die akustischen Informationen aus.
Zur Person
Hansjörg Mixdorff absolvierte sein Studium der Elektrotechnik an der Technischen Universität Berlin von 1983 bis 1990 mit einer Spezialisierung auf Softwareentwicklung, digitale Sprachverarbeitung und Hochfrequenztechnik. Anschließend studierte er Japanisch, Chinesisch und Phonetik an der Freien Universität Berlin. Es folgte ein Postgraduierten-Stipendium in Japan, wo er zur deutschen und japanischen Intonation forschte. 1996 erhielt Mixdorff eine zweijährige Förderung der Deutschen Forschungsgemeinschaft (DFG) für ein Projekt zur prosodischen Steuerung in der Sprachsynthese an der TU Dresden. Es folgten Promotion und Habilitation. Seine berufliche Laufbahn begann er als Entwicklungsingenieur bei Telefunken-Sendertechnik. Von 1995 bis 1999 war er bei der TELES AG in Berlin tätig, wo er die Leitung der Sprachverarbeitungsgruppe übernahm und später als Produktmanager für Software-Usability und Sprachintegration arbeitete. Seit 2001 ist Hansjörg Mixdorff Professor für Digitale AV-Verarbeitung und Sprachkommunikation an der BHT.