Der Vorstellung von Interaktion als zwischenmenschliche Verhaltensmuster folgend, liegt der Fokus des Projekts A02 auf dem Prozess des Verstehens. Durch das Zusammenführen von Expertise aus Bereichen, die sich mit Multimodalit?t befassen, ist der Ansatz dieses Projekts, verschiedene Ebenen des (Nicht-)Verstehens zu identifizieren und damit zur Implementierung eines engmaschigen ?Monitoring“-Prozesses beizutragen. Diese Implementierung wird ein System hervorbringen, das in der Lage ist, reichhaltige multimodale Signale zu nutzen, um das Verst?ndnis des Benutzers innerhalb eines Erkl?rprozesses zu unterstützen.

Wenn Menschen etwas erkl?rt bekommen, signalisieren sie ihr Verstehen oder Nicht-Verstehen zum einen mit verbalen ?u?erungen und zum anderen mit nichtverbalen Kommunikationsmitteln, wie beispielsweise Gestik und Mimik. Wer nickt, kann der erkl?renden Person verdeutlichen, dass er*sie verstanden hat. Das Nicken kann aber ebenfalls als Aufforderung gemeint sein, mit einer Erkl?rung fortzufahren, und ist im Kontext des Gespr?chs einzusch?tzen. Die Linguist*innen und Computerlinguist*innen untersuchen im Projekt A02, wie Personen – und zukünftig Maschinen – beim Erkl?ren erkennen, dass ihre Gespr?chspartner*innen sie verstehen oder nicht verstehen. Dafür betrachtet das Forschungsteam 80 Dialoge, in denen eine Person einer anderen ein Gesellschaftsspiel erkl?rt. Diese untersuchen die Wissenschaftler*innen auf kommunikative Feedbacksignale, die auf verschiedene Grade des Verstehensprozesses hindeuten. Die Ergebnisse aus den Analysen flie?en in ein intelligentes System ein, das in der Lage sein soll, Feedbacksignale wie Kopfnicken zu erfassen und bezüglich des signalisierten Verstehens zu interpretieren.