Interview Marc Swerts: Non-verbale communicatie, de smeerolie voor soepele interacties

Welke intonatie, handgebaren, lichaamstaal en gezichtsexpressies bepalen of een gesprek soepel loopt, of een spreker fijn is om naar te luisteren en of iemand sociaal overkomt? Marc Swerts wordt al ruim 40 jaar gefascineerd door die extra laag van gesproken taal. Een gesprek over wat we wel en nog niet weten over non-verbale communicatie en wat we met die kennis kunnen. ‘Of je mondhoek naar boven of beneden gaat, is een wereld van verschil.’

ANNEKE NUNN werkte als taalkundige en promoveerde op een spellingmodel voordat ze tekstschrijver werd. www.annekenunn.nl

Aanvankelijk beperkte Swerts zich noodgedwongen tot de hoorbare kenmerken. Totdat hij de beschikking kreeg over tools om hypotheses over visuele communicatie te kunnen toetsen, zoals een avatar. Dat is een kunstmatig gezicht waarvan de bewegingen zijn te manipuleren. Om bijvoorbeeld te achterhalen wat een wenkbrauwbeweging doet met de perceptie, kun je de zin met en zonder die beweging maken en testen wat het verschil is in verwerkingstijd.

Dit interview verscheen eerder in Tekstblad 2022, #5/6. Niets missen in de wereld van tekst en communicatie? Word abonnee van Tekstblad!

Een rood verkeerslicht moet opvallen

Swerts keek op verschillende manieren hoe auditieve en visuele kenmerken de status van de informatie signaleren. Is het belangrijk of niet? Is het zeker of niet? “Wie niet zeker is van zijn antwoord, kan non-verbaal laten doorschemeren niet te pretenderen dat het klopt. Ook handig voor de luisteraar. Onzekerheid blijkt uit een aarzelpauze, vraagintonatie of iemands gezichtsuitdrukking. Hoe onzekerder iemand is, hoe opvallender het visuele gedrag wordt.”

Iets vergelijkbaars geldt volgens Swerts voor feedback geven. “Zolang je een gesprekspartner kunt volgen, knik je af en toe lichtjes: ik snap het, ga maar door. Maar als je het niet meer snapt, zul je dat veel duidelijker signaleren. Je wil aan de ander laten opvallen dat er een probleem is en de interactie even tegenhouden. Het werkt zoals bij verkeerslichten. Het groene verkeerslicht hoeft niet zo op te vallen, maar het rode wel. Je moet stoppen, anders heb je kans op ongelukken.” 

Ook non-verbale cues zonder directe interactie

Ook als redenaar of nieuwslezer zetten mensen hun woorden kracht bij, zegt Swerts. “Uit analyse van Obama’s toespraken bleek dat hij vooral met de toonhoogte, duur en intensiteit van de syllabe markeert wat belangrijk is. Een deel van de geaccentueerde lettergrepen benadrukt hij ook nog met een hoofd- of wenkbrauwbeweging of handgebaar. Veel minder dan de toonhoogteaccenten, maar als hij het doet loopt het synchroon. Een gebaar maken op een ongeaccentueerd woord is lastig om te doen, maar voor de luisteraar ook lastig te interpreteren. Dat heeft met synergie te maken.”

Onderzoek van opnames van Nederlandse nieuwslezer liet ook een neiging tot synchroniseren zien. Daarnaast keek Swerts of nieuwslezer met hun gezichtsuitdrukking signaleerden of een boodschap positief of negatief is. Dat bleek inderdaad te zien. Ze waren bovendien veel expressiever bij het jeugdjournaal dan bij het journaal voor volwassenen. Zo stemden ze hun non-verbale gedrag dus af op het doelpubliek.

Welke spreker klinkt het fijnst?

Op dit moment onderzoekt Swerts welke prosodische kenmerken (klemtoon, intonatie, spreekritme) zorgen dat een spreker lekker is om naar te luisteren. Iemand die voorleest is dat in elk geval niet. “Dat is heel saai en vermoeiend om te volgen. Het is prettiger te luisteren naar iemand die ter plekke gedachten formuleert en af en toe hapert of ‘eh’ zegt. Dan kun je als het ware meedenken en meevoelen met die spreker.”

Verder vond Swerts aanwijzingen voor een averaging effect bij spreektempo, een voorkeur voor het gemiddelde. “Als je mensen twee gezichten laat zien en een derde dat een gemiddelde daarvan is, vinden ze dat gemiddelde gezicht het mooiste. Nu lieten we een zin door zeven mensen uitspreken en maakten een achtste versie door daar de gemiddelde duur aan toe te voegen. Daaraan gaven luisteraars inderdaad de voorkeur. We kijken nu in hoeverre dat generaliseert door het experiment te herhalen met andere zinnen en andere sprekers.”

De wetenschappelijk inzichten die inmiddels zijn opgedaan, kunnen gebruikt worden om natuurlijker avatars maken. Zijn er nog meer toepassingen? “Ik denk dan in eerste instantie aan leerprogramma’s”, zegt Swerts. “Bijvoorbeeld voor blinden die niet vanzelf hebben geleerd om visuele feedback zoals knikjes te geven. Daardoor kan een ziende gesprekspartner onzeker worden of de boodschap wel aankomt.”

“De timing van knikbewegingen is heel voorspelbaar. Als ik bij een zaal vol studenten vraag op de tafel te slaan als ze zouden knikken gaat dat heel synchroon. Je zou het dus blinden kunnen leren knikken waardoor ze plots veel natuurlijker overkomen. Minder ongemakkelijk voor de gesprekspartner, wat voor hen dan ook beter is. Iets vergelijkbaars geldt ook voor mensen met autisme. Een student vertelde me dat mensen niet merkten dat hij autisme heeft, omdat hij zichzelf de juiste non-verbale cues had aangeleerd. Daardoor kwam hij veel socialer over.”

Andere taal of cultuur, ander gedrag

Ook voor het leren van een andere taal zijn non-verbale kenmerken belangrijk. Zo signaleren talen als het Spaans – anders dan het Nederlands – geen contrastief accent in zinnen als: het is geen róde bal maar een bláuwe. Spanjaarden die Nederlands leren, moeten dat contrastief accent leren gebruiken.

Er zijn ook aanwijzingen dat je in een andere cultuur nieuwe gedragsregels moet aanleren. Swerts vertelt hoe hij samen met een Pakistaanse promovendus onderzocht of je aan het gedrag van kinderen kunt aflezen of ze een spelletje verloren of gewonnen hebben. “Nederlandse kinderen waren vooral expressief als ze verloren hadden; Pakistaanse kinderen juist als ze gewonnen hadden. En aan Japanse proefpersonen is onzekerheid veel minder goed af te lezen dan aan Nederlandse.”

Automatisch interpreteren is nog ver weg

Zijn er ook al programma’s te verwachten die visuele communicatie kunnen herkennen? Dat is helaas nog ver weg, zegt Swerts. “We weten nog te weinig om emotionele of attitudinele informatie automatisch te interpreteren. Ook omdat er waarschijnlijk veel variatie is tussen mensen. Bovendien zijn emoties gradueel. Als iemand ‘Amsterdam’ zegt en een systeem ‘Rotterdam’ herkent, is het duidelijk fout. Maar iemand kan een beetje boos zijn of woedend. Dat maakt het herkennen extra complex.”

Brandende vragen

Welke vragen wil Swerts nog graag beantwoorden? Die zijn er nog volop. “Hoeveel kunnen we bewust of via stemgebruik signaleren en is dat gekoppeld aan persoonlijkheidskenmerken of verwachtingspatronen? Zegt de mate van spiegelen van het gedrag van een gesprekspartner iets over iemands persoonlijkheidskenmerken of hoogte van het AQ, het autismespectrumquotiënt? Verraadt de frequentie van knikbewegingen hoe extravert iemand is?”

“Verder ben ik ook geïnteresseerd in variatie. Tussen culturen, maar ook binnen culturen. In hoeverre stemmen mensen non-verbaal gedrag af op omstandigheden zoals ruis op het kanaal, gesprekspartners en het medium? En wat is de effectiviteit daarvan? We hebben gemerkt dat interactie bij online vergaderen via Teams of Zoom soms wat moeizamer is. Je kijkt elkaar niet echt in de ogen en het beeld is vrij klein. Wie weet gaan we ons gedrag daar ooit op afstemmen, zoals we bij storend omgevingsgeluid duidelijker gaan articuleren. Dat zou ik in de toekomst nog wel eens willen uitzoeken. Kortom, er ligt nog een heel werkpakket.”

Dit interview verscheen eerder in Tekstblad 2022, #5/6. Niets missen in de wereld van tekst en communicatie? Word abonnee van Tekstblad!