De lange weg naar een serieuze leesbaarheidsindex

De Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) investeert 2 miljoen euro in negen onderzoeken naar begrijpelijke taal. In een serie artikelen besteedt Tekstblad aandacht aan dit nieuwe onderzoeksprogramma. In deze aflevering deel 2: over een leesbaarheidsindex voor het Nederlands.

Door Henk Pander Maat.

Goed nieuws: NWO heeft in het kader van het programma Begrijpelijke Taal een project gesubsidieerd dat toewerkt naar een leesbaarheidsindex voor het Nederlands. Maar eh… hebben we niet al zo’n index? We hebben toch in Nederland verschillende softwaretoepassingen om het taalniveau van teksten te meten? Neem bijvoorbeeld Texamen, Klinkende Taal en de Accessibility Leesniveau Tool. Allemaal geven ze het niveau van de tekst in termen van het Common European Framework, dat niveaus definieert van A1 (laagst) tot C2 (hoogst).

Inderdaad, met name BureauTaal is erg succesvol geweest met de boodschap dat teksten op niveau B1 geschreven moeten worden, omdat ze anders te moeilijk zijn voor grote delen van de Nederlandse bevolking. Het goede daarvan is dat het veel aandacht heeft opgeleverd voor het belang van begrijpelijk communiceren. Het slechte daarvan is dat er suggesties worden gewekt die we niet waar kunnen maken. Immers, die Europese niveaus zijn nog niet goed gedefinieerd. Ze waren oorspronkelijk bedoeld voor vreemdetaalleerders. Er zijn taaltesten voor ontwikkeld (als iemand op deze test een score X haalt, heeft hij Europees taalniveau Y), maar dat is wat anders dan een harde definitie van de lexicale of grammaticale kenmerken van zo’n taalniveau. Of de niveaus ook van toepassing zijn op moedertaalsprekers is nog onduidelijk; en nog minder duidelijk is of ze ook kunnen gelden voor teksten gelezen door moedertaalsprekers. Er zou  een groot onderzoek nodig zijn naar de relatie tussen moedertaalniveaus van sprekers en hun begripsprestaties op teksten met bepaalde kenmerken. Maar dat is tot dusver niet gedaan. Dat leidt ertoe dat de drie hierboven genoemde instrumenten gebaseerd zijn op oordelen van experts over de moeilijkheid van teksten: het verzamelen daarvan kost veel minder werk. 

Bijsluiters

Nu is het probleem met experts (u weet het, u bent er zelf een) dat ze het vaak oneens zijn. Daarom zijn de huidige leesbaarheidstools het ook vaak oneens. Toen we een steekproef van 19 teksten analyseerden met de drie tools, bleken die het voor slechts 5 van de teksten helemaal eens, wat niet heel veel is als je bedenkt dat er slechts 4 niveaus gebruikt zijn (de laagste niveaus A1 en A2 kwamen in onze teksten niet voor; zie verder Kraf e.a. 2011). Dat is jammer, want zeker als je geld betaalt voor het analyseren van je tekst wil je graag duidelijkheid.

Een meer concreet voorbeeld van een discutabele inschaling van teksten is het volgende. BureauTaal analyseerde ooit 3 geneesmiddelenbijsluiters en plaatste ze op de niveaus C1, C1 en C2 (BureauTaal 2009). Dat zou betekenen dat ze respectievelijk begrepen worden door 40 procent (C1) en 15 procent (C2) van de Nederlanders. Toen we die bijsluiters gingen testen met elk 50 lezers van uiteenlopende opleidingsniveaus, bleek dat ruim 90 procent van de vragen erover goed werd beantwoord door de mensen die de relevante tekstpassage wisten te vinden, en dat ongeveer 75 procent van de lezers deze passage ook vond (Lentz & Pander Maat 2012). Hoe je deze cijfers ook interpreteert, ze laten zien dat het Texamenoordeel over deze teksten veel te pessimistisch is. Wellicht komt dat doordat Texamen veel waarde hecht aan de grote aantallen zeldzame en meerlettergrepige woorden in bijsluiters, bijvoorbeeld wanneer verwezen wordt naar andere geneesmiddelen. We weten het niet, want de gebruikte inschalingsformule is bedrijfsgeheim. 

Nu kunt u zeggen: het is wat al te makkelijk om dit soort kritiek te leveren, want voorlopig hebben we niets beters en we moeten toch wát om die begrijpelijkheid te bepalen? Op die tegenwerping heb ik twee reacties.

Laten we om te beginnen constateren dat we op dit moment aan een tekst niet goed kunnen zien hoeveel volwassen lezers hem zullen begrijpen. Daarvoor is langjarig onderzoek nodig naar een grote verzameling teksten. En zo komen we bij het LIN-project waarmee dit stukje opende, waarbij ook betrokken zijn de collega’s Ted Sanders (Universiteit Utrecht) en Antal van den Bosch (Radboud Universiteit), en verder Cito en de Nederlandse Taalunie. In dat project nemen we een 90-tal teksten, maken daarvan makkelijke en moeilijke versies, en testen daarvan het begrip. We doen dat vooral bij scholieren in het voorgezet onderwijs (60 teksten), omdat we het idee hebben dat in het voortgezet onderwijs (van 1 vmbo tot 6 vwo) het spectrum van niveaus van begrijpend lezen van de Nederlandse bevolking wel zo ongeveer vertegenwoordigd is. We proberen vervolgens de begripsprestaties op die teksten te verbinden aan de stijlkenmerken van die teksten, die we analyseren met analysesoftware. 

In die software zitten om te beginnen traditionele kenmerken zoals woordfrequenties, woord- en zinslengte en type-token-ratio (de woordenrijkdom in een tekst). Daarnaast zijn er ‘slimmere’ kenmerken zoals het aantal lijdende vormen, het aantal tangconstructies (en de lengte van de tangen), het aantal bijzinnen en het aantal terugverwijzende woorden. Dat zijn kenmerken waarvoor je zinnen automatisch moet ontleden of woordsoorten automatisch moet benoemen. En ten slotte een paar nóg slimmere kenmerken, zoals de betekenisoverlap tussen de woorden in opeenvolgende zinnen, waarmee je een klein beetje de samenhang in de tekst kunt bepalen.

Complexiteitskenmerken

Het verband tussen tekstkenmerken en tekstbegrip proberen we trouwens niet alleen te bepalen op het niveau van de tekst als geheel (op basis van gemiddelde kenmerkwaarden en gemiddeld begrip), maar liefst ook op het niveau van zinnen. We vermoeden namelijk dat teksten nogal schommelen in moeilijkheid. En als we dan uiteindelijk weten welke tekstkenmerken ertoe doen, proberen we een formule te bouwen die bij benadering aangeeft hoe vaardig de lezers moeten zijn om een tekst op voldoende niveau te begrijpen.

Voor het formuleren van die vereiste vaardigheidsniveaus denken we op dit moment niet zozeer aan Europese taalniveaus als wel aan opleidingsniveaus (‘voor deze tekst moet iemand lezen op het gemiddelde niveau van havo-4’). Maar de toekomst moet gaan uitwijzen wat op dit punt het beste is, zowel wat betreft empirische ondersteuning als wat betreft gebruiksvriendelijkheid.

Dat is het eerste antwoord op de vraag ‘wat moeten we dán?’: voor een betere begrijpelijkheidstool is domweg onderzoek nodig. Voor dat onderzoek hebben we zo’n viereneenhalf jaar uitgetrokken, en om eerlijk te zijn durf ik niet te garanderen dat we dan helemaal klaar zijn; wél een stuk verder. Wat doen we in de tussentijd? Daarmee kom ik aan het tweede antwoord. In de tussentijd doen we er goed aan om niet te veel te bluffen, zoals nu de gewoonte is. We weten niet hoeveel lezers een tekst echt begrijpen. We weten wél welke kenmerken van een tekst het begrip ervan zouden kunnen bemoeilijken. Het onderzoek daarover is verzameld in de Kennisbank Begrijpelijke Taal (kijk op www.kennisbank-begrijpelijketaal.nl; een verantwoording vind je in Pander Maat e.a. 2011). Je kunt, met andere woorden, een lijst samenstellen van complexiteitskenmerken: je kunt voorlopig kenmerken indelen in groepen rond woordmoeilijkheid, zinsbouw, tekstsamenhang op lokaal en globaal niveau, informatiedichtheid, en dergelijke. We kunnen dat soort kenmerkgroepen ook empirisch vaststellen, door een grote verzameling teksten te analyseren en door middel van technieken als factoranalyse na te gaan welke kenmerken gezamenlijk variëren in die teksten.

Vervolgens kunnen we teksten op onze complexiteitsfactoren met elkaar vergelijken. We kunnen bijvoorbeeld zeggen dat een tekst wat betreft woordmoeilijkheid op jip-en-jannekeniveau ligt, of juist op het niveau van Wikipedia; of dat de tekst wat zinsbouw betreft op het niveau van de Viva zit, of juist op dat van een verzekeringspolis. Dat betekent natuurlijk wel dat er een behoorlijke hoeveelheid Annie M.G. Schmidt-teksten, Viva-teksten enzovoort in onze verzameling moeten zitten, en dat die teksten onderling niet al te veel moeten verschillen. Op die manier kun je teksten beschrijven zonder dingen te zeggen die je niet waar kunt maken. 

Uiteindelijk willen we meer dan dat, maar de beschrijvende benadering lijkt me voorlopig zeker de moeite waard. Als we ondertussen maar ook de lange weg opgaan van een serieuze leesbaarheidsindex. 

Literatuur

BureauTaal (2007). Bijsluiters bij medicijnen. Een onderzoek naar begrijpelijkheid. Ongepubliceerd.

L. Lentz & H. Pander Maat (2010). Een betere bijsluiter. In: Tijdschrift voor Taalbeheersing 32 (2), 128-151.

H. Pander Maat, L. Lentz (2011). Een kennisbank over begrijpelijke taal. In: Tijdschrift voor Taalbeheersing 33 (3), 208232.

R. Kraf, L. Lentz en H. Pander Maat (2011). Drie Nederlandse instrumenten voor het automatisch voorspellen van begrijpelijkheid. Een klein consumentenonderzoek. In: Tijdschrift voor Taalbeheersing 33 (3), 249-265.

Losse nummers bestellen of een abonnement nemen?

Dit is een artikel uit het Tekstblad-archief uit 2012. Wil je meer artikelen teruglezen? Dan kun je een los nummer van Tekstblad nabestellen. Ook kun je direct een abonnement nemen.