interview

‘We mogen niet blind varen op cijfers'

©Filip Ysenbaert

Woorden trekken we gemakkelijk in twijfel. Maar als we een cijfer zien, zijn we geneigd er blind op te vertrouwen. Onterecht, zegt econometrist en journalist Sanne Blauw in haar nieuwe boek. ‘Zelfs het bbp is geen natuurwet.’

Het was een Boliviaanse schoonmaakster die het leven van Sanne Blauw (32) veranderde. Toen de Nederlandse na haar studies econometrie een doctoraatsonderzoek uitvoerde naar het becijferen van geluk, voelde ze zich aanvankelijk zeker van haar stuk. Met de vragen en diagrammen die ze in haar kantoortje in Nederland had opgesteld, trok ze zelfverzekerd naar Zuid-Amerika. Om daar te ontdekken dat iemand die een vierde van het minimumloon verdiende en in een tentje woonde misschien weinig voeling had met de vraagstelling, maar toch best goede ideeën had over geluk. Ideeën die zich moeilijk lieten vatten in de cijfers.

Het was een heuse eyeopener voor Blauw. ‘Als econometrist was ik het gewoon kant-en-klare spreadsheets voorgeschoteld te krijgen, gevuld met ordelijke en duidelijke cijfers. Maar toen ik zelf onderzoek ging doen, stond ik plots aan de andere kant en zag ik dat die cijfers opstellen een veel lastiger proces is. Welke vragen stel je? Op welke manier formuleer je ze? Is wel alles wat belangrijk is in je onderwerp meetbaar? Toen ik voor die vrouw zat in Bolivia, werd ik me daar plots heel bewust van. Achter zowat elk cijfer dat we te zien krijgen, zitten mensen, met hun eigen blinde vlekken en vooroordelen.’

Ontcijferaar

Dat besef dreef Blauw naar een carrièreswitch. In plaats van cijferaar werd ze ontcijferaar. Voor het Nederlandse journalistieke platform De Correspondent ontleedt ze de cijfers waar we elke dag mee plat worden gebombardeerd. Haar ervaringen van de voorbije twee jaar pende ze neer in ‘Het bestverkochte boek ooit (met deze titel)’, een pleidooi om bewuster en kritischer om te gaan met die cijferstorm.

‘Ik ben - voor alle duidelijkheid - niet anti-cijfers geworden’, lacht Blauw. ‘Dankzij cijfers weten we of bepaalde medicijnen werken of niet. Of weten we of een politicus zich aan zijn afspraken houdt. In een democratie zijn ze onmisbaar. Maar cijfers kunnen ons ook misleiden. Om ze de plaats te geven die ze verdienen, moeten we ons bewust zijn van wie ze uitgaan, welke belangen daarin meespelen, welk onderbuikgevoel ze oproepen en welke denkfouten ermee gemoeid kunnen zijn. Zonder het kind met het badwater weg te gooien.’

Om cijfers de plaats te geven die ze verdienen, moeten we ons bewust zijn welk onderbuik gevoel ze oproepen en welke denkfouten ermee gemoeid kunnen zijn.
Sanne Blauw
econometrist

Vanwaar komt onze drang naar het becijferen van de wereld?
Sanne Blauw: ‘De wereld is eindeloos ingewikkeld, complex en ondoorzichtig. Met cijfers proberen we de touwtjes in handen te nemen. Dat is een heel redelijke reflex. Maar de slinger slaat vaak door, waardoor met cijfers een soort schijnwerkelijkheid wordt gecreëerd. Kijk maar naar hoe de tabakslobby cijfers heeft misbruikt om decennialang twijfel te zaaien over de gezondheidsimpact van hun product.’

Die drang van ons om de wereld te becijferen, leidt tot een proces dat u in uw boek ‘verdinging’ noemt.
Blauw: ‘We hebben de neiging complexe zaken tot één cijfer te reduceren. Goede voorbeelden zijn intelligentie of economische groei. Dat willen we dan meten met het IQ of het bruto binnenlands product (bbp). En als we er een cijfer op hebben geplakt, dan lijkt dat plots een natuurwet te zijn geworden. We hebben er een cijfer voor, dus het zal wel kloppen! Terwijl bijvoorbeeld het bbp net zo goed het resultaat is van een politieke keuze.’

Leg eens uit.
Blauw: ‘De Verenigde Staten waren in de jaren 30 in een serieuze economische depressie beland. Maar hoe slecht het er precies aan toe ging, wist niemand. Dus ontwikkelde de econoom Simon Kuznets het begrip ‘nationaal inkomen’ om de economische groei te vatten.'

Econometrist en journalist Sanne Blauw. ©Lise Straatsma

'Het probleem met de maatstaf van Kuznets was echter dat overheidsuitgaven voor bijvoorbeeld defensie er niet in werden opgenomen. En dat zag de overheid niet zitten, met een oorlog voor de deur. Zij wilde het liefst dat het geld dat ze in de oorlogsindustrie pompte, zich zou reflecteren in de economische groei. En dus werd het bbp ontwikkeld, waarin overheidsuitgaven wel een plaats kregen.’

‘Daar valt best iets voor te zeggen, versta me niet verkeerd. We doen er alleen goed aan te beseffen dat ook het cijfer dat we hanteren voor onze welvaart het resultaat is van een politieke keuze. Zo zit de geschiedenis vol met waardeoordelen, die als objectief overkomen. Dan is het af en toe goed een stapje terug te zetten en zo’n begrip even in vraag te durven stellen. Als je een cijfer niet meer als een absolute waarheid ziet, kan je er een echte discussie over voeren. Moet er in hoe wij welvaart definiëren bijvoorbeeld ruimte zijn voor duurzaamheid? Of vrijwilligerswerk? Daar valt ook iets voor te zeggen.’

Als cijfers worden opgelegd, hebben ze vaak een tegengesteld effect, schrijft u.
Blauw: ‘Dat is de wet van Goodhart. Die stelt dat wanneer een maatregel een doel wordt, hij ophoudt een goede maatregel te zijn. Als je cijfers boven inhoud gaat plaatsen, vinden mensen of organisaties altijd wel een manier om het systeem te bedriegen. Dat zag je heel duidelijk bij dieselgate.'

'Volkswagen bouwde wagens die op de weg veel uitstootten, maar die aan de meetmachines dan wel aan die ene opgelegde norm voldeden. Of kijk naar de tabaksindustrie. Weinig mensen weten dit, maar aan de rand van een filtersigaret zitten kleine gaatjes. Bij de machines die meten wat voor schadelijke stoffen erin zitten, worden die gaatjes niet bedekt, waardoor de machines redelijk gunstige metingen kunnen doen. Maar als je rookt, bedek je wél die gaatjes, en krijg je veel meer rommel binnen. Leg een target op, en we vinden wel een manier om eronder te blijven.’

‘Je ziet hetzelfde in de publieke sector. Hier in Nederland werden politiemensen een tijdlang afgerekend op het aantal boetes dat ze uitschreven. Het resultaat was dat ze minder tijd staken in belangrijk politiewerk en meer in pietluttigheden bekeuren. Er waren zelfs bonnendagen, waarop het enige doel was zo veel mogelijk boetes uit te delen. Dan draait het niet meer om goed werk leveren, enkel om het cijfer.’

Cijfers die blijvend tot discussies leiden, zijn politieke peilingen. Zouden we die niet beter afschaffen?
Blauw: ‘Ik vraag het me ook wel eens af, omdat ze zo afleiden van de inhoud. Maar afschaffen lijkt me nu ook weer geen goed idee. In andere landen blijkt dat mensen altijd wel een manier vinden om de cijfers naar buiten te brengen. Ze zijn ook niet waardeloos. Er zit gewoon een foutenmarge op, het is en blijft nu eenmaal een steekproef. We moeten vooral leren om niet te veel conclusies te trekken uit één peiling. Mijn voorkeur zou dus zijn: niet verbieden, maar mensen meer duidelijk maken hoe ze zulke cijfers moeten interpreteren.’

Een andere veelgemaakte fout is het verwarren van correlatie en causaliteit.
Blauw: ‘Als je maar lang genoeg zoekt, dan vind je overal wel een correlatie tussen. Het wil nog niet zeggen dat er een causaal verband is. De Amerikaan Tyler Vigen heeft daar een hele website rond gemaakt: ‘Spurious correlations’. Daar vindt hij correlaties tussen de gekste zaken. Zo volgt het aantal verdrinkingsdoden in zwembaden in de VS exact het patroon van het aantal films waarin Nicolas Cage verschijnt. (lacht) Dat slaat natuurlijk helemaal nergens op, het is puur toeval.’

Zo volgt het aantal verdrinkingsdoden in zwembaden in de VS exact het patroon van het aantal films waarin Nicolas Cage verschijnt. Dat slaat natuurlijk helemaal nergens op, het is puur toeval.’
Sanne Blauw
De Correspondent

‘Om dat soort ongein kan je gewoon lachen. Maar die fout wordt wel vaak gemaakt op manieren die minder grappig zijn. Bijvoorbeeld in medisch onderzoek komt het vaak voor. Dan hoor je dat je van rode wijn drinken langer leeft, terwijl rodewijndrinkers waarschijnlijk uit een hogere socio-economische klasse komen en daardoor langer leven.'

'Of is het gewoon toeval dat je zo’n verband ziet. In de wetenschap zitten wat gekke prikkels. Wetenschappers zoeken nu eenmaal graag verbanden, om artikels gepubliceerd te krijgen. Maar net zoals tussen verdrinkings- doden en Nicolas Cage zijn die verbanden niet noodzakelijk causaal. En hier zijn ze niet onschuldig, want er zijn mensen die hun beslissingen laten beïnvloeden door die gebrekkige conclusies.’

Op al de cijferproblemen die u aanhaalt, zetten we met big data een turbo. Is dat zorgwekkend?
Blauw: ‘Aan algoritmes en big data hangt nog meer dan aan cijfers vroeger een label van zogenaamde objectiviteit. We beschikken over enorme datasets en kunstmatige intelligentie die veel beter en objectiever kan beslissen dan wij, daar lees je overal over. Dat klinkt heftig en indrukwekkend. Maar die systemen zijn even vatbaar om dezelfde fouten te maken als wij. Zij vinden ook correlaties die ze aanzien voor oorzakelijke verbanden. Of we vergeten dat er misschien concepten in zitten die we zelf hebben bedacht en die niet zo allesomvattend en objectief zijn als we dachten.’

Sanne Blauw en de misleiding van statistieken

‘Belangrijk om te onthouden bij zulke algoritmes is dat ze allemaal gebouwd zijn met een bepaald doel. Als YouTube met een algoritme beslist welke video je voorgeschoteld krijgt, is dat om jou zo lang mogelijk aan het kijken te houden, want zo krijgen ze advertentie-inkomsten binnen.'

'Als YouTube een algoritme had gebouwd met als doel je een zo gebalanceerd mogelijk beeld van de werkelijkheid te geven, dan zou je andere dingen te zien krijgen. Dat zijn geen keuzes die te maken hebben met statistiek, dat zijn keuzes die te maken hebben met morele, politieke of zakelijke beslissingen. Het gaat vaak om eeuwenoude maatschappelijke discussies. Dat we daar nu plots moderne technieken voor kunnen gebruiken, maakt ze niet objectiever.’

Gaat u zelf nog wel eens in de fout?
Blauw: ‘Oh ja, vaak. (lacht) Zo las ik onlangs een onderzoek over hoe vrouwelijke programmeurs slechter behandeld werden dan mannen. Daar werd ik boos van. Tot plots bleek dat de media de conclusies zwaar hadden overdreven. Je brein werkt als je advocaat. Het gaat helemaal jouw buikgevoel verdedigen, argumenten zoeken om je eigen overtuiging te staven.'

'Die primaire reactie is heel normaal. Het is een kwestie van ook even die secundaire reactie aan te kweken, om de zaken in vraag te stellen. Even schakelen: klopt dit wel? Dát is de reflex die ik bij mensen wil wakker maken met dit boek. Dat ze niet blind gaan varen op cijfers.’

Sanne Blauw - ‘Het bestverkochte boek ooit (met deze titel)’ - De Correspondent, 208 blz., 18 euro

Lees verder

Advertentie
Advertentie

Tijd Connect