Meten is weten – soms

Data spelen een sleutelrol in de wereld van vandaag en morgen. Regeringen nemen allerlei beslissingen op basis van data, media zijn er dol op en we meten straks ook het succes van de werelddoelen eraan af. Toch zijn cijfers over bijvoorbeeld vooruitgang en groei soms boterzacht. Hoe komt het dat we nog niet exact kunnen meten hoe het ervoor staat op terreinen als armoede, onderwijs en gezondheidszorg?

Ongetelden
In Nederland weten we van dag tot dag precies hoeveel Nederlanders er zijn. Net als in veel andere landen, geven ouders hier de geboorte van hun kind aan bij de gemeente, die het kind vervolgens inschrijft. Ook sterfgevallen worden zo geregistreerd. Maar in ongeveer honderd landen wordt de bevolkingsomvang gedeeltelijk of niet bijgehouden. Ook andere data zijn daar vaak geen harde cijfers. Volkstellingen of huishoudelijke enquêtes bereiken er, per ongeluk of expres, niet iedereen. In India worden niet alle etniciteiten in de officiële tellingen meegenomen, seizoenswerkers in Vietnam vallen tussen wal en schip. Ook worden in veel Aziatische landen bij huistellingen de inwonende bedienden als assepoesters overgeslagen. Ook geïsoleerde dorpen, daklozen en sloppenwijkbewoners worden vaak overgeslagen. Door al deze ‘ongetelden’ blijft onduidelijk hoe groot de wereldbevolking precies is.

836 miljoen of meer?
We moeten daarom ook vraagtekens zetten bij de officiële cijfers over armoede. De ongetelden behoren meestal tot het armere deel van de wereldbevolking: voor het bezitten van een huis of stuk grond moet je immers ook administratief bestaan. De Verenigde Naties schatten nu het aantal mensen dat moet leven van minder dan 1,25 dollar per dag (de extreme armoedegrens, red.) op 836 miljoen, maar dat cijfer zou best een kwart hoger kunnen liggen. Met dit gat in onze kennis is het vrijwel onmogelijk om de juiste streefcijfers te formuleren voor armoedebestrijding, toch een van de speerpunten van de werelddoelen. Want als je het aantal allerarmsten tot de helft wilt terugbrengen, ga je dan uit van die 836 miljoen of hou je daarin ook rekening met (miljoenen?) ongetelden?

Economisch wonder
Een ander voorbeeld. Op 5 april 2014 was Zuid-Afrika de grootste economie van Afrika. Zondag 6 april was het land van die eerste plaats verdreven door Nigeria. Maar er veranderde weinig voor de Nigerianen dat weekend: ze hadden nog evenveel naira’s op de bank, en de verschuiving leverde ook geen extra banen of grote investeringen op. Toch was de Nigeriaanse economie van zaterdag op zondag met ruim 89 procent gegroeid.

Dat kwam doordat het Nigeriaans Bureau voor de Statistiek het Bruto Binnenlands Product (totale waarde van goederen en diensten geproduceerd door inwoners, red.) van de jaren 2010 tot en met 2013 had herzien. De Wereldbank adviseert landen dat elke vijf jaar te doen omdat economieën dynamisch zijn; ze groeien of krimpen en nieuwe sectoren, producten en technieken doen hun intrede. Nigeria had al sinds 1990 het BBP niet meer herzien en de opkomst van mobiele telefonie, internet en ICT nooit meegenomen in de schattingen. Toen die herziening er na 24 jaar eindelijk kwam, zorgde dat voor een enorme economische groei – op papier.

Dat de Nigeriaanse economie jarenlang iets meer groeide dan de statistici hadden ingeschat, is aannemelijker dan dat er begin april 2014 een economisch wonder plaatsvond. Als data te mooi lijken om waar te zijn, dan is dat vaak ook zo.

Cijfers over ebola
Of neem ebola. Vorig jaar hield de ziekte West-Afrika en de rest van de wereld in haar greep. Het simpele maar wrede feit dat een ebolapatiënt gemiddeld twee anderen besmet, zorgde voor een exponentiële groei van het aantal slachtoffers. Half oktober leek het ergste voorbij, als je de data mocht geloven. De Zweedse emeritus-hoogleraar Internationale Gezondheidszorg en statisticus Hans Rosling was sceptisch over die vooruitgang. Hij besloot naar Liberia af te reizen om de regering zijn diensten aan te bieden. “Ik ben geen viroloog en ook geen arts”, zei hij daarover tegen Science Magazine, “maar ik heb veel ervaring met het onderzoeken van epidemieën in arme delen van Afrika.”

Eenmaal daar veranderde Rosling een belangrijk detail in de rapportages van het ebolabestrijdingsteam. Daarin was voor het aantal doden in districten waar geen informatie over bekend was, hoopvol een nul ingevuld. Misschien waren er in die districten inderdaad geen ebolaslachtoffers, misschien waren het er tientallen; alleen het medisch personeel ter plaatse kende de cijfers. Voor het verzamelen daarvan werd hen gevraagd om het aantal slachtoffers door te bellen, maar omdat ze dat vaak op eigen kosten moesten doen, gebeurde dat lang niet altijd. Een vergoeding voor belkosten bleek de oplossing, waarna ook uit die districten betrouwbare en exacte cijfers kwamen.

Juist bij een besmettelijk virus als ebola is het belangrijk om precies te weten hoeveel zieken er zijn, en waar ze zich bevinden. Toegeven dat je iets niet weet, en het vervolgens uitzoeken, is altijd slimmer dan een gehoopte uitkomst invullen.

Momentopname
In veel Afrikaanse landen worden data verzameld door verschillende instanties: nationale overheden, provincies, maar ook buitenlandse donoren willen weten hoe het ervoor staat. Met het onderwijs bijvoorbeeld. Een Amerikaanse donor veranderde bijvoorbeeld de grondslag voor subsidie voor het basisonderwijs in Kenia en Tanzania. Was het uitgekeerde bedrag eerst een percentage van de totale onderwijskosten, voortaan zouden de twee landen een bedrag per leerling krijgen.

Om te weten hoeveel kinderen er naar de basisschool gaan, werden enquêtes georganiseerd. Die werden de gehouden in alle acht provincies van Kenia, en in Tanzania in zeven van de 21 provincies; voor de resterende veertien provincies werd het aantal leerlingen geschat. Deze schattingen door de donor kwamen, uiteraard, niet overeen met de onderwijsdata van het ministerie van Onderwijs van Tanzania. Ook hier blijkt: hoe je zoekt, beïnvloedt wat je vindt.

Waar de Amerikaanse geldschieter een beperkt, maar diepgaand onderzoek hield onder weinig mensen, ondervroeg de Tanzaniaanse overheid veel mensen over meerdere onderwerpen, en vroeg, zoals gebruikelijk, ook gegevens op per school, om onbetrouwbare cijfers uit te sluiten. Daarnaast wil de overheid altijd de informatie van provincies vergelijken – twee derde van de provincies overslaan was er dus niet bij. Tot slot heeft een donor vaak genoeg aan een ‘momentopname’, terwijl de overheid data over meerdere jaren wil vergelijken. En dan bestaat bij onderzoeken als deze nog het risico dat de ondervraagden zeggen wat ze denken dat jij wilt horen. Al deze factoren vragen om andere onderzoeksmethoden.

Meten is moeilijk
Meten, of het nou om economische groei of ziektegevallen gaat, is moeilijk – helemaal op wereldschaal. Maar al zijn de beschikbare gegevens niet altijd even betrouwbaar, het is wel de informatie waar we het voorlopig mee moeten doen. Ondertussen gaat de datarevolutie, die de wereld zo goed kan gebruiken om goede, en slechte, ontwikkelingen in kaart te brengen, gestaag door. Bedrijven, overheden en organisaties zoeken én vinden nieuwe manieren om informatie te verzamelen. Ook het aantal bronnen van data neemt langzaam toe. Zo beseffen we steeds beter dat we niet weten wat we niet weten.

In onze Data Atlas vind je alle data achter de millenniumdoelen.

[[{“fid”:”39842″,”view_mode”:”default”,”fields”:{“format”:”default”,”field_file_image_alt_text[und][0][value]”:”Neem een abonnement op OneWorld”,”field_file_image_title_text[und][0][value]”:”Neem een abonnement op OneWorld”},”type”:”media”,”attributes”:{“alt”:”Neem een abonnement op OneWorld”,”title”:”Neem een abonnement op OneWorld”,”style”:”height:72px; width:581px”,”class”:”file-default media-element”}}]]