Met name bij organisaties en onderzoekers die evaluaties uitvoeren in ontwikkelingslanden zien we veel onzekerheid. Een recente survey onder 500 internationale monitoring en evaluatie professionals liet zien dat de beperkte mogelijkheden tot data-verzameling op locatie overduidelijk het meest voorkomende probleem is. Reizen, zowel binnenlands als internationaal, is niet meer mogelijk (of ethisch verantwoord) in de meeste landen. Het is onduidelijk hoelang dit gaat duren. En je kan je afspraak met een boer in Afrika niet zomaar omzetten naar een Zoom-call.
Uitstel of afstel van een evaluatie is vaak niet wenselijk of mogelijk. Juist in deze tijd wil je weten wat er speelt bij je doelgroep. Daarnaast lopen subsidierondes af en willen donoren weten wat er is gebeurd met geld. Dus is er vraag naar alternatieve vormen van data-verzameling.
Hoe krijg je toch zicht op veranderingen bij je doelgroep?
Gelukkig zijn er meerdere opties waarmee je toch zicht kan krijgen op (verandering bij) de doelgroep, zodat je ervan kan leren en (voorzichtige) claims kan maken over de effecten (outcomes). Wij stellen drie opties voor om impactonderzoek op afstand uit te voeren:
- Meta analyses van bestaande data: ontwikkelingsorganisaties hebben de afgelopen jaren veel geïnvesteerd om te monitoren op veranderingen bij de doelgroep. Door middel van methodes als Outcome Harvesting en Stories of Change. Een verdiepende en meta- analyse van al deze data kan een programma-breed inzicht geven in effecten. Het is een efficiënte manier van met je middelen omgaan. Daarnaast zijn de gegevens al voor de COVID-19-crisis en heeft dit dus geen invloed op de resultaten.
Meta-analyses zijn vooral inzichtelijk in combinatie met andere methodes, zodat je de bevindingen valideert en eventueel verder uitdiept. Denk aan online validatie-sessies of telefonische interviews (zie hieronder). Hierbij is het meenemen van de mening van externe partijen belangrijk: monitoring gegevens zijn namelijk verzameld door de organisatie zelf en daardoor niet onafhankelijk. - Vragenlijsten via de SMS of interactieve voiceberichten: niet iedereen heeft een smartphone of laptop. Hier moet je vooral rekending mee houden als je met kwetsbare groepen werkt in ontwikkelingslanden. Korte vragenlijsten (rond de 10 gesloten vragen) kan je ook via de SMS uitzetten, of interactieve voiceberichten als je doelgroep niet kan lezen of schrijven. De technologie hieromheen is snel in ontwikkeling. Nadeel van deze methode dat de respons vaak laag is. Gelukkig delen veel organisaties tips, richtlijnen en best practices om je op weg te helpen.
- Telefonische interviews: deze vorm van interviews wordt sowieso veel gebruikt in evaluatieonderzoek, maar is vaak niet de voornaamste onderzoeksmethode. Als reizen binnen een land niet mogelijk is, is dit een goed alternatief voor bezoek aan een gemeenschap. Hiervoor is samenwerking met consultants in programma-landen noodzakelijk. Werkt het project bijvoorbeeld met kleinschalige boeren in Oeganda, dan kunnen onderzoeksassistenten de boeren bellen en het interview in de lokale taal afnemen.
Telefonische interviews zijn tijdsintensiever dan SMS-vragenlijsten maar uit ervaring blijkt dat deze methode een hogere respons heeft. Je kan zowel kwalitatieve als kwantitatieve gegevens verzamelen en hebt de mogelijkheid om door te vragen. Ook kan de interviewer het doel van het onderzoek en de vragen uitleggen en checken of de respondent dit begrijpt. De resultaten zijn hierdoor betrouwbaarder en inzichtelijker.
Tot slot
We sluiten af met twee belangrijke overwegingen voor evalueren tijdens de COVID-19 crisis. Ten eerste, de bovenstaande methodes hebben allemaal een grote beperking: je kan als onderzoeker geen gebruik maken van je eigen observaties en informele interacties. Juist die zijn belangrijk voor het contextualiseren van je bevindingen en het valideren van resultaten. Triangulatie is daarom een nog crucialer onderdeel als je onderzoek doet op afstand: combineer verschillende onderzoeksmethoden en spreek diverse respondenten, zowel binnen als buiten het programma.
Ten tweede, organisaties (en financiers) moeten goed kijken naar de ethische overwegingen bij het evalueren tijdens de COVID-19 crisis. Ga, net als bij andere evaluaties, uit van het ‘do-no harm’ principe: je onderzoek mag nooit een negatieve invloed hebben op doelgroepen en lokale organisaties. Mocht een bezoek aan gemeenschappen mogelijk zijn, dan kan dat mogelijk wel een risico betekenen op het verspreiden van COVID-19. Daarnaast kan het ongepast zijn om mensen te benaderen voor onderzoek tijdens een (ernstige) crisis. Raadpleeg hiervoor altijd de medewerkers in de programma-landen, zoals consultants met wie je werkt en de programma staf.
Heb je vragen of toevoegingen? Deel je vragen en ervaringen via kati@avance-impact.nl.
Auteur: Kati Oudendijk, werkzaam bij Avance als Impact Specialist.
