Zo meet Rikolto impact

Elke drie tot vijf jaar beoordeelt Vredeseilanden (Rikolto) de impact van haar programma's. Hebben onze interventies het gewenste effect? En wat kunnen we leren uit onze missers zodat we onze aanpak kunnen bijsturen? Deze impactbeoordelingen bestaan ​​uit een intensief proces van dataverzameling en interviews met leden van de boerenorganisaties en verschillende stakeholders.

Eind 2016 liep een driejarig programma af dat door de Belgische regering werd gefinancierd. Hét moment dus om de impact van ons werk te meten in de 12 landen die onder dit programma vallen. De hamvraag: zijn we erin geslaagd de vooropgestelde verandering op gang te brengen?

De focus van ons werk is de waardeketens van landbouwproducten duurzamer en inclusief te maken voor kleinschalige boeren. Zo streven we naar het verbeteren van de leefomstandigheden van meer dan 100.000 boeren in 12 landen in Afrika, Azië en Latijns-Amerika. Nu zou het werken met 100.000 individuele boeren wel onpraktisch zijn (hoe kunnen we die boeren bereiken?), inefficiënt (hoeveel mensen en hoeveel geld zouden we nodig hebben?) en niet duurzaam zijn (wie zou de continuïteit van ons werk verzekeren?).

Daarom zetten we in de eerste plaats in op het coachen van boerenorganisaties tot betrouwbare zakenpartners, die cruciale diensten kunnen verlenen aan hun leden. Daarmee krijgen vele kleinere producenten een sterkere stem en betere onderhandelingsposities. Ten tweede werken we aan duurzame en inclusieve commerciële relaties tussen de verschillende spelers in de waardeketen (inputleveranciers, dienstenleveranciers zoals banken, opkopers en supermarkten). Zo ontstaan nieuwe zakelijke modellen voor kleinschalige landbouw, die andere bedrijven, boerenorganisaties, dienstverleners, overheden en ngo’s kunnen inspireren om deze modellen toe te passen op een schaal die ver buiten ons directe bereik gaat.

Goed, zo ver zijn we: er zit een logica achter onze strategie en die klinkt ook nog redelijk. Maar hoe meet je daar nu de impact van, en wel zo dat je een verband kunt leggen tussen de veranderingen die je registreert en de interventies van Vredeseianden (Rikolto) ?

In veel gevallen zijn we niet de enige actor die samenwerkt met een boerenorganisatie. Vaak is er een landbouwingenieur van het ministerie van landbouw die technische bijstand verleent, of andere ngo’s die de boerenorganisatie op andere vlakken ondersteuning bieden. Waar een boerenorganisatie vandaag staat, is het resultaat van de vaardigheden van haar medewerkers gecombineerd met de inspanningen van al die actoren.

Ga je naar de volgende stap in de keten, dan is het nog moeilijker om te bepalen waarom en hoe het leven van de boeren is verbeterd (of verslechterd). Vredeseianden (Rikolto) ondersteunt boeren die werken in een specifieke waardeketen, bijvoorbeeld cacao. Toch kan een cacaoboer ook nog op andere manieren een inkomen verdienen: door groenten te telen, vee te houden, organische mest te verkopen, bij te verdienen als taxichauffeur of via de steun die hij of zij ontvangt van familieleden in de stad of in het buitenland. Meten we dus alleen het inkomensverschil afkomstig van een zeer specifieke keten? Of kijken we naar zijn / haar bedrijf als geheel?

Lang verhaal kort: het meten van de impact van ons werk is een hele uitdaging. Gelukkig zijn we niet de enige in het spel. Er zijn verschillende andere organisaties en onderzoeksinstituten die, net zoals wij, voortdurend streven naar het verbeteren van de tools die ze gebruiken om impact in complexe omgevingen te meten.

Voor de impactbeoordelingen van 2016 hebben we onze meetinstrumenten bijgewerkt zodat ze beter aansluiten bij onze interventiestrategieën en de veranderingen die we willen realiseren. We steunen daarvoor op wetenschappelijk onderzoek rond het beoordelen van capaciteitsontwikkeling bij boerenorganisaties en op de aanbevelingen uit een studie over methoden voor impactmeting voor NGO's van de dienst bijzondere evaluatie van de Belgische overheid.

Het resultaat is een kader dat bestaat uit een mix van methoden, zowel kwalitatief als kwantitatief. We combineren primaire data (boerenquêtes) en secundaire data (onze eigen monitoringrapporten) met focusgroepgesprekken en interviews.

Met ons werk beogen we impact op de volgende domeinen:

• Een beter levensonderhoud van kleinschalige boeren (m/v);
• Verbeterde capaciteiten van boerenorganisaties op vlak van beheer en zaken doen;
• Een betere institutionele omgeving (beleid van overheden en bedrijven) om inclusieve business modellen waar te maken, waar boeren volwaardige partners zijn.

Vanuit deze drie domeinen, gaan we het antwoord op drie vragen achterhalen:

1. Welke veranderingen ervaren boeren op organisatieniveau en in welke mate heeft de interventie van Vredeseianden (Rikolto) bijgedragen tot deze veranderingen? Rikolto werkt samen met partners (boerenorganisaties, kopers, dienstverleners) om hun capaciteiten te versterken. Zijn de capaciteiten van deze partners veranderd en wat was onze rol daarin?
2. Welke veranderingen ervaren boeren op het niveau van hun familie en in welke mate hebben onze interventies daartoe bijgedragen? Als de partners van Vredeseianden (Rikolto) groeien in hun rol om inclusieve waardeketens te realiseren, zou dit moeten leiden tot betere arbeidsomstandigheden voor kleine boerenbedrijven in de waardeketens (bijv. betere prijzen, verhoogde opbrengsten, transparante voorwaarden), wat leidt tot betere leefomstandigheden voor zichzelf en hun gezinnen. Is het levensonderhoud van boeren inderdaad verbeterd? Heeft deze verbetering verband met het werk van Rikolto (via haar directe partners) en doen deze verbeteringen er echt toe? Het antwoord op deze vraag leert ons wat de impact van ons werk is en wat de relevantie ervan is voor de boeren.
3. Welke lessen trekken we uit de impactmeting om toekomstige interventies te verbeteren? Uit de data die we verzamelen om de eerste twee vragen te beantwoorden, leren we hoe efficiënt Vredeseianden (Rikolto) werkt. Realiseerden we met onze menselijke en financiële middelen de maximale impact? Droegen we voldoende bij aan omstandigheden waarin de gerealiseerde veranderingen ook op lange termijn blijven voortduren? Hoe kunnen we ons werk verbeteren en onze strategieën aanscherpen?

Ons proces voor impactmeting bestaat uit drie grote stappen.

1. Verzamelen van gegevens

Het verzamelen van gegevens gebeurt via drie hoofdbronnen:

• Enquêtes onder een willekeurige selectie van boeren bieden ons gegevens over hun inkomsten, de verschillende bronnen van inkomsten, de winstmarges, de toepassing van milieuvriendelijke landbouwpraktijken en de rol van vrouwen en jongeren in de waardeketen.
• “SCOPEinsight assessments” beoordelen de professionalisering van boerenorganisaties op verschillende dimensies: interne en financiële managementvaardigheden, business skills, toegang tot financiering en hun invloed op handelsrelaties.
• Halfjaarlijkse monitoring rapporten, waarin collega’s vooruitgang bijhouden over de belangrijkste indicatoren, evoluties vastleggen in het beleid van overheden en bedrijven en verhalen verzamelen die de dynamiek achter de waargenomen veranderingen illustreren.

2. Uitvoeren van een attributie-analyse

Een kritische stap in de impactstudie is het verbinden van de waargenomen veranderingen met het werk van Vredeseilanden. Dat wordt nagegaan in interviews en focusgroepbesprekingen met partners, boeren en belangrijke stakeholders.

Deze discussies helpen ook om een onderscheid te maken tussen veranderingen die uniek zijn in de zin dat ze zonder onze interventie niet hadden plaatsgevonden, en veranderingen waartoe onze interventies hebben bijgedragen – samen met andere actoren.

In de toekomst willen we deze analyse aanvullen met een “wat als”-reflectie: wat als Vredeseilanden haar interventies niet had uitgevoerd? Daarvoor moet je een boerengroep waarmee we samenwerkten kunnen vergelijken met een gelijkaardige boerengroep die geen ondersteuning van ons kreeg. Door de afwezigheid van goede vergelijkingsgroepen was het niet mogelijk om tijdens de impactbeoordeling in 2016 een diepgaande reflectie te doen. Vanaf 2017 zullen we het gebruik van vergelijkingsgroepen voor bepaalde interventies gaan uitproberen om een nog grondiger inzicht te krijgen in hoe we verandering tot stand brengen.

3. Delen en leren

Bij het beëindigen van de impactstudies delen we resultaten en aanbevelingen met onze partnersorganisaties, belangrijke stakeholders, donoren en het bredere publiek. Bovendien bevorderen deze studies de discussies tussen onze collega’s wereldwijd. Collega’s die op dezelfde thema’s werken, wisselen hun geleerde lessen uit om onze interventiestrategieën verder te verbeteren.

Je kan de externe impactbeoordelingen van 2016 raadplegen door op de onderstaande links te klikken. De interne impactbeoordelingen van 2016 zijn op aanvraag verkrijgbaar.