![[anysurfer.logo]](/img/../img/svg/logo.svg "[anysurfer.logo]"){kind=logo}
Door Timmy Boutsen en Geert Boutsen
Met het onderzoeksproject 'Impact van jeugdwerk’ slaan Geert Boutsen van de UCLL (expertisecentrum Inclusive Society) en Timmy Boutsen van De Ambrassade de handen in elkaar om ‘impact van het jeugdwerk’ - samen met en op maat van het jeugdwerk - uit te diepen. Ze nemen twee jaar de tijd om met onderzoek richting te geven aan hoe jeugdwerkorganisaties hun impact zichtbaar kunnen maken. Wat zijn hun belangrijkste inzichten na een jaar van wroeten door literatuur en inspirerende gesprekken met jeugdwerkers en andere experten over ‘impact’?
Jeugdwerk marcheert, rendeert en heeft effect. #Jeugdwerkwerkt, dat weten we sinds het grote jeugdwerkcongres van 2018. De jeugdsector gaf er taal aan de ‘waarde’ van het jeugdwerk maar sprak op dat moment nog niet over de concrete ‘impact’ van jeugdwerk. Het leveren van sterke bewijzen voor de effecten van jeugdwerk is braakliggend terrein. De ervaring, kennis en kunde om dat op een gepaste manier te doen is onvoldoende aanwezig in de sector. Wel is er het bewustzijn ontstaan dat we hierin stappen moeten zetten en leeft de discussie over het waarom, hoe en wat.
Laten zien wat het effect is van jeugdwerk doet sommige jeugdwerkers de wenkbrauwen fronsen. Ze vragen zich af of het wel een goed idee is om de impact van jeugdwerk te meten. Impact is voor hen ‘cijfers halen’, je moeten verantwoorden en je bewijzen. Jeugdwerk is geen middel tot iets, maar een waardevol doel op zich. Jeugdwerk hoeft zich niet te ‘bewijzen’, volgens hen.
Er zijn ook jeugdwerkers die enthousiast worden van impactgericht werken. Zij zien kansen en zetten het in om te leren en hun eigen jeugdwerkpraktijk te verbeteren. Het is voor hen een nieuwe manier om de missie en doelen van hun organisatie waar te maken. Ze willen zo laten zien waarvoor ze staan, wat ze bereiken en willen daarmee sterker naar buiten komen.
Impact roept bij iedereen andere betekenissen op. Het is het niet altijd even duidelijk wat we eronder kunnen verstaan in de jeugdwerkpraktijk, en dat creëert verwarring. Door sommigen wordt impactgerichter werken, impact meten of een impactevaluatie daardoor ook makkelijk weggezet als een hype. Iets dat even snel zal verdwijnen als het gekomen is.
Wij zien het zichtbaar maken van impact echter als een trend. Early adopters van impactmeting in socio-cultureel werk haalden hun ideeën en voorbeelden bij ontwikkelingssamenwerking. De sector van de sociale economie ging er ook al stevig mee aan de slag en nu is ook onze jeugdwerksector gewonnen voor het idee. De pioniers in onze jeugdsector zijn hun experimenten gestart. Ook internationaal wint het werken rond impact in het jeugdwerk aan belang. We zien en horen de vele oproepen en aanbevelingen vanuit de Europese jeugdwerkgemeenschap:
Het Europees charter voor lokaal jeugdwerk (2019) vanuit het netwerk Europe Goes Local stelt:
“Kwaliteitsontwikkeling in lokaal jeugdwerk heeft nood aan een duidelijke en volledige documentering en monitoring van resultaten, voorwaarden en werkprocessen gelinkt aan meetbare indicatoren en doelen.”
“Kwaliteitsontwikkeling in lokaal jeugdwerk ontwikkelt heldere procedures om voortdurend de resultaten te analyseren en te reflecteren hoe die zich verhouden tot de randvoorwaarden, activiteiten en werkprocessen, en hoe die verder te ontwikkelen.”
In het eindrapport van de eerste Europese Academie voor Jeugdwerk (2019) lezen we:
“Transparency in youth work was identified as another emerging trend. It was apparent from the literature and the case studies that the notion of providing evidence for youth work is becoming increasingly important. This was particularly true for funders as they increasingly require evidence on impact and outcomes. Transparency was also seen to be holding practitioners of youth work to account by requiring them to provide tangible evidence as to whether they are having a positive impact on young people. Some have also argued that it helps to prove their competence and effectiveness.”
De slotverklaring van de 3e Europese jeugdwerkconventie (2020) roept op:
“Om een betere erkenning van het jeugdwerk te bereiken, moeten de aanpak en mechanismen onderbouwd worden. Zo kan de impact van het jeugdwerk beter aangetoond worden, niet alleen de impact op individuen, maar ook op de lokale gemeenschappen en op de samenleving.”
In de laatste studie over jeugdwerk in de EU (2021) lees je deze beleidsaanbeveling gericht:
“Raising awareness of the impact of youth work on the basis of further evaluation research on the value of youth work”
De beweegredenen om de impact van een jeugdwerkpraktijk zichtbaar te maken zijn divers:
1. Taal geven aan wat je als jeugdwerker doet
“Spreken over de impact van je acties is zoiets als het ongrijpbare laten zien. We zochten bij onze vrijwilligers naar de impact van het begeleiden van een duurzame groepsreis op de reisbegeleider. We gebruiken die informatie nu in de communicatie om nieuwe reisbegeleiders te werven.” [Carla, Karavaan]
2. De eigen jeugdwerkpraktijk verstevigen
“Hoe kan je kwaliteitsvol jeugdwerkers trainen, kwaliteitsvol jeugdwerk ontwikkelen zonder te weten wat de effecten van hun werk zijn?” [Jonas, KEKS (The Logbook), Zweden]
3. De (publieke) erkenning van jeugdwerk vergroten en je (financiële) ondersteuning verantwoorden
“Jongeren leveren in het jeugdwerk hard labeur en dat mag gezien worden. Om de relevantie en waarde van ons professioneel jeugdwerk naar het beleid extra zichtbaar te maken zoeken we nu naar manieren om impact beter in kaart te brengen. Op die manier zullen we meer gefundeerd over het effect en de noodzaak van het professioneel jeugdwerk kunnen rapporteren.” [Erik, jeugddienst Antwerpen]
4. Het verhaal van jeugdwerk sterker naar buiten brengen
“We vertellen veel te weinig de verhalen van jeugdwerk, vanuit een soort bescheidenheid. Ermee te koop lopen, voelt ongemakkelijk aan. Maar we zouden dat net meer moeten doen.” [Wouter, Kind & Samenleving]
Sommige doelen krijgen voornamelijk een externe focus mee: impact zichtbaar maken doe je voor anderen of om je verkregen middelen te verantwoorden. Andere doelen van impactmeting krijgen meer interne focus. Ze zijn erop gericht om de eigen werking te verbeteren of het handelen van de jeugdwerkers te versterken.
De focus van de doelen zullen de vorm van je zichtbare impact bepalen: rapporteren of reflecteren. Sommige doelen zullen je er vooral toe aanzetten om over je impact te rapporteren als verantwoording, terwijl andere doelen aanzetten tot reflecteren of leren over je eigen praktijk en context.
Achter het zichtbaar maken van je impact kunnen dus zowel intrinsieke als extrinsieke motieven zitten. Wij zijn er vandaag van overtuigd dat intrinsieke redenen voor impactmeting de beste focus en de meeste motivatie geven. Reflecteren, leren en ontwikkelen zitten immers sterk in het jeugdwerk-DNA: "doen we de goede dingen en doen we de dingen goed?"
Het doel van impactmeting is bepalend voor de betrokkenheid van mensen bij je acties. We stellen vast dat wie het werken aan kwaliteit - en het leerproces hierin - centraal zet, de sterkste motivatie vindt bij iedereen die deelneemt en meewerkt. De eerste stap die je dus zet, is een duidelijke formulering van je doel. Van daaruit kan je verder weloverwogen keuzes maken.
Er is geen breed gedeelde of vaststaande definitie over wat impact is. Tijdens ons onderzoek passeerden er velen, gaande van eenvoudig tot complex. We geven er drie die ons de meeste inzichten opleverde:
1. Impact gaat over de verandering die optreedt als een gevolg van jouw jeugdwerkpraktijk, je project of interventie.
“De verandering die door jouw project optreedt in de samenleving of het leefmilieu: dat is jouw impact.” [Impactwizard, Sociale Innovatie fabriek]
2. Impact is het verschil tussen wanneer er wel een jeugdwerkpraktijk is en wanneer er geen jeugdwerkpraktijk is.
“Het verschil in de indicator (Y) met de interventie (Y1) en zonder de interventie (Y2). Dat is je impact (Y=Y1-Y0).” [Wereldbank]
Dankzij de pandemie kunnen we ons vandaag makkelijker voorstellen wat het antwoord zou zijn op de vraag: wat als het jeugdwerk er niet zou zijn? Vaststellen wat afwezig is, leert ons ook iets over de impact die we hebben.
3. Deze definitie trekt de kijk op impact open, en het is deze visie die we graag introduceren in het jeugdwerk
“Impact gaat over de positieve én negatieve, bedoelde en onbedoelde effecten, directe en indirecte effecten, die zich op lange termijn en ten gevolge van een praktijk of interventie voordoen.” [OECD-DAC]
Vaak wordt er enkel gesproken over de positieve impact die je hebt. Maar heb je er ooit al bij stilgestaan of je ook negatieve impact hebt? Kan je voorspellen of er onbedoelde effecten zullen optreden? Misschien ontdek je na een impactmeting wel een verrassend indirect effect? Bovendien wordt in deze omschrijving ook gekeken naar effecten op lange termijn en niet alleen naar de kortetermijnresultaten.
Wil je dat impact zichtbaar maken geen oude wijn in nieuwe zakken is, dan moet je voorbij het ‘monitoren’ van resultaten en indicatoren gaan. Maar daar lijkt impact plots misschien erg complex. Je krijgt de indruk dat je álles in kaart moet brengen, áltijd moet weten wat er gebeurt, tot lang na je acties. Maar eigenlijk is bovenal een andere mindset nodig. Impactevaluatie is ook een nieuwe manier om naar je eigen jeugdwerkpraktijk te kijken, niet louter met de klassieke methoden van evalueren of verantwoorden.
1. Impact op een persoon:
“We geven jongeren een plek waar ze zichzelf kunnen zijn, een plek die ze zelf kunnen runnen.” [Toon, Formaat]
“Jongeren die deelnemen aan een Europese uitwisselingsprogramma ontwikkelen vaak beter inzicht in zichzelf, en hebben een meer open houding tegenover anderen.” [Rilke, JINT]
2. Impact op de nabije omgeving, de buurt of de gemeenschap:
“Jongeren leren in de Chiro verantwoordelijkheid opnemen en doen dat later ook in de lokale gemeenschap waarbinnen ze leven, wonen en werken.” [Bart, Chirojeugd Vlaanderen]
3. Impact op de brede samenleving:
“Een Ierse studie naar de economische impact van jeugdwerk toonde aan dat voor elke euro die geïnvesteerd wordt in jeugdwerk er 2,2 euro wordt uitgespaard voor de overheid omdat jeugdwerk bijdraagt aan betere educatie, betere gezondheid en verhoogd welzijn, jongeren toeleidt naar de arbeidsmarkt en zorgt voor lagere criminaliteitscijfers.” [Assessment of the economic Value of Youth Work, 2012, in opdracht van de National Youth Council of Ireland]
4. Impact op het beleid:
“Wanneer kinderen en jongeren vertellen over wat ze meemaken in het jeugdwerk, doen ze dat vanuit een stevige expertise en verdienen ze gehoord te worden” [Wouter, Kind & Samenleving]
Baken af op welke niveaus je impact wil hebben, voor je begint te meten. Afhankelijk van je voorgestelde doel en de kijk van je organisatie op het zichtbaar maken van impact, afhankelijk van de tijd en de middelen in je organisatie. Want die zijn beperkt.
Kunnen we de aannames hierboven ook bewijzen? Hoe toon je aan dat net die jeugdwerkpraktijk dat bepaalde effect heeft?
Gezien de aard van onze jeugdwerkpraktijken zullen er zelden effecten opduiken waar een simpele 1-op-1 relatie is aan te tonen. Oorzaak-gevolg is bijzonder moeilijk vast te stellen in een omgeving waar ook veel andere factoren een invloed hebben. Je beperken tot enkel de resultaten op korte termijn die rechtstreeks toe te wijzen zijn aan de werking van je organisatie, is kiezen voor de attributielogica.
Je stelt beter de vraag: wat hebben we bijgedragen tot de verandering? Hierin zal je moeten kiezen voor de contributiebenadering die zegt dat de meeste veranderingen zich voltrekken in een complexe omgeving. Niet enkel jeugdwerk heeft impact op kinderen en jongeren, de buurt, de samenleving of het beleid. Vele andere actoren hebben dat ook. Impact is vaak het samenspel van verschillende processen die niet meer binnen de controlesfeer van jouw jeugdwerkpraktijk liggen. De effecten van je acties zitten in de invloedsfeer en de impact in de interessesfeer. In de interessesfeer liggen je belangen, daar waar de impact zichtbaar wordt, maar je hebt geen invloed of controle meer op dit moment over wat ermee gebeurd. Er zijn immers veel verschillende invloeden van buitenaf die inspelen op de impact die jij wil bereiken, daar houdt dit model rekening mee:
Het mag dus duidelijk zijn dat impact zichtbaar maken helemaal niet eenvoudig is. Waar we bij de start van ons onderzoek nog de veronderstelling maakten één goed instrument te vinden die jeugdwerkorganisaties kunnen gebruiken om hun impact zichtbaar te maken, weten we nu dat er geen kant-en-klare aanpak is. We hebben nood aan een breed gamma aan instrumenten. We nemen daarom ook de tijd om in ons tweede jaar te focussen op het verder onderzoeken van de ‘hoe?’. Welke verschillende manieren zijn geschikt om impact te meten en zichtbaar te maken in het jeugdwerk?
“There is no silver bullet to address the weakness in measuring outcomes and in particular, impact evaluation is likely to be challenging. […] Youth organisations therefore need to think critically about how best to measure outcomes and then estimate the contribution they make to these observed outcomes.” [Study on the Social Value of Youth Organisations (2016) – European Youth Forum]
Na een jaar de wereld van impact verkennen en onderzoeken op welke manier het jeugdwerk aan de slag kan, hebben we meer inzicht gekregen. De jeugdwerksector heeft al een stevige traditie in sterke beleidsplanningsprocessen die resulteren in welomschreven doelstellingen, acties en indicatoren. Maar als we dit ook doen met een impactgerichte mindset, dan zetten we nog meer in op de kwaliteitsontwikkeling van jeugdwerk, en dus op de impact op het leven van kinderen en jongeren.
We breken graag een lans voor hen voor wie we dit allemaal in gang hebben gezet: de kinderen en jongeren die verdienen dat de impact die jeugdwerk teweegbrengt, wordt gezien en gewaardeerd. Dat zijzelf worden gezien. Kinderen en jongeren meenemen in het verhaal rond het zichtbaar maken, staat voorop in alle stappen die een organisatie zet. Laat hen aan het woord over welke impact zij ervaren wanneer ze deelnemen aan en deel uitmaken van het jeugdwerk.
Het onderzoek gaat nu zijn tweede fase in. Over een jaar hebben we meer en nieuwe inzichten, en dan laten we je alles weten over de finale onderzoeksresultaten. Is jouw organisatie bezig met impactmeting? Wil je meer weten over het onderzoek? Contacteer Geert Boutsen, onderzoeker UCLL op geert.boutsen@ucll.be of Timmy Boutsen, medeonderzoeker van De Ambrassade op timmy.boutsen@ambrassade.be.