Vakbladvoor sociale professionals
en het sociale domein

Onredelijke kritiek op op onderzoek naar Eigen Kracht-conferentie

De Amsterdamse hoogleraar Geert Jan Stams uitte onlangs op deze website kritiek op ons onderzoek naar Eigen Kracht-conferenties (EK-c’s) in Amsterdam. Het onderzoek zou 'niet onafhankelijk en wetenschappelijk van nul en generlei waarde' zijn. Graag dienen wij hem van repliek.

In augustus 2012 vroeg de Dienst Maatschappelijke Ontwikkeling (DMO) van de Stadsregio Amsterdam aan Stams om de kwaliteit en onafhankelijkheid van ons onderzoek te toetsen. Dit gebeurde nadat partijen in de Jeugdzorg twijfels hadden geuit over de resultaten; deze zouden geen basis vormen voor het besluit om de inzet van middelen in de Jeugdzorg aan te passen.

 
Oordeel gebaseerd op verkeerde veronderstellingen
In zijn advies stelt Stams vraagtekens bij onze wetenschappelijke onafhankelijkheid. Die kritiek is onacceptabel, omdat elke onderbouwing ervoor ontbreekt. In zijn advies biedt Stams bovendien geen enkele inzage in zijn werkwijze en in de door hem geraadpleegde primaire en secundaire bronnen. Van iemand die de integriteit van anderen onderzoekt en de kwaliteit van hun werk beoordeelt, mag worden verwacht dat hij zijn eigen positie en werkwijze helder uiteenzet. Dat Stams dit niet deed, is een kwalijke zaak.
Zijn oordeel over het onderzoek zelf baseert Stams op veronderstellingen die volstrekt niet overeenkomen met de opdracht en de context van het onderzoek. De Stadsregio Amsterdam heeft ons namelijk niet gevraagd om een effectonderzoek te doen maar om een beeld te schetsen van de mogelijke gevolgen van de inzet van de EK-c. Welke activiteiten kan het netwerk rondom gezinnen verzorgen en welke kostenbesparingen levert die verschuiving naar minder inzet van professionals mogelijkerwijs op? Dat is een descriptieve vraag naar uitkomsten (output) en geen vraag naar effecten (outcome). Dat klopt ook met het wezen van de EK-c; het is geen professionele interventie of methodiek maar een besluitvormingsmodel.

Onderzoek in het kort
Wie geïnteresseerd is in de resultaten van ons onderzoek, verwijzen we graag naar het rapport zelf. Samengevat hebben we, met behulp van de overzichten van 100 EK-c's en normbedragen, een kwantitatieve schatting gemaakt van de besparingen die de inzet van EK-c's oplevert. Zoals hoeveel ondertoezichtstellingen en/of uithuisplaatsingen er door EK-c’s worden voorkómen of beëindigd. Ook hebben we de kosten berekend van de extra voorzieningen waar familie en netwerk om vroegen (voor opvang, begeleiding, behandeling, ondersteuning, thuishulp en training). Ten slotte hebben we gekeken we naar de feitelijke afname van zorg gedurende het eerste jaar na de inzet van EK-c’s, gebruik makend van de databestanden van Bureau Jeugdzorg Agglomeratie Amsterdam.
De uitkomsten van de berekeningen laten voor de 100 onderzochte conferenties een geschatte besparing zien van ongeveer 3 miljoen euro. Na aftrek van de werkelijke uitgaven in het eerste jaar na de conferentie (900 duizend euro) en de kosten van de conferenties (400 duizend euro) bleef er een netto besparing van ongeveer 1,7 miljoen euro over. Per conferentie dus een bedrag van 17 duizend euro, en dat is in lijn met de 40 duizend euro besparing die de Universiteit Delft eerder heeft gevonden bij de inzet van Eigen Kracht-conferenties bij multiprobleem-gezinnen.

Onjuiste en bizarre conclusie van Stams
De in het rapport genoemde bedragen zijn, niet meer en niet minder, goed gefundeerde schattingen. In de berekeningen zijn allerlei aannamen gedaan, zoals we in ons rapport ook uitgebreid hebben beschreven. De conclusie van Stams dat in ons rapport zou worden ‘gesuggereerd dat een wijdverspreide toepassing van de Eigen Kracht-conferentie enorme bezuinigingen zou kunnen opleveren’ is even onjuist als bizar. Wij concluderen in ons rapport dat de bestudeerde EK-c’s hebben geleid tot een relevante besparing. En die conclusie is, gelet op de onderzoeksresultaten, zeer evenwichtig en alleszins gewettigd.

Dr. Martin Schuurman en drs. Catharina Mulder


Naar homepage



Relevante categorieën:






Reacties op dit artikel:


Peer van der Helm
16 maart 2013 - 15:06


De reactie van Schuurman en Mulder op deze website met in de titel ‘Onredelijke kritiek op EKC’ behoeft misschien enige nuancering. Bij nadere bestudering van wat Stams daadwerkelijk heeft geschreven (en niet wat hem op diverse websites zoals bijvoorbeeld Binnenlands Bestuur en Sociale Vraagstukken wordt toegeschreven) vallen de volgende zaken op:
1. Stams laat zien dat volgens hem informatie ontbreekt over validiteit en betrouwbaarheid van het scoringssysteem dat Schuurman in zijn onderzoek hanteert. Het scoringssysteem dat aangeeft of afspraken wel of geen professionele hulp overbodig maken, lijkt volstrekt willekeurig. Zo wordt de volgende afspraak kenmerkend gezien voor afspraken die anders door professionals zouden zijn uitgevoerd: “professionele inzet is niet langer nodig doordat vader vanwege huiselijk geweld naar de huisarts gaat voor een cursus agressiebeheersing”. Het onderzoek van Schuurman laat geen causale uitspraken toe doordat geen controlegroep aanwezig is van vergelijkbare gevallen waar geen EKC is uitgevoerd of waar een alternatieve werkwijze is gebruikt, zoals een simpel keukentafelgesprek. Hierdoor weten we niet of veranderingen toe te schrijven zijn aan EKC of aan andere factoren, iets wat bij complexe gezinsproblematiek vaak het geval kan zijn. Goede gegevens over veranderingen die na de interventie, en mogelijk niet als gevolg van, EKC zijn opgetreden ontbreken. De kwaliteit van wetenschappelijk onderzoek kan worden beoordeeld volgens verschillende methoden, maar op welke schaal dan ook scoort het onderzoek hiermee op de laagste trede van bewijs. Dit verklaart de kwalificatie van Stams: "van nul waarde". Dit is geen diskwalificatie, maar een objectieve constatering. Volgens Stams is het onderzoek van Schuurman een procesevaluatie die wordt gepresenteerd als effectonderzoek. Vandaar dat Stams het onderzoek ook legt langs de meetlat van effectiviteitsonderzoek in de ruimste zin van het woord. EKC is immers een interventie (overigens geen behandeling), zo men wil aanpak, die ingrijpt in het leven van mensen. Wanneer causale uitspraken worden gedaan over besparingen, dient het onderzoek daarom langs de meetlat van effectonderzoek gelegd te worden.

2. Bijzonder dat Schuurman in zijn tweede rapport zijn onderzoek zelf diskwalificeert, zoals Stams laat zien. In het tweede rapport op de pagina’s 5 en 6 (par. 2.2., kanttekeningen bij de data) blijkt dat de onderzoeksgegevens op bijna alle aspecten onbetrouwbaar zijn (b.v., “zo staat in de plannen doorgaans niet vermeld welke hulp al aanwezig was of welke acties nu niet meer ondernomen hoeven te worden”, “het onderscheid tussen de situatie voor en na de conferentie is vaak onduidelijk, waardoor in beperkte mate helder is welke voorzieningen er al waren en welke het gevolg waren van EKC”, “soms bleek de situatie anders dan in de stukken van de conferentie naar voren was gebracht”).

3. Ten aanzien van de kostenbesparing kan de conclusie volgens Stams niet anders zijn dan dat de onderzoekers zich rijk lijken te rekenen. De kostenbesparing kan op geen enkele wijze hardgemaakt worden. Niet alleen zijn aanzienlijke kosten gemoeid met de uitvoering van de 100 trajecten (400.000 euro); daar komt nog bij dat per traject 2.57 professional betrokken is. Deze kosten worden niet meegenomen in de calculatie. De indruk die eerder ontstaat is dat EKC een dure werkwijze is om de problemen van cliënten in kaart te brengen en hen afspraken te laten maken met elkaar. Er is geen enkele garantie dat deze afspraken zullen worden uitgevoerd, dat deze afspraken de veiligheid van het kind kunnen bevorderen en/of de bedreigingen van de ontwikkelingskansen van kinderen en jeugdigen kunnen wegnemen. Het onderzoek toont voorts ook niet aan dat afspraken daadwerkelijk gerealiseerd zijn, dat de veiligheid van de jeugdige door EKC vergroot is en dat de dreiging van OTS weggenomen is. Zowel de veronderstelde materiële als immateriële opbrengsten van EKC zijn daarmee hoogst onzeker.

4. Ten slotte baseert Stams zich in zijn oordeel over het onderzoek van Schuurman op adequaat uitgevoerd wetenschappelijk onderzoek, waar hij ook netjes naar verwijst. Zo onderzochten Sundell en Vinnerljung (2004) in een gecontroleerde studie de effecten van EKC, waarbij de uitkomsten werden vergeleken van 97 kinderen die deelnamen aan EKC met die van 142 kinderen in de reguliere jeugdzorg. De kinderen werden drie jaar lang gevolgd. Kinderen uit de EKC groep ontvingen minder intensieve ondersteuning vanuit de kinderbescherming, ze werden langer uit huis geplaatst en uiteindelijk vaker terugverwezen naar de kinderbescherming vanwege kindermishandeling dan kinderen in de controlegroep; uiteindelijk was er ook 10% meer inzet van professionele zorg in de EKC groep.

Het diskwalificerende taalgebruik (‘bizar’ en ‘geblaas’) en het gebrek aan argumentatie op de diverse websites zeggen misschien meer iets over het ongenoegen van verschillende voorstanders van de EKC methode over het debat dan over de feitelijke argumenten van Stams. Het lijkt erop dat de ‘welkome boodschap’ dat EKC een ‘wonder’ is zoals Gerritsen in Binnenlands bestuur beweert niet wreed verstoord mag worden door wetenschappelijke argumentatie en uitkomsten van onderzoek. En als uit dat onderzoek vervolgens blijkt dat de wonderen van EKC nog niet zijn aangetoond worden de onderzoeken met minder positieve uitkomsten gediskwalificeerd of genegeerd.

Ik denk zelf dat EKC een heel waardevolle en vernieuwende bijdrage kan leveren aan het oplossen van gezinsproblemen; ik ben enthousiast over de toepassingsmogelijkheden. Maar ik vind met Stams dat, voordat we dit grootschalig invoeren, degelijk onderzoek op zijn plaats is. Alleen daarmee kunnen we goed kijken voor welke problemen EKC werkelijk effectief is. Daarmee bewijzen we de samenleving en EKC een dienst. Wanneer namelijk blijkt dat EKC voor sommige doelgroepen minder geschikt is, wordt in de regel al snel geroepen dat de methode niet deugt. Om dit te voorkomen, en het kind niet met het badwater weg te gooien, is goed uitgevoerd onderzoek en een zindelijk debat wenselijk.

Peer van der Helm is associate lector aan de hogeschool Leiden

Ranada van Kralingen
14 maart 2013 - 22:21


Vandaag, 7 maart 2013 is er een groot congres in Amsterdam. Amsterdam heeft Gelderse bestuurders uitgenodigd om kennis en ervaring uit te wisselen betreffende de Eigen Kracht Conferenties, maar kennen deze bestuurders uit Gelderland ook de kritiek op de Eigen Kracht Conferenties en de kritiek op BJZ Amsterdam? Jeugdzorg Dark horse publiceert al geruime tijd zeer kritisch over de Eigen kracht Conferenties. Hieronder een kleine greep links naar diverse artikelen van Jeugdzorg Dark horse over Eigen Kracht Conferenties. Jeugdzorg Dark horse heeft alle Burgemeesters, wethouders en raadsleden van Gelderland ingelicht over de ´donkere´ zijde van de EKC en BJAA.


Als u op google Jeugdzorg Dark horse intypt en de zoekterm EKC, Erik Gerritsen, BJAA, Censuur, Eigen kracht zult u nog meer artikelen vinden.



Onderstaande links


http://jeugdzorg-darkhorse.blogspot.nl/2013/03/effectiviteit-eigen-kracht-conferenties.html


http://jeugdzorg-darkhorse.blogspot.nl/2013/02/eigen-kracht-ingelijfd-en-kalt-gestellt.html

http://www.sozio.nl/effectiviteit-eigen-kracht-conferenties-moet-nog-worden-aangetoond/1024855

http://jeugdzorg-darkhorse.blogspot.nl/2013/02/bjaa-en-eigen-kracht-werkt-het.html


http://jeugdzorg-darkhorse.blogspot.nl/2013/02/eigen-kracht-centrale.html


http://jeugdzorg-darkhorse.blogspot.nl/2013/03/effectiviteit-eigen-kracht-conferenties.html?showComment=1362559138220


http://jeugdzorg-darkhorse.blogspot.nl/2013/02/erik-wil-meer-geld.html


http://jeugdzorg-darkhorse.blogspot.nl/2012/07/amsterdamse-euforie-over-eigen-kracht.html

Ranada van Kralingen
14 maart 2013 - 22:19


Hoe effectief zijn de Eigen Kracht Conferenties van BJAA?


Op Twitter en in Binnenlands Bestuur ligt BJAA in toenemende mate onder vuur van ouderorganisaties, hoogleraren en opiniemakers die vinden dat Gerritsen moet bewijzen of hij de waarheid vertelt, of hij echt in eigen vlees snijdt.


Erik Gerritsen verkondigt namelijk al jaren dat hij zijn eigen BJAA ‘overbodig’ wil maken omdat er door Eigen Kracht Conferenties minder OTS-en en UHP-s nodig zijn. Maar desgevraagd weigert hij al jaren cijfers en openheid te geven over of hij echt in eigen vlees snijdt en daar is steeds meer kritiek op. Na ruim 800 EKC’s zouden er nu immers echt wel cijfers moeten zijn over het succes van de EKC’s en of er daardoor inderdaad fors minder jeugdzorg nodig is.


In Binnenlands Bestuur van deze week is te lezen dat de bestuursvoorzitter BJAA opnieuw wil dat hij op zijn blauwe ogen wordt geloofd. Daar heeft hij een belang bij, want volgens hem doet BJAA het zo goed met de EKC’s dat ze bijna aan ‘eigen succes’ ten onder gaan en daarom wil hij meer geld. Maar waarom wil BJAA meer geld als er minder jeugdzorg nodig is? Omdat antwoorden uitblijven heeft op de site van Binnenlands Bestuur iemand de jaarverslagen er daarom zelf maar bij gepakt.


Jaarverslagen


En wat blijkt? De EKC’s zorgen ook niet voor minder jeugdzorg en voor besparingen, integendeel. Het is net alsof er fors minder zorg is in het gedwongen kader (OTS-en en UHP-s), zonder daar bewijs bij te leveren. En ondertussen doet hij er alles aan om zoveel mogelijk overige jeugdzorg te verkopen in het vrijwillige kader met het mes op de keel. Dat heet‘drang’ en dat betekent in de praktijk dat ouders ‘vrijwillige’ jeugdzorg moeten accepteren onder dreiging van een OTS of UHP.


BJAA snijdt helemaal niet in eigen vlees en de EKC’s zijn ook geen ontzorging en besparing, zoals al die tijd is verteld. Uit het jaarverslag van BJAA van 2011 blijkt dat er in 2011 ongeveer 230 EKC’s meer zijn gehouden dan in 2010, in totaal waren het 551 EKC’s. En dat heeft geleid tot 82 OTS-en/voogdij minder, oftewel 3%, een verwaarloosbare daling waarvan niet vast staat of die wordt veroorzaakt door EKC’s. Maar zelfs als je daar van uit gaat, wil dat zeggen dat slechts een op de 7 EKC’s heeft geleid tot de besparing van een OTS (a ongeveer € 8.000 per jaar). Als EKC’s tot besparingen moeten leiden, zal zo’n EKC daarom minder dan minder dan €1.142 (8000: 7) moeten kosten en dan moet BJAA geen extra hulp (in het drangkader) aanbieden.


Geen besparingen




Dat de kosten van een EKC minder dan € 1.142,- bedragen lijkt niet aannemelijk. En dat BJAA in plaats van een OTS (dwang) geen andere hulp semi-verplicht oplegt (drang) lijkt ook niet aannemelijk. Te meer omdat er volgens de bestuursvoorzitter van BJAA nu enorme wachtlijsten zijn voor die drang, dat zijn de 1500 gezinnen waar hij in het Parool mee dreigde. BJAA wil dus extra geld om ‘drang’ te kunnen verkopen. Die wens zet hij kracht bij door te vertellen dat het aantal OTS-en ‘scherp’ daalt zonder daar enig bewijs bij te leveren.



De cijfers van 2011 ondersteunen deze bewering allerminst. Er is geen aanzienlijke vermindering van OTS-en. Zelfs bedroevendweinig minder (82 minder OTS/voogdij ten opzichte van 551 EKC’s). EKC’s leiden helemaal niet tot veel minder OTS-en en UHP-s, ze leiden alleen maar tot een verschuiving in het hulpaanbod van BJAA maar de omzet vermindert niet, dus BJAA snijdt beslist niet in eigen vlees. Als Gerritsen hiermee wordt geconfronteerd, trekt hij zich weer terug op de oude vluchtheuvel van de ‘bedreigde kinderen’en lijkt het opeens helemaal niet meer om kostenbesparing te gaan.


Niet in eigen vlees snijden



Een besparing vormen de EKC’s dus zeker niet. En de beloofde ‘ontzorging’ dan? Burgers zouden toch zelf regie kunnen uitoefenen? Daar blijkt ook niets van waar te zijn. Want dan zou er geen explosie in de ‘dranghulp’ (1500 gezinnen op de wachtlijst) zijn. Immers: hoezo‘drang’? Burgers mogen dan toch juist zelf hun eigen zorg regisseren? Dan hoeft BJAA daar toch niet meer het mes op de keel te zetten met ‘drangmaatregelen’? Het lijkt er dus op dat burgers helemaal geen eigen regie hebben, maar dat BJAA de regie heeft over Eigen Kracht en die regie gebruikt om NIET in eigen vlees te snijden. Niks geen ontzorgen, niks besparen. Maar wel weer de oude bekende chantage met wachtlijsten om extra geld in de wacht te slepen. Dit keer zogenaamd omdat BJAA aan het succes van de EKC’s ten onder gaat!


Uitleg van gemeente Amsterdam gevraagd


Dit zijn schokkende resultaten. Extra schokkend is dat Gerritsen weigert op concrete vragen hierover op Twitter en in Binnenlands Bestuur in te gaan en doet alsof de vragen niet deugen. Een overheidsorganisatie hoort immers transparant te zijn, vragen open en eerlijk te beantwoorden, verantwoording aan de maatschappij af te leggen. Dat gebeurt onvoldoende bij BJAA en in dat kader zij ook opgemerkt dat de jaarrekening van 2011 nog steeds ontbreekt! Het is nu februari 2013 dus BJAA weigert al ruim een jaar financiële verantwoording te publiceren, zoals wel wettelijk is verplicht.

Hoe kan het dat B&W dit laten passeren en dat de Raad van Toezicht dit laat passeren? Wat gaat de gemeente Amsterdam nu doen? Geen transparantie, bijna opnieuw (in twee jaar tijd) onder verscherpt toezicht gesteld van de Inspectie, een groot klachtenprobleem en de EKC’s (die de gemeente Amsterdam ook veel geld kosten) leveren geen besparingen op en kosten Amsterdam dus alleen maar geld? En dat terwijl de gemeente Amsterdam en de wethouders Asscher en Hilhorst van Eigen Kracht hun paradepaardje hebben gemaakt en daar vele malen trots de media mee hebben gezocht. De burgers lijken helemaal niet mondiger te zijn gemaakt met de EKC’s , want gelijktijdig worrdt de dranghulp opgevoerd.


IPW @Publiekewaarden


"Erken dat 'eigen kracht' retoriek geromantiseerde versie is van gedroomde maar nog niet gerealiseerde cultuuromslag" s.vk.nl/3393181?utm_so


Terug naar Alle artikelen Jeugdzorg Dark horse
http://jeugdzorg-darkhorse.blogspot.com/2012/04/alle-artikelen-jeugdzorg-dark-horse.html

D. van Zetten
14 maart 2013 - 16:29


Correctie, er staat onafgemaakte zin in onderstaand betoog:

Er is extreem veel extra dranghulp nodig voor een kleine afname van de dwanghulp. Daardoor worden er geen besparingen gerealiseerd.

Hebben de onderzoekers zich op dat effect verkeken?

D. van Zetten
14 maart 2013 - 16:06


Nou nou, wat een heftige woorden! Schuurman en Mulder zijn gepikeerd dat hun onderzoek wordt bekritiseerd. En in plaats van argumenten gaat het dan ineens om 'bizar' gedrag' Hier klinkt het vocubulaire van de gevestigde jeugdzorgsector: alle kritiek is altijd maar 'schrijnend', 'kwetsend', zogenaamd 'feitelijk onjuist'(zonder uitleg te geven waarom) en nu dan zelfs 'bizar'. Staat Schuurman en Mulder netjes, zulk taalgebruik in een academische context.....

Maar even concreet nu. Als er uit 100 onderzochte EKC's idd besparingen zijn gekomen, dan moeten die besparingen toch zeker zichtbaar zijn na duizenden EKC's, zoals bij BJAA in Amsterdam???

Maar er zijn helemaal geen besparingen zichtbaar. Nul. Er lijkt een lichte afname van OTS-en UHP's te zijn, de cijfers die beschikbaar zijn laten een lichte niet significante daling zien in 2011. Maar daar staat tegenover dat BJAA al een explosie in de dranghulp heeft aangekondigd in het Parool. Er is zoveel extra dranghulp nodig (hulp die vrijwillig wordt genoemd maar wordt opgelegd onder dreiging van een OTS of UHP, dus onder dreiging van dwang).

Dus meneer Schuurman en mevrouw Mulder, matig uw toon want dit lijkt nergens naar in een academische discussie. En geef dan eens gewoon antwoord op deze vraag, waar is het dan mis gegaan tussen uw onderzoek en de realiteit bij BJAA na duizenden EKC's?

Hoe verklaart u het verschil tussen uw onderzoek van 100 EKC's en de praktijk na duizenden EKC's waaruit blijkt dat uw onderzoeksresultaten niet geëxtrapoleerd kunnen worden?

Gaarne een serieus academisch antwoord.


Uw reactie, mening:
Vul het volgende veld niet in:
Naam:
Email:
Bericht:
Om spam tegen te gaan dient u het onderstaande hokje aan te vinken en moet u mogelijk een vraag beantwoorden.

Uw reactie is niet anoniem. Uw IP adres zal worden opgeslagen.