1 Si fa presto a dire valutazione. La valutazione dei progetti di promozione/educazione alla salute Elena Coffano
2 La nostra mission
Attenzione specifica alla funzione di supporto ed accompagnamento al sistema della prevenzione e promozione della salute modulata nelle sue forme ai bisogni ed agli scenari di volta in volta presenti (costruzione/manutenzione di reti, assistenza/conduzione di gruppi di lavoro, formazione in presenza o a distanza, consulenza, coprogettazione, ) 3
Attenzione ai nuovi orientamenti (es. salute in tutte le politiche) ed agli ambiti metodologici innovativi (es. health impact assessment, sviluppo di comunità, marketing sociale) 4
5 3 principali aree tematiche: documentazione assistenza progetti comunicazione
6
7 Valutazione è
8 Valutazione è
Si fa presto a dire valutazione. 9 mmm. quanto potrà salire la quotazione fra 10 anni? boh., il mio arredatore dice che sta bene con il divano bianco La qualità tecnica è veramente notevole
Si fa presto a dire valutazione. 10 Perché dopo tanto buon lavoro i problemi sono ancora lì? Costa troppo!!! E tanto o poco e rispetto a che cosa? Ma durerà? Chi deve valutare? Voglio i numeri!!!
Si fa presto a dire valutazione. Ha senso? plausibilità generalizzabilità Si può esportare? 11 Si è tenuto conto di tutto? riproducibilità completezza sostenibilità Ce lo possiamo permettere? efficacia efficacia pratica Si può ripetere? Funziona? Funziona qui?
Quando un progetto/un azione di promozione della salute può essere definito buono? 12 Se funziona Se funziona qui Se funziona con i mezzi che ho efficace trasferibile sostenibile
13 A lim e n A t tiv it à D ip e n In c. S e s s u a S a lu t e A ltr e ta z io n e fis ic a d e n z e s tr a d a li lit à m e n t a le a r e e A b r u z z o 1 3 5 5 3 1 1 1 6 3 9 - C a la b r ia 5 2 - - - - - C a m p a n ia 3 7 1 5 3 8 4 1 9 1 4 1 1 E m ilia - R. 3 0 3 3 1 4 0 4 4 5 2 1 1 0 1 0 1 F r iu li-v.g. 1 2 9 1 4 6 1 2 4 1 5 L a z io 1 7 7 3 3 4 3 0 6 7 2 L o m b a r d ia 9 9 2 8 1 0 1 7 4 1 M a r c h e 7 6 2 3 5 6-2 P ie m o n te 1 9 4 2 9 3 5 3 0 7 5 P u g lia 3 2 3 2 2 1 2 5 - S a r d e g n a 5 3 9 3 6-1 2 >1500 S ic ilia 1 9 1 0 4 9 9 3 7 5 9 - T o s c a n a 3 2 612 1 4 4 9 2 - U m b r ia 1 3 7 2 8 9 2 2 445 3 2 7 316 V e n e to 222 3 0 1 7 1 2 2 188 4 2 4 8 6 5 1 131 147 S1
Progetti selezionati ALIMENTAZIONE ATTIVITÀ FISICA A b ru z z o 2 1 3 1 1 4 C a m p a n ia 4 3 2-2 2 E m ilia -R o m a g n a 4 5 2 1 7 3 1 0 F riu li-v e n e z ia G iu lia 1-6 - 5 9 L a z io 7 2 4-1 1 1 5 L o m b a rd ia 6 7 1 1 8 4 3 P ie m o n te 1 3 3 1 4 7 1 6 6 P u g lia 1 1 1 9 1 6 3 S a rd e g n a 2 1 2 - - - S ic ilia - - 2 - - 5 T o s c a n a 1-1 0 1 2 - U m b ria 1 2 8-7 1 0 V e n e to 1-1 1 5 4 2 T O T A L E 4 3 2 5 1 1 3 3 0 6 1 6 9 222 131 DIPENDENZE 612 INCIDENTI STRADALI 188 SESSUALITÀ SALUTE MENTALE 316 445 14
15 The Scopo aimdi of una a health-promoting scuola promotrice school di salute is: è:: to definire establish una a visione broad view allargata of health: del concetto di salute: Scelte to fornire give agli students studenti toolstrumenti that enable che them consentano to makeloro healthy di fare choices; scelte salutari Comportamenti, fornire to provide un ambiente a healthierpiù environment salutare che engaging coinvolga students, studenti, teachers insegnanti and e parents, genitori, using utilizzando interactive learning metodi di methods, apprendimento building interattivi, better communication costruendo una and miglior seeking partners and allies comunicazione in the community; ed individuando partner e alleati nella comunità Competenze to fare becomprendere understood clearly bene a bytutti all i members membri della of the comunità school community scolastica (studenti (students,their e loro parents, genitori, Valorinsegnanti teachers and ed all altre other persone Famiglie people che working vi lavorano) in thisil environment), valore reale della the real salute value (fisica, of psicosociale health (physical, ed ambientale) psychosocial nel and presente environmental) e nel futuro in the e come present promuoverlo and in the per future il and benessere how to promote di tutti; it for the well-being of all; Politiche essere to be anun effective efficace (perhaps (forse il più the efficace) most effective) laboratorio long-term a lungo workshop termine for per practising praticare and ed apprendere learning humanity umanità and e democrazia; democracy;.. Decisori Operatori Studenti Comunità.. Promuovere salute a scuola: molti differenti risultati attesi, ognuno necessita di un framework diverso aumentare to increase le students competenze action operative competence degli within studenti health, rispetto meaning alla salute, to empower cioè rafforzare them to in take loro action la capacità individually agire and a collectively livello individuale for a healthier e collettivo per life la and per valutazione una healthier vita più living sana e per conditions più sane locally condizioni as well di as vita globally; sia localmente che globalmente; (metodi, tempi, strumenti, ma anche far to make sì che healthier le scelte choices salutari easier siano le choices scelte for più all facili members per tutti of the i membri schooldella community; comunità scolastica; to promote the health and well-being of students and school staff; promuovere la salute ed il benessere degli studenti e del personale to enable people to deal with themselves and the external environment paradigmi) scolastico; in a positive way rendere and tole facilitate persone healthy capaci di behaviour confrontarsi through con policies; se stessi and e con l ambiente esterno in modo positivo e facilitare un comportamento salutare attraverso le politiche e to increase the quality of life. migliorare la qualità di vita.
16 Research has revealed the crucial importance of involving the education sector in the process of agreeing to the potential benefits, as the two sectors have different criteria and values in relation to effectiveness and impact. La ricerca ha dimostrato l importanza cruciale del coinvolgimento del settore dell educazione nel processo per la definizione concordata dei benefici potenziali, in quanto i due settori hanno differenti criteri e valori circa l efficacia e l impatto
Mettersi d accordo sui benefici attesi Efficacia/impatto 17 scuola sanità L importante è che decidano loro L importante è che mangino frutta
18 Studio APS Spunti, 2003 Va bene per la mia istituzione Va bene secondo le regole scientifiche Va bene per me
19 Paradigma della prevenzione fattori di rischio Non fumo Sto bene Sto bene Non fumo Paradigma della promozione risorse per la salute Quale valutazione?
EUHPID HEALTH DEVELOPMENT MODEL (Public health intervention approaches) 20 AMBIENTE SOCIO- ECOLOGICO OPPORTUNITA DI SALUTE PROTEZIONE /TUTELADELLA SALU TE PROMOZIONE DELLA SALUTE RISORSE MENTALE INDIVIDUO/I CAPACITA DI SALUTE SOCIALE FATTORI DI RISCHIO PREVENZIONE SALUTE POSITIVA SALUTE FISICA MALATTIA CURA ASSISTENZA SALUTOGENESI PROSPETTIVE ANALITICHE SULLO SVILUPPO DELLA SALUTE PATOGENESI
Health promotion, Department of Human Services, Victoria individuo popolazione 21 Screenings, stima rischio individuale e vaccinazioni Informazione Educazione alla salute Educazione alla salute Educazione del pubblico, marketing Sviluppo comunitario Sviluppo comunitario Sviluppo organizzativo Sviluppo organizzativo Politiche e strutture Politiche e strutture Approccio medico Approccio comportamentale Approccio socio-ambientale (ecologico)
22
LA VALUTAZIONE DI UN PROGETTO 23 SITUAZIONE (CONTESTO) BISOGNI Ideazione Progetti, azioni per soddisfare il bisogno Obiettivi Pianificazione Attività Implementazione Risultati Valutazione (Berti P., Antonelli S., 2006 modif.)
LA VALUTAZIONE DI UNA STRATEGIA/POLITICA 24 valutazione Condizioni di vita Ambiente sociale e psicosociale Azione Stili di vita Ambiente fisico Empowerment degli studenti e competenze per l azione Educazione alla salute: orientata agli studenti- orientata all azione Competenze professionali degli operatori valutazione Cooperazione nella scuola Cooperazione tra scuola e comunità
25 Tre livelli di valutazione la qualità dei progetti all interno della scuola Gli effetti del progetto sui comportamenti e/o la salute degli studenti Gli effetti del progetto sull ambiente della scuola, sulle altre scuole e sulla comunità locale fonte: van den Broucke (2002).
26 curriculum ambiente comunità Azioni efficaci di promozione della salute a scuola
27
28
CHE COSA VI ASPETTATE DA QUESTO INTERVENTO? 29 % obiettivi raggiunti coinvolgimento attivo Consapevolezza partecipazione soddisfazione credenze - preferenze scelte con senso critico disponibilità e costo cibi mense salutari Impatto sui determinanti PAR ogni giorno 5 porzioni frutta e verdura 30 attività fisica Cambiamenti nei comportamenti a rischio e di protezione Cambiamenti stato di salute e malattia 1 2 3 4 5 unità di tempo MCV - K Infezioni Nutbeam, 2003
La valutazione utilizza 30 strumenti Quantitativi strumenti Qualitativi - analisi banche dati - indicatori di salute e di comportamenti - moduli-registri di programmi di lavoro - utilizzo di servizi - partecipazione alle attività - - focus group - interviste - questionari - diari - forum o gruppi di discussione - panel -
31 Processo (cultura dell apprendimento) Prodotto (soddisfazione a scuola) Espressione di sentimenti degli studenti rispetto all insegnamento in classe (divertente, noioso) Disegni degli studenti: la mia scuola è un buon posto per essere (colori e parole usati) Risposte in una checklist oggettiva sull insegnamento inclasse Numero di risposte affermative degli studenti alla domanda la mia scuola è un posto dove sto bene
32 16.documentazione 15.comunicazione Griglia metodologica per la individuazione delle buone pratiche di prevenzione e promozione della salute nella scuola 14.sostenibilità Prerequisiti: Questa griglia è stata predisposta per valutare progetti in cui Esista un gruppo di lavoro L intervento non sia di tipo esclusivamente informativo 13.val risultato 12.val processo 11.obiettivi 10.collaborazioni 9.risorse/tempi/vincoli Il progetto coinvolge 8.analisi contesto (barrare): 7. prove di efficacia 1. Gruppo di lavoro 6.modelli teorici 5.partecipazione 4. setting Il documento si riferisce alla fase di (barrare) Istituto scolastico ASL Responsabile del progetto Titolo del progetto Tema/i Setting: (oltre a quello scolastico) Destinatari finali Destinatari intermedi singola classe Data compilazione scheda: Realizzazione intervento Intervento concluso interclasse plesso istituto rete tra istituti scolastici 1. Il gruppo di lavoro è multidisciplinare (diverse materie, diversi servizi della stessa organizzazione, docenti, ATA, tecnici di laboratorio) 2. Il gruppo di lavoro è interistituzionale (settore sanità, scolastico, sociale, enti locali ed associazioni del territorio) 3. il gruppo di lavoro comprende rappresentanti del gruppo dei destinatari (studenti, genitori, etc.) 4. Il gruppo è riconosciuto formalmente con un documento che identifica i partecipanti del gruppo (nomina, delibera, criteri per individuare la composizione del gruppo) rete rete territoriale tematica STRUMENTI VALIDATI punti si no in parte 1 1 2 1 3. empowerment 2.equità 1.gruppo di lavoro 2. Equità nella salute 1. L'intervento è parte integrante del curriculum formativo 3 2. L intervento mira esplicitamente a ridurre le disuguaglianze 3 relativamente a una o più categorie di persone 3. L intervento adotta strategie e strumenti idonei che 2 permettono di ridurre le disuguaglianze punti si no in parte 1
Un set di strumenti di valutazione quali/quantitativa 33 Oggetto Unità didattica Percorso didattico Curricula Strategia di scuola Piano di territorio Risultato Apprendimenti Competenze Cultura salute Attori Insegnanti Classi Genitori Valutatori ASL Altri stakeholders comunità Decisori
34
Le 10 tappe per il progetto 35 1. Stabilire le ragioni per valutare 2. Specificare gli obiettivi dell azione 3. Descrivere l azione 4. Confrontare obiettivi e azione 5. Definire di che dati si ha bisogno 1 6. Selezionare un disegno valutativo 7. Raccogliere i dati 8. Analizzare i dati 9. Riportare le conclusioni in una relazione 10. Utilizzare le conclusioni come base per le decisioni fonte: van den Broucke (2002).
2 36
3 37
4 Onere della prova dovrebbero le strategie essere considerate utili finché si dimostrano non efficaci o si dovrebbe assumere che siano inutili finché risulta invece che sono efficaci? Dovremmo decidere noi a chi spetta l'onere della prova. Se questo onere si basa sulla dimostrazione di inefficacia, la posizione di default è quella di fare tutto; se invece si tratta di dimostrare l'efficacia, il default è non fare nulla. Rychetnik et al.2004 38
La valutazione può accertare la situazione esistente valutazione preliminare che servirà da riferimento (funzione di benchmarking); rispondere alla domanda: funziona? e fornire risposte su efficacia e costo-efficacia di un intervento o insieme di interventi; attraverso la riflessione su cosa, come e perché è successo, condurre a chiarificare gli obiettivi e le questioni relative a efficacia, efficienza, valore aggiunto e indicatori di performance dell azione; motivare il personale della scuola, della sanità e gli stakeholders ed incoraggiare il gruppo di progetto migliorare la comunicazione ed il coinvolgimento nella scuola di tutti quelli coinvolti nella valutazione (genitori, operatori sanitari, membri della comunità ) rispondere alle richieste di genitori, finanziatori, comunità e decisori circa l affidabilità. 39 Modificato da Stears & Parsons (2002).
Ciclo della conoscenza sviluppare 40 utilizzare azione progetto valutazione Processo di intervento integrato con la ricerca implementare pubblicare Processo di produzione delle evidenze giudizio raccolta sistematizzazione condividere riflettere NIGZ 2005
41 Per concludere. qualche suggerimento preparare la valutazione fin dall inizio (definire i cambiamenti attesi, i tempi, le domande, gli strumenti per la valutazione) Costruire la valutazione su misura in base a obiettivi, destinatari, attori, contesto locale Concordare con tutti (progettisti, partner, finanziatori) senso, domande e metodi (valutazione partecipata e negoziata) Dimensionare la valutazione rispetto all azione organizzare la valutazione come un azione che ha come effetti il contributo alla decisione e all informazione
43
44
45
46
47
48
49
50 Always remember: the impossible is often the untried Ricorda sempre: l impossibile spesso non è altro che l intentato
51 Bisogna apprendere a navigare in un oceano di incertezze attraverso arcipelaghi di
52 Grazie dell attenzione e. buon lavoro!