Ministero della Salute DIPARTIMENTO DELLA SANITA PUBBLICA VETERINARIA, DELLA SICUREZZA ALIMENTARE E DEGLI ORGANI COLLEGIALI PER LA TUTELA DELLA SALUTE Direzione Generale della Sanità Animale e dei Farmaci Veterinari Uff. IX Esempi di ricerca e analisi degli elementi per valutare l efficacia Dr Franco Fucilli - Ufficio IX audit di sistema Corso di formazione per lo svolgimento di audit sulle Autorità Competenti ai sensi dell art. 4(6) del Reg. 882/2004. Torino - 17,18, 28, 29, 30 aprile 2014
REGOLAMENTO (CE) N. 882/2004 DEL PARLAMENTO EUROPEO E DEL CONSIGLIO relativo ai controlli ufficiali intesi a verificare la conformità alla normativa in materia di mangimi e di alimenti e alle norme sulla salute e sul benessere degli animali Articolo 4 (Designazione delle autorità competenti e criteri operativi) paragrafo 6. Le autorità competenti procedono a audit interni o possono far eseguire audit esterni, e prendono le misure appropriate alla luce dei loro risultati, per verificare che si stiano raggiungendo gli obiettivi del presente regolamento. Tali audit sono soggetti ad un esame indipendente e sono svolti in modo trasparente. 2
Quali sono gli obiettivi del presente Regolamento? Articolo 1 - Oggetto e campo di applicazione. 1. Il presente regolamento fissa le regole generali per l esecuzione dei controlli ufficiali intesi a verificare la conformità alle normative volte, segnatamente, a: a) prevenire, eliminare o ridurre a livelli accettabili i rischi per gli esseri umani e gli animali, siano essi rischi diretti o veicolati dall ambiente; b) garantire pratiche commerciali leali per i mangimi e gli alimenti e tutelare gli interessi dei consumatori, comprese l etichettatura dei mangimi e degli alimenti e altre forme di informazione dei consumatori. Quindi gli obiettivi da valutare, a mio avviso, potrebbero essere declinati così: La coerenza dell organizzazione del controllo ufficiale rispetto agli obblighi imposti dal Regolamento (Obiettivi di funzionamento) L efficacia dei controlli ufficiali rispetto ai paragrafi a) e b) dell art. 1 del Regolamento (Obiettivi di risultato) 3
Reg. 882/2004 Articolo 2 (definizioni) paragrafo: 6) «audit»: un esame sistematico e indipendente per accertare se determinate attività e i risultati correlati siano conformi alle disposizioni [ planned arrangments ] previste, se tali disposizioni siano attuate in modo efficace e siano adeguate per raggiungere determinati obiettivi; 7) «ispezione»: l esame di qualsiasi aspetto relativo ai mangimi, agli alimenti, alla salute e al benessere degli animali per verificare che tali aspetti siano conformi alle prescrizioni di legge [ rules ] relative ai mangimi, agli alimenti, alla salute e al benessere degli animali; 4
Efficacia Definizione di efficacia: non prevista dal Reg. 882/04 Gli uffici della Commissione UE hanno espresso, in documenti non ufficiali, questo orientamento: <<Efficacia: è generalmente la capacità di produrre (intenzionalmente) un effetto o di raggiungere un obiettivo. In questo particolare contesto è la capacità di un'autorità competente di raggiungere gli obiettivi del regolamento 882/2004. Non è da confondere con il termine efficienza, che è normalmente utilizzato quando si vuole fare riferimento ad un rapporto inputoutput, come ad esempio il rapporto tra i costi e/o le risorse necessarie per produrre un output. >> Efficacia = capacità di produrre l effetto e i risultati voluti o sperati (Dizionario della lingua italiana - Devoto Oli) Nella proposta di standard di funzionamento delle AC è stata ripresa la definizione prevista dalla ISO 9000 che la definisce come: grado di realizzazione delle attività pianificate e di conseguimento dei risultati pianificati. 5
I richiami all efficacia nel Regolamento Art. 2 audit se tali disposizioni siano attuate in modo efficace e siano adeguate per raggiungere determinati obiettivi; Art. 4(2) Le autorità competenti assicurano quanto segue: a) l efficacia e l appropriatezza dei controlli ufficiali su animali vivi, mangimi e alimenti in tutte le fasi della produzione, trasformazione e distribuzione, nonché riguardo all uso dei mangimi sono garantite; Art. 8(3) 3. Le autorità competenti devono prevedere procedure per: a) verificare l efficacia dei controlli ufficiali da esse eseguiti; 6
I richiami all efficacia nel Regolamento Per la valutazione di efficacia svolta ai sensi dell art. 8 non è previsto il requisito di indipendenza di chi la deve svolgere, ed è un compito della stessa autorità che effettua i controlli ufficiali Nell ambito degli audit è invece prevista una valutazione di efficacia svolta in un contesto di esame sistematico e indipendente 7
Una ulteriore specificazione utile nell ambito dell efficacia Output = [ ] il momento operativo o il risultato finale o l elemento terminale di un procedimento [ ] (Devoto Oli) Outcome = situazione che si viene a creare alla conclusione di tutte le azioni; risultato rispetto all impatto sulla salute, o rispetto all obiettivo strategico aziendale, regionale o nazionale 8
considerazioni Ogni processo termina con un output che può essere di input per il processo successivo Quindi per poter elencare gli input è necessario dotarsi di un elenco (anche solo ideale) dei processi dell AC oggetto dell audit Uno dei problemi riscontrati nel corso degli audit e delle ispezioni è la mancanza di chiarezza su quale sia l input o l output atteso 9
Fonte: Rapporto Oasi 2003 10
I PROCESSI DI NATURA SISTEMICA (o trasversali ) che devono essere efficaci per garantire la produzione di output efficaci attività di pianificazione e programmazione (pianificazione strategica, riesame, pianificazione annuale, piani di lavoro, piani specifici, calendarizzazione delle attività) monitoraggio reportistica annuale, relazioni e registrazioni procedure documentate (effettuazione di CU, rilascio delle certificazioni, ecc) Informatizzazione Sistemi informativi Produzione delle disposizioni 1 di 2 11
I PROCESSI DI NATURA SISTEMICA (o trasversali ) che devono essere efficaci per garantire la produzione di output efficaci organizzazione delle AC basata su canoni manageriali confronto con il mondo degli standard internazionali Analisi e valutazione dei rischi Gestione delle risorse umane, Gestione della formazione, Gestione della capacità di laboratorio, Gestione delle risorse finanziarie ecc 2 di 2 La valutazione dell efficacia dei processi è importante tanto quanto la valutazione dell efficacia degli output (cioè i CU e le altre attività ufficiali) 12
Una lista di elementi utili per delineare i componenti del processo di verifica dell'efficacia che deve essere svolta dalle AC degli Stati Membri Nel corso della riunione dei Chief Veterinary Officer (CVO) svoltasi il 28 giugno 2012 a Grange il dr. O Connor, ispettore del FVO, ha delineato i seguenti elementi: Step 1 (Pre-requisiti) 1. Le procedure adottate devono soddisfare i requisiti legali 2. Il controllo di conformità con i planned arrangements (come viene fatto in pratica?) 3. Raccolta regolare dei dati basilari (risultati dei controlli/reports/etc) 1 di 5 13
Una lista di elementi utili per delineare i componenti del processo di verifica dell'efficacia che deve essere svolta dalle Autorità compenti Step 2 (valutazione) 4. Lo Stato membro ha obiettivi strategici / operativi in ogni zona di controllo (per esempio nel MANCP)? 5. questi obiettivi comprendono i principali obiettivi essenziali del regolamento N. 882/2004? 6. Gli obiettivi operativi sono misurabili (SMART*)? 7. Quali sono gli indicatori? 8. Gli Stati membri hanno un sistema di verifica dell efficacia per controllare il raggiungimento di tali obiettivi? 2 di 5 *(Simple, Manageable, Achievable, Realistic, Timely) Semplici, gestibili, raggiungibili, realistici, temporizzati 14
Una lista di elementi utili per delineare i componenti del processo di verifica dell'efficacia che deve essere svolta dalle Autorità compenti Qualcuno vuole cimentarsi nel fare esempi? 3 di 5 9. Sono definite le responsabilità per la valutazione dell efficacia (who)? 10. Gli Stati Membri hanno una procedura per verificare l efficacia, distinta dalla verifica della conformità (how)? 11. Quali sono i principali elementi del(i) sistema(i)? 12. Fino a che punto vi è una componente on-the-spot (sul posto) nella verifica della conformità nella verifica dell efficacia dei controlli? 13. Come vengono integrati i risultati delle verifiche di conformità onthe-spot nell esercizio delle "verifiche dell efficacia"? 15
Una lista di elementi utili per delineare i componenti del processo di verifica dell'efficacia che deve essere svolta dalle Autorità compenti Qualcuno vuole cimentarsi nel fare esempi? 4 di 5 14. Qual è la qualità e l appropriatezza dei dati raccolti? 15. Il monitoraggio è continuo o periodico? 16. Frequenza della valutazione (dovrebbe essere ongoing, ma come viene stabilita la frequenza)? 17. Come sono inclusi i control bodies nel sistema di verifica? 16
Una lista di elementi utili per delineare i componenti del processo di verifica dell'efficacia che deve essere svolta dalle Autorità compenti 18. Come sono riportati i risultati delle verifiche, e a chi? 19. What is the feedback loop to complete the PDCA [1] cycle? [1] Plan, Do, Check, Act 5 di 5 17
La valutazione dell efficacia in Italia (in alimenti e veterinaria) VERIFICA DELL EFFICACIA prevista dall art. 8(3) Accordo CSR del 7/2/2013 e nota DSVETOC del 16/8/2012 TAVOLO LEA certificazione degli adempimenti informativi delle Regioni Valutazione di alcuni indicatori di performance (inclusi quelli della GRIGLIA LEA ) Valutazione di adempimenti regionali collegati alla verifica dell efficacia 1 di 5 AUDIT Sistema nazionale di audit (come concordato nello standard di funzionamento delle AC) 18
La valutazione dell efficacia in Italia (in alimenti e veterinaria) TAVOLO LEA certificazione adempimenti informativi delle Regioni 40 indicatori: 20 flussi informativi monitorati meidante 2 indicatori ciascuno LINK FILE FLUSSI Valutazione di alcuni indicatori di performance: 10 indicatori (inclusi 6 della Griglia LEA) LINK FILE EXCEL Valutazione complessiva adempimenti (punto AAJ dello schema di certificazione) LINK AAJ 2 di 5 19
Audit del Ministero della salute gli ausili per la valutazione dell efficacia Per preparare ciascun audit di sistema il nostro ufficio: 1) si è costruito una serie di INDICATORI PER LA VALUTAZIONE DELL ASSETTO TECNICO- ORGANIZZATIVO (LINK FILE REG ASL ) 37 indicatori su aspetti di natura trasversale specificamente finalizzati alla valutazione di aspetti organizzativi regionali 15 su aspetti di natura organizzativa dei Dipartimenti delle ASL 3 di 5 PER LA VERIFICA DEGLI OUTPUT DEI PROCESSI: indicatori del Tavolo LEA 20
Audit del Ministero della salute gli ausili per la valutazione dell efficacia Per preparare ciascun audit di sistema il nostro ufficio: 2) PROCEDE AD UNA CONSULTAZIONE DI TUTTI GLI UFFICI DI SETTORE DEL DIPARTIMENTO per acquisire elementi informativi di varia natura (criticità, emergenze epidemiologiche, questioni aperte, esperienze circa l affidabilità regionale) 3) PREDISPONE UNA TABELLA PER LA VALUTAZIONE DEL RISCHIO che riepiloga i dati regionali relativi alle produzioni, stabilimenti, patrimonio animale, situazione epidemiologica, altri elementi informativi, trend negli anni della valutazione LEA (LINK FILE) 4 di 5 21
Audit del Ministero della salute gli ausili per la valutazione dell efficacia Per preparare ciascun audit di sistema il nostro ufficio: 4) Riepilogo delle non conformità riscontrate nel corso degli audit di settore e ne considera la portata sistemica (LINK FILE REGISTRO) (LINK FILE REPORT) 5 di 5 22
GRAZIE PER L ATTENZIONE 23