Specifiche di qualità analitica desunte dal programma VEQ di Regione Lombardia Duilio Brugnoni Coordinatore Gruppo di studio SIBioC "Qualità analitica" ASST Spedali Civili Brescia 1
SCOPO DELLA COLLABORAZIONE FRA IL GRUPPO DI STUDIO SIBioC "QUALITA' ANALITICA" E IL CENTRO DI RIFERIMENTO REGIONALE PER LA QUALITÀ DEI SMeL DELLA REGIONE LOMBARDIA SOTTOPORRE TEMI DI ATTUALITA' E/O ISTANZE SCIENTIFICHE NEL CAMPO DELLA QUALITA' ANALITICA ALL'ATTENZIONE DEGLI ORGANI ISTITUZIONALI PREPOSTI AL CONTROLLO DELLA QUALITA' DEI SERVIZI DI MEDICINA DI LABORATORIO LOMBARDI E TOSCANI 2
QUALE E' LA MAGGIORE ESIGENZA ATTUALE NEL CAMPO DELLA QUALITA' ANALITICA? PRODURRE RISULTATI ACCURATI ED EQUIVALENTI INDIPENDENTEMENTE DAL LABORATORIO, DAL METODO UTILIZZATO E DAL MOMENTO IN CUI E' AVVENUTA LA MISURAZIONE, COSI DA POTER UTILIZZARE LIMITI DI RIFERIMENTO E LIVELLI DECISIONALI COMUNI 3
PER RAGGIUNGERE QUESTO SCOPO E' NECESSARIO IMPLEMENTARE UN PROCESSO DI STANDARDIZZAZIONE CHE DEFINISCA E APPLICHI, PER OGNI MISURANDO, UN SISTEMA METROLOGICO DI RIFERIBILITA' ("TRACEABILITY") DEI RISULTATI OTTENUTI SUI CAMPIONI BIOLOGICI DI PAZIENTI A RIFERIMENTI (MATERIALI E METODI) DI ORDINE GERARCHICO SUPERIORE ( HIGHER-ORDER ) 4
IL SISTEMA SI ATTUA: 1) Costruendo una CATENA di riferibilità metrologica ininterrotta, che permetta ai produttori di materiali diagnostici di trasferire L ESATTEZZA del valore della misurazione dal livello di gerarchia metrologica più elevato fino ai calibratori delle metodiche commerciali in uso nei laboratori clinici. Vesper, Clinical Chemistry 2009; 55:6 1067 1075 5
IL SISTEMA SI ATTUA: 2) Stabilendo LIMITI DI ACCETTABILITA' sia all'incertezza accumulata nel corso del processo di trasferimento dell'esattezza, sia all'errore totale commesso dal Laboratorio nelle determinazioni eseguite a scopi clinici ("fit for purpose"). Braga, Panteghini Clin Biochem 2018; 57: 7-11 Ceriotti, Brugnoni, Mattioli Clin Chem Lab Med 2015; 53(6): 913 918 6
IL SISTEMA SI ATTUA: 3) Operando un adeguata sorveglianza post-marketing della qualità delle prestazioni delle metodiche commerciali e di quelle del laboratorio che le usa per eseguire le misure nella pratica clinica QUALITA' ANALITICA CONTROLLO DI QUALITA' INTERNO (CQI) VALUTAZIONE ESTERNA DI QUALITA' (VEQ) 7
TRACCIABILITA' METROLOGICA: ATTORI E RESPONSABILITA' PRODUTTORI: implementano sistemi di misura secondo le logiche metrologiche UTILIZZATORI FINALI: gestiscono le informazioni sulla tracciabilità dei propri sistemi analitici e ne verificano le prestazioni mediante CQI e VEQ ORGANIZZAZIONI PROFESSIONALI (IFCC, JCTLM): definiscono misurandi, metodi e materiali di riferimento, specifiche di qualità e curano il database Beastall, Clin Chem Lab Med 2017; 55(8): 1100-1108 8
RUOLO DELL'UTILIZZATORE FINALE: COME VERIFICARE E DOCUMENTARE LA TRACCIABILITA' METROLOGICA Clin Chem Lab Med: accepted 9
TRACCIABILITA' METROLOGICA: ATTORI E RESPONSABILITA' PROVIDER VEQ Beastall, Clin Chem Lab Med 2017; 55(8): 1100-1108 10
CLASSIFICAZIONE DEGLI SCHEMI DI VEQ VEQ che consentono di ottenere informazioni sulla tracciabilità Miller, Clin Chem 2011;57:1670-80 11
ULTERIORE FOCUS: SPECIFICHE DI QUALITA' ADOTTATE 1) Commutabilità o meno del materiale 2) Modalità di assegnazione del valore bersaglio 3) Tipo di prestazione controllata: singolo risultato, risultati multipli 4) Tipo di parametro analitico controllato (TE, Bias, I) 5) Finalità del programma VEQ 6) QUALE DEI MODELLI DELLA CONFERENZA DI MILANO VIENE UTILIZZATO NEL PROGRAMMA VEQ 12
Sulla base di quanto deciso gli obiettivi di qualità possono essere distinti in tre diversi modelli: 1) OBIETTIVI BASATI SULL EFFETTO DELLE PERFORMANCE ANALITICHE SUGLI ESITI CLINICI 2) OBIETTIVI BASATI SULLA VARIABILITA BIOLOGICA 3) OBIETTIVI BASATI SULLO STATO DELL ARTE 13
IN BASE AL MISURANDO, UN MODELLO E' PIU' APPROPRIATI DI UN ALTRO MODELLO 1: il misurando ha un ruolo centrale nella diagnosi e monitoraggio di specifiche malattie (es: glucosio, colesterolo, HbA1c, ecc) MODELLO 2: il misurando ha uno stretto controllo omeostatico (es: sodio, creatinina, ecc) MODELLO 3: il misurando non ha un ruolo diagnostico centrale né un sufficiente controllo omeostatico (es: sodio e potassio urinari, ecc) 14
RISPETTO A QUANTO DISCUSSO FINORA, COME SI PONE IL PROGRAMMA VEQ "ORMONI E MARCATORI TUMORALI" GESTITO DAL CENTRO DI RIFERIMENTO REGIONALE PER LA QUALITÀ DEI SMeL DELLA REGIONE LOMBARDIA? MATERIALI: campioni di origine umana "trattati": NON COMMUTABILI VALORI TARGET: determinati per consenso nell'ambito di gruppi omogenei per metodo e strumento: NON ASSEGNATI CON METODI DI RIFERIMENTO LIMITI DI ACCETTABILITA': statistici (z score inferiore a 3): NON BASATI SUI MODELLI DI MILANO 15
CONCLUSIONI VEQ del Centro di Riferimento Miller, Clin Chem 2011;57:1670-80 16
VEQ DI CATEGORIA 1 o 2 PER ORMONI E MARCATORI TUMORALI: SOGNO O REALTA' VEQ DI CATEGORIA 1 o 2 per ORMONI e MARCATORI TUMORALI 17
DIFFICOLTA' GENERALI ASPETTI ECONOMICI: costi più elevati ASPETTI TECNICI: difficoltà nella preparazione di materiali commutabili o nel reperire materiali di controllo certificati ASPETTI LOGISTICI: difficoltà nella distribuzione materiali freschi di 18
DIFFICOLTA' LEGATE ALLA STANDARDIZZAZIONE DEI METODI DI MISURA DI QUESTA CATEGORIA DI ANALITI Clinical Biochemistry 2009; 42: 241 245 ALCUNE MOTIVAZIONI: Forme molecolari complesse o che variano in condizioni fisiopatologiche (es TSH, hcg, PSA, CEA, LH, ecc) Diversa specificità analitica delle metodiche di misura (ad esempio anticorpi che riconoscono epitopi diversi delle molecole) 19
Rispetto ai misurandi inclusi nel programma del Centro, sono disponibili procedure di misura di riferimento per Aldosterone, Cortisolo, 17 -Estradiolo, ft4, Progesterone, Testosterone, Vitamina D2 e D3, Acido folico, C-Peptide: 10 misurandi sui 34 sottoposti a controllo. 20
SPECIFICHE DI QUALITA' 1) OBIETTIVI BASATI SULL EFFETTO DELLE PERFORMANCE ANALITICHE SUGLI ESITI CLINICI: NON ESISTONO 2) OBIETTIVI BASATI SULLA VARIABILITA BIOLOGICA: I DATI DI VARIABILITA' BIOLOGICA PRESENTI IN LETTERATURA MOSTRANO SPESSO UNA SCARSA ATTENDIBILITA' Biochimica clinica, 2011; 35 (5): 382-385 21
PER QUESTO MOTIVO EFLM HA MESSO IN ATTO UN PROCESSO DI MIGLIORAMENTO DELL'AFFIDABILITA' DEI DATI DI VARIABILITA' BIOLOGICA 22
IL PROCESSO DI REVISIONE DELLE SPECIFICHE DI QUALITA' PROMOSSO DA EFLM Tale processo si sta sviluppando lungo due direttrici: 1) Valutazione dei dati presenti in letteratura attraverso checklist volte alla verifica del rispetto o meno di criteri ben definiti nell'esecuzione dei disegni sperimentali 2) La produzione di nuovi dati secondo protocolli rigorosi e ben definiti QUESTO PROCESSO DOVREBBE SFOCIARE NELLA PUBBLICAZIONE DI UN NUOVO DATABASE CHE ANDREBBE A SOSTITUIRE QUELLO ATTUALMENTE PRESENTE NEL SITO DI WESTGARD 23
LE ATTIVITA' FIN QUI SVOLTE HANNO PORTATO ALLA REVISIONE DEI DATI DI NUMEROSI MISURANDI 24
TUTTAVIA TALE ATTIVITA' NON HA PORTATO A NUOVE PUBBLICAZIONI NEL CAMPO DEGLI ORMONI E DEI MARCATORI TUMORALI, NE' SI HANNO NOTIZIE SULLO STATO DI REVISIONE DEI DATI GIA' PRESENTI IN LETTERATURA, IN QUANTO IL DATABASE EFLM NON E' ANCORA STATO RESO PUBBLICO 25
I traguardi basati sullo stato dell'arte si riferiscono al più alto livello di performance tecnicamente raggiungibile. Nella pratica si possono definire come i livelli di qualità analitica raggiunti da una certa % di Laboratori. Clin Lab Med 2017; 37: 73 84 Biochimica clinica, 2008; 32: 260-268 Biochimica clinica, 2010; 34: 607-611 26
MATERIALI Elaborazione di 131431 risultati inviati da 285 Laboratori Lombardi e Toscani partecipanti al programma VEQ "Ormoni e marcatori tumorali" gestito dal Centro di Riferimento Regionale per la Qualità dei SMeL della Regione Lombardia in collaborazione con il Centro di Riferimento Regionale per la VEQ Regione Toscana; i risultati erano relativi a 24 misurandi prodotti in 48 esercizi nell'arco di 4 anni (cicli 2014-2017) 27
STRUMENTI La difficoltà maggiore è consistita nel ricavare le informazioni richieste da una massa così rilevante di dati. Pertanto gran parte del lavoro iniziale è consistito nell'approntare e validare un foglio di calcolo che, utilizzando comandi basati su macro e codice VBA, fosse in grado di manipolare i dati grezzi forniti dal Centro di Riferimento e permettere di calcolare i parametri prestabiliti. 28
FOGLIO DI CALCOLO PULSANTI PER L'ESECUZIONE DI MACRO E CODICE VBA DATI GREZZI RISULTATI (RAGGRUPPAMENTI, CALCOLO PARAMETRI STATISTICI, ecc) 29
METODI RAGGRUPPAMENTO DEI RISULTATI PER ESERCIZIO E PER GRUPPO OMOGENEO CRITICITA': la robustezza del valore di consenso dipende anche dalla numerosità del gruppo omogeneo; pertanto sono stati presi in considerazione solo i gruppi con numerosità superiore a 7 Laboratori 30
METODI RAGGRUPPAMENTO DEI RISULTATI PER ESERCIZIO E PER GRUPPO OMOGENEO CALCOLO PER OGNI GRUPPO OMOGENEO DELLA MEDIA ROBUSTA (DOPO RIMOZIONE DEGLI OUTLIER SECONDO IL METODO DI HUBER-HAMPEL) 31
RIMOZIONE OUTLIER Per migliorare l'accuratezza dei parametri statistici è necessario eliminare i valori aberranti utilizzando uno dei numerosi test statistici a disposizione. Nel nostro caso, la scelta è ricaduta sul metodo di Huber-Hampel, che è uno di quelli consigliati nella norma ISO 13528 ed è già utilizzato dal Provider toscano. In breve, vengono considerati aberranti quei valori che hanno una distanza dalla mediana superiore a 3 x Mediana x 1,483 32
METODI RAGGRUPPAMENTO DEI RISULTATI PER ESERCIZIO E PER GRUPPO OMOGENEO CALCOLO PER OGNI GRUPPO OMOGENEO DELLA MEDIA ROBUSTA (DOPO RIMOZIONE DEGLI OUTLIER SECONDO IL METODO DI HUBER-HAMPEL) CALCOLO DELLO SCOSTAMENTO % DI OGNI RISULTATO DALLA MEDIA ROBUSTA DEL PROPRIO GRUPPO OMOGENEO CALCOLO DEL 95 PERCENTILE DI TUTTI GLI SCOSTAMENTI RILEVATI PER OGNI ESERCIZIO (QUINDI PER CONCENTRAZIONI DIFFERENTI) 33
METODI COSTRUZIONE DI CURVE DI CORRELAZIONE FRA LA CONCENTRAZIONE E IL 95 PERCENTILE CALCOLATO PER OGNI ESERCIZIO SCOPO: verificare, per ogni misurando, se c'è una evidente relazione fra la concentrazione e l'entità dell'errore totale commesso 34
ESEMPIO DI MISURANDO CON ERRORE TOTALE CONCENTRAZIONE DIPENDENTE 35
METODI COSTRUZIONE DI CURVE DI CORRELAZIONE FRA LA CONCENTRAZIONE E IL 95 PERCENTILE CALCOLATO PER OGNI ESERCIZIO CALCOLO DEL 95 PERCENTILE DI TUTTI GLI SCOSTAMENTI (PER I MISURANDI IN CUI NON C'E' EVIDENZA DI DIPENDENZA DALLA CONCENTRAZIONE) OPPURE SUDDIVISIONE DEGLI SCOSTAMENTI IN GRUPPI DIVISI PER CONCENTRAZIONE E CALCOLO DEL 95 PERCENTILE PER OGNI SOTTOGRUPPO 36
SPECIFICHE DI QUALITA' DESUNTE DAL PROGRAMMA VEQ ORMONI E MARCATORI TUMORALI DEL CENTRO DI RIFERIMENTO REGIONALE LOMBARDO MEASURAND APS (TEa%) % NC 2014-2017 Alpha-fetoprotein 15,47 % 7,53 % C-Peptide 15,86 % 8,24 % CA 15.3 14,48 % 7,27 % CA 19.9 14,04 % 7,81 % CA 125 10,92 % 7,59 % CEA 11,51 % 7,31 % Cortisol 13,89 % 8,59 % Estradiol (< 150 pg/ml) 28,23 % 6,25 % Estradiol (> 150 pg/ml) 14,62 % 7,11 % Ferritin 16,56 % 7,93 % Folate (< 3 ng/ml) 40,44 % 6,16 % Folate (> 3 ng/ml) 17,92 % 8,35 % FSH 11,80 % 7,64 % ft3 13,42 % 6,94 % ft4 10,58 % 8,56 % 37
SPECIFICHE DI QUALITA' DESUNTE DAL PROGRAMMA VEQ ORMONI E MARCATORI TUMORALI DEL CENTRO DI RIFERIMENTO REGIONALE LOMBARDO MEASURAND APS (TEa%) 38 % NC 2014-2017 hcg 13,42 % 7,15 % Insulin (< 10 UI/mL) 18,68 % 7,50 % Insulin (> 10 UI/mL) 12,23 % 8,24 % LH 12,19 % 7,98 % Progesterone (< 3 ng/ml) 22,69 % 6,78 % Progesterone (> 3 ng/ml) 14,38 % 7,35 % Prolactin 11,47 % 7,75 % Free PSA 13,38 % 7,83 % Total PSA 12,31 % 7,59 % PTH (< 70 pg/ml) 60,74 % 6,31 % PTH (> 70 pg/ml) 26,08 % 7,04 % Testosterone (< 1 ng/ml) 45,85 % 4,98 % Testosterone (> 1 ng/ml) 17,07 % 7,84 % TSH 10,62 % 7,32 % Vitamin B12 (< 300 pg/ml) 17,48 % 7,80 % Vitamin B12 (> 300 pg/ml) 13,97 % 7,60 %
CALCOLO DELLE NON CONFORMITA' CHE AVREBBERO RIPORTATO I SINGOLI LABORATORI NEL CASO IN CUI LE SPECIFICHE DI QUALITA' DESUNTE DAL PROGRAMMA FOSSERO STATE APPLICATE AI RISULTATI INVIATI NEI 4 ANNI Il 44% dei Laboratori ha un processo di VEQ con valore Sigma superiore a 3 39
CONCLUSIONI IL LAVORO SVOLTO PONE I PRESUPPOSTI PER: Armonizzare i criteri di accettabilità del programma lombardo con quelli del Careggi Stimolare il miglioramento della qualità, in quanto definire limiti di accettabilità indipendenti dalle singole piattaforme analitiche, potrebbe offrire un valore aggiunto rispetto al solo uso di traguardi di tipo statistico, che, potendo variare fra i gruppi di pari (intervalli più ampi per metodi più imprecisi), disincentivano l'adozione di metodi migliori. 40
GRAZIE PER L'ATTENZIONE 41