IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE

Transcript

1 IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE Parte 1 Teoria del controllo di qualità interno Dott. Gianluca Monti, phd gianlucamonti@chimici.it

2 ALMENO IL 70% DELLE DECISIONI DIAGNOSTICHE SONO INFLUENZATE DA TEST DI LABORATORIO.

3 Una stima prudente del tasso d errore di laboratorio in Italia è pari a circa lo 0,30% In Italia ogni anno ~1000 milioni di prestazioni ~ 3 milioni di referti affetti da errore all anno! Il costo di questi errori è difficilmente stimabile (probabilmente prossimo al miliardo di ). Plebani M, Carraro P. Mistakes in a stat laboratory: types and frequency. Clin Chem 1997;43,8:

4

5 Governance Validazione Organizzazione Metodica Test Paziente

6

7

8 Test analiticamente errato Test non discriminante Test male interpretato/refertato Test gestionalmente errato Test non necessario Test non eseguito

9 Controllo di qualità Assicurazione della qualità Sistema di qualità

10 STATISTICHE Questa presentazione contiene: 234 numeri 27 formule matematiche Moltissimi grafici 14 riferimenti a normative ISO 21 fotografie di luoghi belli del mondo Tre storielle divertenti Qualche consiglio che vi aiuterà a capire quando state sbagliando

11

12 ISO 15189:2007

13 ISO 15189:2007

14 ISO 15189:2007

15 IL DATO È SICURO?

16

17 IL DATO È AL SICURO?

18 INTERCETTARE GLI ERRORI

19 Ottenere esiti positivi per il paziente attraverso una gestione integrata del processo analitico (CONTROLLO DI)QUALITÀ: ERRORE O SBAGLIO? Il CQI dell ammonio è nel range. ma il campione è rimasto 6 ore a temperatura ambiente!!

20 ERRORE O SBAGLIO? ERRORE CASUALE SBAGLIO La fonte più frequente dell errore E naturalmente presente in tutti i processi La sua origine è complessa e articolata In condizioni stabili può essere descritto in termini statistici e quindi «confinato» In un sistema correttamente gestito è un evento sporadico La sua origine è generalmente semplice («Mario si è scordato») Gli effetti possono essere molto importanti e poco prevedibili Difficile da «confinare»

21 A COSA SERVE? L obbiettivo delle procedure di controllo di qualità è di fornire al paziente un risultato analiticamente corretto. Quanto è vicino, mediamente, il risultato ottenuto al valore vero? Quanto è incerto il valore ottenuto, in termini di ripetibilità della misura? Quanto è discriminante per la decisione clinica?

22 ANALISI DELL ERRORE Distribuzione delle frequenze Statistica parametrica

23 TIPI DI VARIABILI Quantitative Altezza Peso Indice di massa corporea Glucosio sierico Copie HCV RNA/ml Leucociti/ml Numero di prelievi Qualitative Colore dei capelli Normopeso/sovrappeso Sesso Iperglicemico HCV Ab +/- Sangue -/±/+/++/+++ Soddisfazione del cliente

24 VARIABILI QUANTITATIVE Quantitative Altezza Peso Indice di massa corporea Glucosio sierico Copie HCV RNA/ml Leucociti/ml Numero di prelievi Continue Discrete

25 TIPI DI VARIABILI Qualitative Nominali Ordinali Colore dei capelli Normopeso/sovrappeso Sesso Iperglicemico HCV Ab +/- Sangue -/±/+/++/+++ Soddisfazione del cliente

26 TIPI DI VARIABILI Quantitative Altezza Peso Indice di massa corporea Glucosio sierico Copie HCV RNA/ml Leucociti/ml Numero di prelievi Qualitative Colore dei capelli Normopeso/sovrappeso Sesso Iperglicemico HCV Ab +/- Sangue -/±/+/++/+++ Soddisfazione del paziente

27 MISURA Lo scopo della maggioranza dei test di laboratorio è misurare, attraverso opportuni strumenti, la concentrazione di determinati analiti nei campioni Il risultato della misura è una «stima» del valore «vero» La differenza fra la stima e il valore vero rappresenta l errore di misura, che è sempre presente Scopo del QC è garantire, attraverso la caratterizzazione dell errore, che l errore si mantenga contenuto entro limiti prefissati che preservino l utilità clinica del dato.

28

29 ESEMPIO DI MISURA 100,0 100,8 101,2 99,8,

30 QUAL È IL VALORE??

31 ESEMPIO DI MISURA Dati ottenuti in 60 misurazioni: 99,4 99,0 99,1 100,0 100,6 100,0 99,6 100,6 100,4 101,4 100,8 100,1 100,6 100,1 100,0 99,7 100,5 101,0 99,0 101,1 101,4 99,9 98,8 100,7 100,9 101,5 102,4 99,7 99,2 98,9 99,2 100,7 100,0 99,9 100,5 99,4 100,0 100,0 99,5 99,2 99,3 100,6 98,6 98,5 99,9 99,8 99,3 101,3 98,8 100,9 99,5 100,5 99,8 99,8 97,6 100,1 98,7 101,2 100,0 99,0

32 VARIABILITÀ Le condizioni ambientali cambiano Le condizioni strumentali cambiano I tecnici cambiano I reagenti cambiano I calibratori cambiano I controlli cambiano Le matrici cambiano Mario si distrae E legittimo pensare sia possibile ottenere una stima corretta?

33 VARIABILITÀ Come definire corretta? PRECISIONE

34 ESEMPIO DI MISURA Dati ottenuti in 60 misurazioni: 99,4 99,0 99,1 100,0 100,6 100,0 99,6 100,6 100,4 101,4 100,8 100,1 100,6 100,1 100,0 99,7 100,5 101,0 99,0 101,1 101,4 99,9 98,8 100,7 100,9 101,5 102,4 99,7 99,2 98,9 99,2 100,7 100,0 99,9 100,5 99,4 100,0 100,0 99,5 99,2 99,3 100,6 98,6 98,5 99,9 99,8 99,3 101,3 98,8 100,9 99,5 100,5 99,8 99,8 97,6 100,1 98,7 101,2 100,0 99,0

35 ORDINARE I DATI 96,6 96,6 96,8 97,0 97,2 97,3 97,3 97,3 97,5 97,6 97,6 97,7 97,9 98,2 98,2 98,2 98,3 98,4 98,6 98,6 98,6 98,6 98,7 98,9 99,0 99,0 99,1 99,2 99,2 99,3 99,3 99,3 99,3 99,3 99,4 99,4 99,4 99,5 99,5 99,6 99,6 99,7 99,8 99,9 99,9 100,1 100,2 100,2 100,2 100,4 100,4 100,7 100,7 100,7 100,8 101,1 101,1 101,5 101,7 102,2

36 DIVIDERE IN CLASSI 96,6 96,6 96,8 97,0 97,2 97,3 97,3 97,3 97,5 97,6 97,6 97,7 97,9 98,2 98,2 98,2 98,3 98,4 98,6 98,6 98,6 98,6 98,7 98,9 99,0 99,0 99,1 99,2 99,2 99,3 99,3 99,3 99,3 99,3 99,4 99,4 99,4 99,5 99,5 99,6 99,6 99,7 99,8 99,9 99,9 100,1 100,2 100,2 100,2 100,4 100,4 100,7 100,7 100,7 100,8 101,1 101,1 101,5 101,7 102,2 Regola di Sturges: N. classi = 1 + 3,3 * log(n)

37 DIVIDERE IN CLASSI

38 ISTOGRAMMI DI FREQUENZA Grafici Risultato (x) Vs Frequenza (y) La scala x è determinata dalle classi in cui è stato diviso il campione di dati L ampiezza delle classi può essere ricavata i numerosi modi empirici (Es. regola di Sturges) L altezza y delle barre è proporzionale alla frequenza (numero di occorrenze in quella classe) Rappresentano graficamente la distribuzione dei valori. Utile per verificare se i dati si aggregano intorno ad un valore centrale

39 ISTOGRAMMA

40 ISTOGRAMMA

41 ISTOGRAMMA

42 ISTOGRAMMA

43 ISTOGRAMMA

44 ISTOGRAMMA

45 ISTOGRAMMA

46 ISTOGRAMMA

47

48 QUAL È IL VALORE?? 1

49 MODA Valore più frequente Può non essere unica Può non essere determinabile Utile per i dati qualitativi Poco affetta dalla distribuzione

50 ISTOGRAMMA

51 ISTOGRAMMA

52 ISTOGRAMMA

53 MEDIANA Fra i dati ordinati è il valore centrale (o la media dei due valori centrali): 96,6 96,6 96,8 97,0 97,2 97,3 97,3 97,3 97,5 97,6 97,6 97,7 97,9 98,2 98,2 98,2 98,3 98,4 98,6 98,6 98,6 98,6 98,7 98,9 99,0 99,0 99,1 99,2 99,2 99,3 99,3 99,3 99,3 99,3 99,4 99,4 99,4 99,5 99,5 99,6 99,6 99,7 99,8 99,9 99,9 100,1 100,2 100,2 100,2 100,4 100,4 100,7 100,7 100,7 100,8 101,1 101,1 101,5 101,7 102,2

54 ISTOGRAMMA

55 ISTOGRAMMA

56 ISTOGRAMMA

57 MEDIA TL Æ T J (Somma dei valori diviso il numero di valori) C è una sola media per ogni distribuzione E affetta dagli outliers

58 ISTOGRAMMA

59 ISTOGRAMMA

60 ISTOGRAMMA

61 ISTOGRAMMA

62 La misura media è 99,1 MISURA

63 MINIMO-MASSIMO Quanto si discostano i dati dalla media? 97,6 98,5 98,6 98,7 98,8 98,8 98,9 99,0 99,0 99,0 99,1 99,2 99,2 99,2 99,3 99,3 99,4 99,4 99,5 99,5 99,6 99,7 99,7 99,8 99,8 99,8 99,9 99,9 99,9 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,1 100,1 100,1 100,4 100,5 100,5 100,5 100,6 100,6 100,6 100,6 100,7 100,7 100,8 100,9 100,9 101,0 101,1 101,2 101,3 101,4 101,4 101,5 102,4

64 MISURA (2) La misura è compresa fra 97,6 e 102,4

65 ISTOGRAMMA

66 MISURA (3) Come posso misurare correttamente la mia variabile? Che errore commetto? La distanza è 100,0 ± incertezza

67 MINIMO-MASSIMO Quanto si discostano i dati dalla media? 96,6 96,6 96,8 97,0 97,2 97,3 97,3 97,3 97,5 97,6 97,6 97,7 97,9 98,2 98,2 98,2 98,3 98,4 98,6 98,6 98,6 98,6 98,7 98,9 99,0 99,0 99,1 99,2 99,2 99,3 99,3 99,3 99,3 99,3 99,4 99,4 99,4 99,5 99,5 99,6 99,6 99,7 99,8 99,9 99,9 100,1 100,2 100,2 100,2 100,4 100,4 100,7 100,7 100,7 100,8 101,1 101,1 101,5 101,7 102,2

68 STUDIARE LA DISTRIBUZIONE Quanto si discostano i dati dalla media? 96,6 96,6 96,8 97,0 97,2 97,3 97,3 97,3 97,5 97,6 97,6 97,7 97,9 98,2 98,2 98,2 98,3 98,4 98,6 98,6 98,6 98,6 98,7 98,9 99,0 99,0 99,1 99,2 99,2 99,3 99,3 99,3 99,3 99,3 99,4 99,4 99,4 99,5 99,5 99,6 99,6 99,7 99,8 99,9 99,9 100,1 100,2 100,2 100,2 100,4 100,4 100,7 100,7 100,7 100,8 101,1 101,1 101,5 101,7 102,2

69 DISTRIBUZIONE

70 DISTRIBUZIONE GAUSSIANA Simmetrica Media = Moda = Mediana s rappresenta la «larghezza» della campana

71 DEVIAZIONE STANDARD Scarto quadratico medio

72 COEFFICIENTE DI VARIAZIONE CV ª º Scarto quadratico medio

73 DISTRIBUZIONE

74 IMPRECISIONE La ripetizione di una misura affetta da errore casuale tende a fornire stime i cui valori si aggregano attorno ad un valore medio, con distribuzione gaussiana (campanulare) La distribuzione gaussiana è simmetrica intorno alla media, che coincide con la mediana e con la moda

75 IL 68,3% DEI DATI RICADE ENTRO ± s

76 IL 95,5% DEI DATI RICADE ENTRO ± 2s

77 IL 99,7% DEI DATI RICADE ENTRO ± 3s

78 QUAL È IL VALORE?

79 IMPRECISIONE DI MISURA La misura in 60 misurazioni è compresa fra 96,6 e 102,2 La misura media in 60 misurazioni è 99,1 La misura è 99,1 ± 3,9 nel 99,7 % dei casi

80 INCERTEZZA

81 INCERTEZZA

82 ERRORE DI MISURA La misura in 60 misurazioni è compresa fra 96,6 e 102,2 La misura media in 60 misurazioni è 99,1 La misura è 99,1 ± 1,3 nel 68,3 % dei casi La misura è 99,1 ± 2,6 nel 95,5 % dei casi La misura è 99,1 ± 3,9 nel 99,7 % dei casi In condizioni analoghe potrò ritenere la misura avrà un incertezza pari a ± 3,9 nel 99,7% dei casi.

83 (IN)CERTEZZA

84 (IN)CERTEZZA

85 (IN)CERTEZZA

86 ISTOGRAMMA

87 ISTOGRAMMA

88 ESEMPIO DI MISURA?!? 100,0

89 QUAL È IL VALORE?? 2

90 MISURA DI CONTROLLO La misura a progetto è 44 metri Supponiamo una incertezza pari al 3,1% Misura dello strumento: 122,1 LA MISURA E SBAGLIATA!! LO STRUMENTO E GUASTO?

91 Lo strumento di fabbricazione anglosassone era impostato per misurare in piedi anziché in metri. Lo strumento utilizza quindi una calibrazione «sbagliata», perché riferita a uno standard metrologico differente.

92

93 ISO 15189:2007

94 ISO 15189

95 IMPRECISIONE Indica quanto è ripetibile la misura, e cioè quando concordanti sono le misure fra di loro Può essere stimata, in caso di errori casuali con s Conoscere s consente di fare valutazioni statistiche sull attendibilità della misura INACCURATEZZA Esprime la concordanza fra le misure ottenute ed il valore «vero». Può essere stimata attraverso la misura di un campione «noto».

96 ESEMPIO DI MISURA CV 3,1%???,?

97 ISTOGRAMMA ,

98 BIAS Differenza assoluta

99 BIAS : ;L T Ø F T T Ø Differenza percentuale

100 Z SCORE Differenza in rapporto alla s

101 DEVIAZIONE % = 1,96 % Differenza percentuale

102 ISTOGRAMMA ,

103 CIFRE SIGNIFICATIVE Il risultato ricavato dallo strumento deve avere un numero di cifre significative compatibile con il CV

104 IMPRECISIONE Si determina con misure ripetute INACCURATEZZA Si determina con una misura nota Si descrive con la º (deviazione standard) Si descrive con il BIAS (ˈbaɪəs) ATTENZIONE ALLE CIFRE SIGNIFICATIVE (IN GENERE 3 O 4 SONO SUFFICIENTI)

105 MISURA IMPRECISA E INACCURATA s BIAS

106 MISURA IMPRECISA MA ACCURATA s BIAS

107 MISURA PRECISA MA INACCURATA s BIAS

108 MISURA PRECISA E ACCURATA s BIAS

109 ?ERRORE DI MISURA? Al 95,5% di probabilità Al 99,7% di probabilità ATTENZIONE AGLI SBAGLI! Mario tende a distrarsi

110 IMPRECISIONE Si descrive con la (deviazione standard) INACCURATEZZA Si descrive con il BIAS (ˈbaɪəs) INESATTEZZA Si descrive con (Errore analitico)

111 NON SONO BRAVO IN MATEMATICA Il laboratorio dovrebbe dotarsi di uno o più software specifici per il controllo di qualità Alcuni calcoli di base possono essere eseguiti con numerosi software commerciali Il foglio di calcolo Excel può essere utilizzato in maniera semplice e veloce

112 IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE Parte 2 Pratica del controllo di qualità interno Dott. Gianluca Monti, phd

113 CONTENUTI Chi controlla? Con cosa controlla? Quando controlla? Dove controlla? Il mio CQ è accettabile?!?

114 Assicurare che le performance analitiche del test siano consistenti con l esigenza clinica del paziente LO SCOPO DEL CQI

115 AVVISAMI QUANDO C E QUALCOSA CHE NON VA LO SCOPO DEL CQI (RELOADED)

116 ERRORE ANALITICO Deterioramento del reagente Deterioramento del calibratore Condizioni ambientali inadeguate Condizioni di alimentazione inadeguate Impostazioni strumentali errate Guasto strumentale Errore dell operatore ERRORE SBAGLIO

117 IMPLEMENTAZIONE CQI Stabilire politiche di qualità e procedure Dividere le responsabilità Educare il personale Selezionare il materiale di controllo Stabilire il range di accettabilità Stabilire le procedure di validazione e intervento Monitorare il risultato del CQI ad ogni esecuzione Registrare tutte le azioni e gli interventi.

118

119 CALIBRATORE Materiale che contiene una concentrazione riferibile dell analita che copra il range del test CONTROLLO Materiale che contiene l analita a concentrazione pre-determinata o non prossima ai valori clinici E necessario per ottenere risultati su scale non arbitrarie E necessario per assicurarsi che i risultati siano affetti da un errore accettabile I calibratori si utilizzano ad ogni variazione del contesto analitico (strumento/reagente/ ) I controlli si utilizzano durante la procedura analitica per monitorarla

120 CONTROLLI Il più simili possibile al campione (idealmente umano) Concentrazioni simili a quelle dei campioni Disponibili in grandi quantità (sufficienti per 1 anno o più) Stabili per un tempo lungo (> 2 anni) Soggetti a modeste manipolazioni (pronti all uso) Commerciali o preparati in lab Dosati con range di riferimento Non dosati Pool normali

121 QUANTO CONTROLLARE Costo dell'errore Costo dei controlli Costo totale

122

123 QUANDO CONTROLLARE Frequenza del QC Il CQ deve essere eseguito ad ogni seduta analitica La definizione di seduta analitica è inevitabilmente vaga Condizioni che interrompono la seduta Cambio di reagenti, anche se dello stesso lotto Cambio di consumabili (anche se dello stesso lotto) Operazioni che normalmente non si eseguono fra due test Alterazioni delle condizioni chimico-fisico-ambientali Fermo macchina superiore al tempo di dosaggio Interventi tecnici di qualsiasi natura Modifiche metologiche

124 QUANDO CONTROLLARE (2) Programmazione del CQI Evitate di controllare subito dopo l avvio Evitate di controllare subito dopo una calibrazione Idealmente controllate fra i campioni Controllate PRIMA di refertare

125 QUALE VALORE Il CQI ideale dovrebbe coprire il range dinamico del test In pratica è sufficiente coprire l intervallo decisionale clinico Possono essere necessari 2 o 3 controlli Controllo Basso/Patologico se rilevante Controllo normale Controllo Alto/Patologico se rilevante Critico Alto Normale Normale Normale

126 QUALE VALORE Il CQI ideale dovrebbe coprire il range dinamico del test In pratica è sufficiente coprire l intervallo decisionale clinico Possono essere necessari 2 o 3 controlli Controllo Basso/Patologico se rilevante Controllo normale Controllo Alto/Patologico se rilevante Critico Alto Normale Basso Critico

127 CQI PRIMA IMPLEMENTAZIONE Preparare il materiale secondo le indicazioni del produttore. Aliquotare il materiale e stoccarlo Determinare le performance target in un pre-periodo Es. Eseguire 20 determinazioni in 20 sessioni (1 mese) Raccogliere i dati Disegnare istogramma Gaussiana? (Moda = Media = Mediana) Gaussiana? (68,3% in, 95,5% in, 99,7% in ) Calcolare, BIAS (se disponibile riferimento)?sufficientemente preciso e accurato?

128 ERRORE ACCETTABILE Stato dell arte Intervallo di riferimento Linee guida e/o opinioni di clinici esperti Analisi dell errore clinico derivante Variabilità biologica (E a < ½ CV i ) 3

129 GLUCOSIO Stato dell arte (intra-lab): CV 2,0 %, BIAS 1,0% TE 5% Intervallo di riferimento ( ): TE 10 % Linee guida: CV 3,3% BIAS 2,5% TE 7,9% Analisi dell errore clinico TE 8% (4%) Variabilità biologica: TE 5,9% Sacks et al Diabetes Care June 2011vol. 34 no. 6 e61-e99 Boyd, et al Clin Chem 2001;47:209 Ricos et al Scand J Clin Lab Invest 1999;59:

130 ANALIZZATORI AUTOMATICI Ampiamente disponibili fin dagli anni 80 Metodiche consolidate Identificazione positiva del campione Ampio range di produttività test/ora Buona precisione (?) e accuratezza (?) E possibile ottenere test analiticamente corretti?...in alcuni casi bisogna saper scegliere

131 GLUCOSIO

132 LDH

133 SODIO

134 MCV

135 PTH

136 CEA

137 Governance Validazione Organizzazione Metodica Test Paziente

138 IL DATO È SICURO? (2) Un analizzatore automatico performante, di per se, non è garanzia di qualità della prestazione La marcatura CE attesta la conformità a requisiti minimi di sicurezza (in molti casi esprime una autocertificazione)

139 ERRORE ACCETTABILE Il laboratorio deve stabilire obbiettivi di qualità in termini di CV e BIAS Es. Glucosio CV 2,5% BIAS 2,5% TE 7,5% E necessario verificare l andamento delle performance in un pre-periodo di 20 controlli (controllo dosato per il BIAS) E necessario monitorare il mantenimento di queste performance nel tempo attraverso l esecuzione del QC

140 MONITORARE LE PERFORMANCE Dopo il pre-periodo di 20 misurazioni si ottiene: 101,1 99,9 100,0 99,7 98,3 97,7 99,1 99,6 98,8 99,0 99,8 100,5 102,3 101,7 100,5 98,2 99,4 100,2 100,2 100,8 Analita Cloro Media -3s 96,2 > 3 IDS 0,0% Decimali 1 Media -2s 97,4 > 2 IDS 5,0% N. Dati 20 Media -1s 98,6 > 1 IDS 25,0% Media 99,8 < 1 IDS 70,0% Riferimento 98,5 Media +1s 101,0 Media +2s 102,2 Minimo 97,7 Media 99,8 Media +3s 103,4 Massimo 102,3 Mediana 99,9 Range 4,568 s 1,200 BIAS 1,3% N. Sturges 5 CV 1,20% z Score 1,08 D Sturges 0,91

141 ,9 94,7 95,5 96,3 97,1 97,8 98,7 99,6 100,5 101,4 102,3 102,6 103,4 104,2 105,0 105,8 106,6 107,4 108,2 ISTOGRAMMA PRE-PERIODO

142 ,9 94,7 95,5 96,3 97,1 97,8 98,7 99,6 100,5 101,4 102,3 102,6 103,4 104,2 105,0 105,8 106,6 107,4 108,2 BIAS s ISTOGRAMMA PRE-PERIODO

143 ,9 94,7 95,5 96,3 97,1 97,8 98,7 99,6 100,5 101,4 102,3 102,6 103,4 104,2 105,0 105,8 106,6 107,4 108,2 BIAS s ISTOGRAMMA PRE-PERIODO

144 ,9 94,7 95,5 96,3 97,1 97,8 98,7 99,6 100,5 101,4 102,3 102,6 103,4 104,2 105,0 105,8 106,6 107,4 108,2 BIAS s ISTOGRAMMA PRE-PERIODO

145 ,9 94,7 95,5 96,3 97,1 97,8 98,7 99,6 100,5 101,4 102,3 102,6 103,4 104,2 105,0 105,8 106,6 107,4 108,2 BIAS s ISTOGRAMMA PRE-PERIODO

146 MONITORARE LE PERFORMANCE PERFORMANCE STORICA ACCETTABILE Può essere mantenuta? Il CQI di oggi è accettabile?!?! Analita Cloro Media -3s 96,2 > 3 IDS 0,0% Decimali 1 Media -2s 97,4 > 2 IDS 5,0% N. Dati 20 Media -1s 98,6 > 1 IDS 25,0% Media 99,8 < 1 IDS 70,0% Riferimento 98,5 Media +1s 101,0 Media +2s 102,2 Minimo 97,7 Media 99,8 Media +3s 103,4 Massimo 102,3 Mediana 99,9 Range 4,568 s 1,200 BIAS 1,3% N. Sturges 5 CV 1,20% z Score 1,08 D Sturges 0,91

147

148 GRAFICI DI SHEWHART Grafici tempo (x) Vs Risultato (y) Il grafico è centrato intorno alla media (media mobile) La scala y è determinata dalla s Rappresentano graficamente l andamento della misura nel tempo Shewhart WA. Economic Control of Quality of Manufactured Product. New York; D. Van Hostrand Company, Inc., 1931 Levey S, Jennings ER. The use of control charts in the clinical laboratory. Am J Clin Pathol 1950;20:

149 GRAFICI DI SHEWHART Rif s + 2 s + 1 s Media - 1 s - 2 s - 3 s

150 ERRORE PROGRESSIVO

151 ERRORE CICLICO

152 PERDITA DI PRECISIONE

153 PERDITA DI ACCURATEZZA

154 CAMBIO DI LOTTO

155 CIFRE SIGNIFICATIVE

156 GRAFICI DI SHEWHART Alcuni software NON utilizzano la media di pre-periodo Il grafico è centrato sul riferimento del produttore In alcuni casi neanche la DS è del pre-periodo Il grafico ha una ampiezza dipendente dal riferimento Il alcuni casi la media e la DS sono «mobili» Verificate il comportamento del vostro software

157 GRAFICI DI SHEWHART Il grafico di Shewhart consente di identificare rapidamente i comportamenti «sospetti» e cioè molto differenti rispetto all esperienza storica Es. La probabilità di ottenere un risultato oltre la terza DS è pari allo 0,3% dei casi 4

158 RISULTATO OLTRE 3DS

159 REGOLA 1 3S I risultati oltre 3s sono altamente improbabili (3 su mille) Nel gergo cd QC l occorrenza di 1 risultato oltre 3s viene definito 1 3s Regola di validazione del QC: I risultati oltre 3s indicano una situazione fortemente sospetta che deve essere indagata Westgard JO, Groth T, Aronsson T, Falk H, deverdier C-H. Performance characteristics of rules for internal quality control: probabilities for false rejection and error detection. Clin Chem 1977;23:

160 REGOLA 1 3S La regola 1 3s è molto specifica ma poco sensibile Rileva errori macroscopici di accuratezza (calibrazione non valida, reagente deteriorato etc) che comportano uno spostamento elevato della misura Può rilevare errori dovuti alla perdita di precisione solo se questa è molto rilevante.

161 RISULTATO OLTRE 2DS

162 REGOLA 1 2S I risultati oltre 2s sono poco probabili (circa 1 su 20) Non rarissimi! Nel gergo cd QC l occorrenza di 1 risultato oltre 2s viene definito 1 2s La regola 1 2s è poco specifica ma molto sensibile Se applicata la regola produrra un elevato numero di interventi non necessari Non utilizzarla per rigettare la seduta analitica ma di utilizzarla come «avviso»

163 2 RISULTATI OLTRE 2DS

164 REGOLA 2 2S I risultati oltre 2s sono poco probabili (circa 1 su 20) 2 risultati di seguito oltre 2s sono estremamente improbabili Nel gergo cd QC l occorrenza di 2 risultato oltre 2s viene definito 2 2s La regola 2 2s è specifica e sensibile richiede 2 controlli per rilevare il problema

165 REGOLA 2 2S La regola rileva la perdita di accuratezza (Es. calibrazione non più valida, problemi con il calibrarore, bianco reagente non valido etc) Può essere utilizzata con i controlli a livello singolo confrontando due sedute analitiche Può essere utilizzata con maggiore efficacia con i controlli multilivello

166 REGOLA 2 2S Livello 1 +2s Livello 2 +2s

167 SALTO DI 4DS (-)

168 SALTO DI 4DS (+)

169 REGOLA R 4S La regola rileva la perdita di precisione Es. guasto strumentale Può attivarsi anche per la perdita di linearità Es. reagente deteriorato Può essere utilizzata con i controlli a livello singolo confrontando due sedute analitiche Può essere utilizzata con maggiore efficacia con i controlli multilivello

170 REGOLA R 4S Livello 1 + 2s Livello 2-2s

171 DEVIAZIONE PERSISTENTE 4 OLTRE 1DS

172 REGOLA 4 1S La regola rileva la perdita di accuratezza Es. calibratore deteriorato Può attivarsi anche per la perdita di linearità Es. reagente deteriorato Può essere utilizzata con i controlli a livello singolo confrontando quattro risultati Può essere utilizzata con maggiore efficacia con i controlli multilivello

173 DEVIAZIONE PERSISTENTE

174 REGOLA 10 X La regola rileva la perdita di accuratezza Es. calibratore deteriorato Può attivarsi anche per la perdita di linearità Es. reagente deteriorato Può essere utilizzata con i controlli a livello singolo confrontando 10 risultati Può essere utilizzata con maggiore efficacia con i controlli multilivello

175 DEVIAZIONE NON COSTANTE

176 REGOLA 2di3 2S La regola rileva la perdita di precisione Può essere utilizzata con i controlli a livello singolo confrontando due risultati di tre esecuzioni successive Può essere utilizzata con maggiore efficacia con i controlli su tre livelli

177 TREND NEGATIVO

178 REGOLA 7T La regola rileva la deriva di una calibrazione a causa di un costante deterioramento Per numeri inferiori a 7 può dare un elevato tasso di falsi positivi I trend possono essere difficili da rilevare con sensibilità e specificità a causa della imprecisione del metodo che spesso è confrontabile con questi fenomeni

179 AVVISAMI QUANDO C E QUALCOSA CHE NON VA LO SCOPO DEL CQI (RELOADED)

180 C E QUALCOSA CHE NON VA LO SCOPO DEL CQI (RELOADED)

181 «RIMANDO IL CONTROLLO?» Ottenere un risultato accettabile non cancella il precedente Alla violazione di una regola la refertazione deve essere sospesa fino a risoluzione Il re-run dei controlli può essere utile per stabilire la tipologia di problema

182 «RICALIBRO?» Il controllo di qualità dopo una calibrazione «riparatrice» potrebbe essere accettabile «per caso» Calibrare uno strumento con problemi di imprecisione può peggiorare le cose Gli esiti di una nuova calibrazione debbono essere attentamente valutati (storico)

183 «ACCENDI L ARIA CONDIZONATA E VEDRAI CHE ANDRÀ BENE» L efficacia di un intervento correttivo deve essere attentamente valutata Nessun problema si risolve da solo Può essere utile avere un mezzo di controllo indipendente su più livelli (campioni del giorno prima?)

184 DOV È IL PROBLEMA INACCURATEZZA IMPRECISIONE

185 INACCURATEZZA Un aumento del bias può essere dovuto a: Calibrazione vecchia Calibratore deteriorato Sottrazione del bianco non corretta Reagenti deteriorati Perdita di linearità della metodica Malfunzionamento costante Termostatazione non corretta

186 IMPRECISIONE Un aumento del CV può essere dovuto a: Reagenti o campioni non omogenei Liquido di sistema non omogeneo Malfunzionamento del diluitore Posizioni di lettura usurate Malfunzionamento del sistema di lettura

187 QUALCHE DOMANDA C è un solo CQI che viola le regole? Sono apparse condizioni di avviso per un altro reagente? Metodiche simili sono performanti in maniera analoga? Stamattina Mario toccato qualcosa? Cambio calibratore, controllo, reagente, consumabile Ripetendo il controllo si ottiene un CV adeguato? Inaccuratezza o imprecisione? E i pazienti analizzati finora?

188 VERIFICARE, ANCORA E ANCORA La bontà dei risultati ripetuti deve essere valutata statisticamente 60% ripetizioni entro 1 CV 95% ripetizioni entro 2 CV La distribuzione dei risultati deve essere compatibile con lo storico e il riferimento I risultati debbono essere compatibili con le condizioni cliniche

189 TIPOLOGIE DI REGOLE Regole per intercettare l imprecisione 1 2,5S, 1 3S, R 4S, 2di3 2S,, 3di9 2S Regole per intercettare l inaccuratezza 2 2S, 4 1S, 10 x, 7 T

190 QUALE SET DI REGOLE? E possibile stimare l efficacia di un set di regole in maniera quantitativa. Alcuni suggerimenti: Controllo a uno o due livelli: 1 3s, 2 2s, R 4s, 4 1s,10 x Controllo a tre livelli: 1 3s, 2di3 2s, R 4s, 3 1s, 9 x Westgard JO et al. Performance characteristics of rules for internal quality control: Probabilities for false rejection and error detection. Clin Chem 1977;23:

191 CQ CQI OK NO NO NO NO NO NO 1 3S 2su3 2S 10 x R 4S 4 1S 7 T SI SI SI SI SI Ripeti CQI Apri NC per instabilità reagente. Rivaluta frequenza calibrazione. Deviazioni tutte dello stesso segno? NO Ripeti CQI 1 2S SI NO Risultati non validi. Apri NC. Contatta responsabile SI SI 2 1S NO Ricalibra. Ripeti CQI due volte. Ripeti i campioni quando il CQI è OK. Risultati non validi Metodica imprecisa. Dosa i campioni urgenti in triplo. Campioni OK se ripetizioni entro 1CV. Apri NC. Contatta responsabile

192 RIVALUTARE LE PERFORMACE Le performance analitiche debbono essere periodicamente rivalutate sulla base degli obbiettivi analitici prefissati Il CV è entro i limiti previsti? Il BIAS rispetto è entro i limiti previsti L errore totale è entro i limiti previsti? Le performance possono essere erroneamente influenzate da CQ inaccettabili per i quali è stata efficacemente posta una azione correttiva

193 I risultati del CQI andrebbero esclusi dalla statistica solo se: non rappresentano i risultati dei pazienti (nessun campione è stato refertato in quelle condizioni) sono relativi ad eventi straordinari e non ripetibili (Es. guasto del diluitore dello strumento) «LO CANCELLO?»

194 COSA FARE Definire i traguardi di qualità Pianificare il QC Standardizzare il QC Stabilire le regole Assegnare le responsabilità Utilizzare regole che minimizzino i falsi allarmi Utilizzare procedure che prevengano l errore clinico Utilizzare i propri dati per definire l accettabilità Utilizzare procedure informatizzate Interrompere la refertazione in presenza di violazioni delle regole, risolvere il problema Annotare OGNI intervento Ricavare le statistiche per i pazienti

195 COSA NON FARE Non usare regole poco specifiche (Es. 1 2s ) Non ignorare le violazioni Non risolvere il problema ripetendo il controllo Non utilizzare i limiti del produttore Non utilizzare risultati privi di controllo valido Non fidarsi ciecamente del software dello strumento Non abbandonarsi a soluzioni banali in assenza di una analisi del problema

196 Governance Validazione Organizzazione Metodica Test Paziente

197

198 IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE Modulo 2 Teoria e pratica del controllo di qualità esterno Dott. Gianluca Monti, phd

199 ALMENO IL 70% DELLE DECISIONI DIAGNOSTICHE SONO INFLUENZATE DA TEST DI LABORATORIO.

200 QUAL È IL VALORE?? 5

201 IL CQI Analisi statistica dei risultati ottenuti da uno stesso sistema analitico Valuta le performance del vostro sistema nel tempo Performance buona Sistema preciso Sistema stabile Buona corrispondenza con il riferimento

202 VEQ Analisi statistica dei risultati ottenuti da sistemi «simili» su un campione «stabili» Valuta la comparabilità del vostro sistema con altri Performance buona Sistema preciso Sistema indipendente dal contesto Buona confrontabilità dei risultati

203 VALUTAZIONE ESTERNA DI QUALITÀ Valutazione delle performance di parte terza Identificazione dei problemi metodologici Identificazione dei problemi di standard Stabilire la comparabilità dei risultati Valutazione metodologica Proficiency testing

204 COME FUNZIONA? Invio di campioni con cadenza regolare (mensile) I partecipanti eseguono i dosaggi nel contesto analitico dei pazienti Invio dei risultati e delle informazioni metodologiche Confronto dei risultati del laboratorio con quelli di altri laboratori che usano stesso metodo/stesso sistema/tutti

205 COME FUNZIONA? (2) Valutazione statistica della inaccuratezza e della imprecisione dei singoli laboratori Valutazione statistica della inaccuratezza e della imprecisione delle metodiche Invio dei report ai partecipanti con i riepiloghi delle performace per ogni gruppo

206

207 CON CHI MI CONFRONTO Gli erogatori di programmi VEQ raccolgono informazioni sui vostri sistemi analitici e metodologici In caso di numero sufficiente di risultati validi sarete confrontati con chi ha il vostro stesso sistema (analizzatore/reagente) In caso di statistiche ridotte la vostra performance sarà valutata per omogeneità di metodo Se il numero è ancora troppo ridotto sarete confrontati con tutti i metodi Valutate sempre i vostri sistemi/metodi in riferimento agli altri, anche attraverso gli istogrammi

208 PERCHÉ PARTECIPARE (1) Fornisce un mezzo per migliorare la qualità globale Identifica le problematiche tecnico/metodologiche Può rappresentare una leva sulle amministrazioni Migliora la confidenza sui risultati Migliora l immagine del laboratorio E un obbligo di legge (?)

209 PERCHÉ PARTECIPARE (2) Fornisce campioni di controllo stabili e dosati che possono essere utilizzati come controlli indipendenti Fornisce dati quantitativi e quantitativi sugli strumenti attualmente sul mercato (tendenze metodologiche) Aggiornamento sullo stato dell arte Nei grandi laboratori può verificare la performance di linee analitiche multiple

210 PERCHÉ PARTECIPARE (3) I dati statistici di validazione possono essere utilizzati per rivalutare gli obbiettivi di performance del CQI Responsabilizza il personale (attenzione alle tentazioni) I campioni debbono essere trattati come quelli dei pazienti A quando una VEQ in provetta?

211 PUNTI DA FOCALIZZARE (1) I fattori che influenzano le performance possono non essere dovuti al laboratorio Non sempre le indicazioni fornite sono tradotte in un reale miglioramento per il laboratorio Relativamente costoso, soprattutto se esteso a molti pannelli Costo di iscrizione Costo di dosaggio

212 PUNTI DA FOCALIZZARE (2) Le statistiche richiedono grandi numeri. Per il glucosio è semplice ma per l androstenedione? Nonostante l impegno dei fornitori i report risultano di difficile lettura (SDI RMSDI %DEV RM %DEV Target IP Range FLAG LA ABR REF MISA) e spesso si guarda solo alle flag in formato grafico (triangoli, mine, stelle ) Le procedure di invio dei risultati sono spesso poco pratiche da utilizzare (Mario si è distratto)

213 PUNTI DA FOCALIZZARE (3) E necessario elaborare protocolli interni per la valutazione dei risultati e le relative azioni correttive Per alcuni parametri la standardizzazione delle metodologie è praticamente inesistente (Es. PTH). «Vince la maggioranza» ATTENZIONE -> Non sostituisce il CQI, lo integra

214 ISO 15189:2007

215 ISO 15189:2007

216

217 RIFERIMENTI ISO13528: Statistical Methods for Use in Proficiency Testing by Inter-laboratory Comparisons IUPAC: International Harmonised Protocol for the Proficiency Testing of Analytical Chemistry Laboratories;

218 OPERATORI CERTIFICATI RIQAS Bio-Rad WEQAS LGC Labquality (36 programmi) RCPA QAP (Solo alcuni programmi) NRL EQAS (solo sierologia) API

219 ISO Design statistico del programma Valori di riferimento utili allo scopo della valutazione Intervalli di valutazione utili allo scopo della valutazione Valutazione della stabilità del campione Qualità del campione Matrice Concentrazioni

220 ISO Comunicazione con i partecipanti Chiarezza nelle scadenze Chiarezza nei criteri di elaborazione > Documentazione Chiarezza nei report Fornitori esterni Etica del programma

221 CARATTERISTICHE DEI CAMPIONI Omogeneità e stabilità Tutti i partecipanti dovrebbero ricevere campioni «identici» Stabilità Omogeneità

222 IL VALORE DI RIFERIMENTO Adeguata allo scopo: confrontabilità dei risultati Stabilita sulla base di un principio di «consenso» Errori grossolani («Mario ha analizzato il 3 al posto del 4») Outlier statistici: occasionali deviazioni di grossa entità Calcolo della media di riferimento con sistemi statistici robusti

223 STATISTICA ROBUSTA La statistica classica fa delle assunzioni difficili da soddisfare nella realtà errore non gaussiano Presenza di più mode Distribuzioni anomale Statistica robusta Scartare gli outliers Ricalcolare la statistica e rivalutare Stabilire il valore consenso Stabilire l incertezza della media consenso

224 «CONSENSO» Alcuni dosaggi, per via delle intriseche caratteristiche, sono soggetti a distribuzioni «esotiche» I fornitore del programma VEQ deve fornirvi informazioni qualitative e quantitative Metodologia di selezione Numero di outliers Errore statistico nel calcolo del valore consenso Istogramma di tutti i risultati

225 «CONSENSO» Per stabilire un valore consenso è necessario un numero minimo di partecipanti I programmi «diffusi» sono avvantaggiati In ogni caso saranno calcolati valori consenso Per lo stesso sistema/metodica Per la stessa metodica Per tutti i metodi

226 OBBIETTIVI DI QUALITÀ Il fornitore della VEQ stabilisce degli obbiettivi di qualità sulla base delle performances desiderabili Variabilità biologica Stato dell arte Significato clinico

227 INDICATORI DI PERFORMANCE Deviazione (%) Rappresenta la deviazione rispetto alla media consenso E l equivalente del BIAS nel CQI Può essere riportata in grafico in funzione del tempo o della concentrazione

228 BIAS VS CONCENTRAZIONE

229 BIAS VS TEMPO

230 LA DEVIAZIONE STANDARD Supponendo una distribuzione di tipo gaussiano è il principale indice statistico per valutare la dispersione dei risultati Valutando la DS del vostro gruppo di riferimento, a meno di problemi di stabilità, è possibile valutare la precisione del vostro gruppo di appartenenza Consente di ricavare gli intervalli di accettabilità dei singoli risultati

231 DEVIAZIONE STANDARD Target Standard deviation for performance assessment Rappresenta la DS desiderabile o raccomandata Rilevata Rappresenta la DS effettivamente misurata nella statistica di consenso Include la variabilità di misura e quella del campione Può non essere soddisfatta dallo stato dell arte

232 INDICATORI DI PERFORMANCE IDS Rappresenta il vostro scostamento dalla media consenso rapportato alla deviazione standard del gruppo consenso Utile perché può essere riportato in un grafico di lettura simile a quello di Shewhart utilizzato per il CQI

233 IDS Si riporta in grafico la IDS di ogni campione I punti nella zona ± 1 IDS sono «frequenti» e cioè ottenuti da circa il 68% dei partecipanti I punti entro ± 1-2 IDS sono meno «frequenti» e cioè ottenuti da circa il 27% dei partecipanti Al crescere della IDS i risultati non sempre meno probabili (3 IDS < 5 %, 4 IDS < 0,3%)

234 PERFORMANCE INDEX/SCORE Un «voto» calcolato sulla base della performace desiderabile Un sistema di scoring adeguato è un compromesso tra sensibilità e specificità Il fornitore rapporta la vostra deviazione (IDS) con una deviazione standard «desiderabile» assegnata ad ogni analita Utile obbiettivo per il miglioramento della qualità su indicazione di parte terza

235 INSEGNAMENTI DAL PASSATO

236 PERCHÉ PARTECIPARE (4) Nel 1974, ventinove anni dopo la fine della guerra, una notizia sensazionale fece il giro del mondo. A 54 anni suonati, l'ultimo difensore nipponico delle Filippine decise di deporre le armi. Si trattava del tenente di fanteria Hiroo Onoda.

237 PERCHÉ PARTECIPARE (4) Il soldato, ormai ridotto a vivere nella giungla come un animale e a nutrirsi di bacche e di serpenti, decise di consegnarsi ad una pattuglia della polizia incrociata ai limiti della foresta. Il soldato risultava ancora in possesso del suo fucile d'ordinanza con baionetta, di alcuni caricatori e di una decina di bombe a mano arrugginite.

238 NON SIATE COME HIROO Io ho i «miei» valori di riferimento Hiroo Onoda