RING TEST NAZIONALE PER LA RICERCA DI ANTICORPI NEI CONFRONTI DEL VIRUS DELLA MALATTIA DI AUJESZKY MEDIANTE TECNICA ELISA Anno 2014/2015 REPORT FINALE CRMA Centro di Referenza Nazionale della Malattia di Aujeszky-Pseudorabbia IZSLER, - Brescia Responsabile dott.ssa Ana Moreno Tel. 0039 030 2290361 e-mail anamaria.morenomartin@izsler.it
Premessa Con il DM 8.5.02 il Ministero della Sanità conferisce all Istituto Zooprofilattico Sperimentale della Lombardia e dell Emilia Romagna (IZSLER), sede centrale di Brescia, la funzione di Centro di Referenza Nazionale (CNR) per la Malattia di Aujeszky Pseudorabbia. La Decisione della Commissione 93/244/CEE (poi abrogata e sostituita dalla Decisione della Commissione 2001/618/CE) affida all Istituto anche il compito di valutare sistemi diagnostici (Kit ELISA ge) utilizzati in Italia per gli animali oggetto di scambi intercomunitari. I compiti istituzionali del CNR per la Malattia di Aujeszky sono quelli definiti nel DM 4.10.99, art. 2; tra questi compiti vi è anche quello di organizzare circuiti interlaboratorio, o ring test, a livello nazionale. La partecipazione al circuito interlaboratorio e l adozione di eventuali misure correttive, qualora emergano criticità, consente ai laboratori di mantenersi coerenti con gli standard qualitativi richiesti. A diversi laboratori che hanno aderito al Ring Test 2014/2015, è stato inviato un identico pannello di 20 sieri; i dati ottenuti dai singoli laboratori sono stati trasmessi alla Sorveglianza Epidemiologica Lombardia che ha provveduto ad aggregarli ed analizzarli. Partecipanti In totale hanno aderito al Ring Test 20 laboratori dislocati su tutto il territorio nazionale (Tab.1 ), ad ognuno dei quali è stato assegnato un numero identificativo casuale da 1 a 20. Tab.1: Elenco dei laboratori che hanno aderito al Ring Test 2014/2015 IZS Piemonte, Liguria, Valle d Aosta Sede centrale di Torino - S.C. virologia Sezione di Mantova IZS Lombardia, Emilia Romagna Sezione di Lodi Sezione di Cremona Sede centrale di Padova - S.C. 7 diagnostica virologica e sierologica Sezione di Treviso IZS Venezie Sezione di Udine Sezione di Verona IZS Lazio, Toscana Sede centrale di Roma - D.O. malattie virali e leptospirosi Sede centrale di Perugia IZS Umbria, Marche Sezione di Fermo IZS Abruzzo, Molise Sede centrale di Teramo - Laboratorio di Sierologia IZS Mezzogiorno Sede centrale di Portici, U.O.S. Diagnostica Virologica 2
IZS Puglia, Basilicata IZS Sicilia IZS Sardegna Sezione di Catanzaro - Lab. sierologia Sede centrale di Foggia U.O. Virologia Sede centrale di Palermo Laboratorio diagnostica Virologica Sezione di Cagliari- Lab. sierologia Sede centrale di Sassari Lab. malattie esotiche Sezione di Oristano Sezione di Nuoro Lab di virologia diagnostica Riservatezza Il CRMA è impegnato a trattare i dati in forma confidenziale e riservata. I dati una volta aggregati potranno essere messi a disposizione del Ministero della Salute, dei Servizi Veterinari Regionali o di altri Uffici di Istituzioni competenti. Sieri utilizzati per il Ring Test della Malattia di Aujeszky 2014/2015 e risultati attesi Il pannello dei campioni distribuiti è costituito da 20 sieri di suino identificati con numeri progressivi da 1 a 20. Di seguito viene riportata la descrizione dei singoli sieri e in tabella 2 vengono riportati i risultati attesi. Descrizione dei sieri utilizzati nel pannello Sieri dal n. 1 al n. 3: sieri ottenuti da suini SPF vaccinati una volta con vaccino inattivato ge-deleto del commercio, prelevati 60 giorni post-vaccinazione. Sieri dal n. 4 al n. 6: sieri ottenuti da suini SPF vaccinati per tre volte con vaccino inattivato gedeleto del commercio, prelevati 30 giorni dopo la terza vaccinazione. Siero n. 7: siero ottenuto da suini SPF vaccinati per via IM con vaccino inattivato ge-deleto del commercio e successivamente infettati sperimentalmente per via endonasale con 10 6.6 TCDI50 del ceppo ADV75D19. Prelievo eseguito 9 giorni post infezione. Sieri dal n. 8 al n. 9: sieri ottenuti da suini SPF vaccinati per via IM con vaccino inattivato gedeleto del commercio e successivamente infettati sperimentalmente per via endonasale con 10 6.6 TCDI50 del ceppo ADV75D19. Prelievo eseguito 11 giorni post infezione. Siero n. 10: siero da suini SPF infettati per via endonasale con 10 6.6 TCDI50 del ceppo ADV7519 e prelevato 13 giorni post infezione. 3
Siero n. 11: siero ottenuto da suini SPF infettati per via endonasale con 10 6.5 TCDI50 del ceppo vaccinale Bucarest, prelevato 10 giorni post infezione. Sieri dal n. 12 al n. 16: sieri ottenuti da suini SPF infettati per via endonasale con 10 6.6 TCDI50 del ceppo ADV7519. Prelievo eseguito 19 giorni post infezione. Sieri dal n. 17 al n. 20: sieri negativi ottenuti da suini SPF Risultati attesi Tab.2: Sieri utilizzati nel pannello e risultato atteso in ELISA ge e gb Identificazione siero ELISA ge ELISA gb 1 NEG POS 2 NEG POS 3 NEG POS 4 NEG POS 5 NEG POS 6 NEG POS 7 POS POS 8 POS POS 9 POS POS 10 POS POS 11 POS POS 12 POS POS 13 POS POS 14 POS POS 15 POS POS 16 POS POS 17 NEG NEG 18 NEG NEG 19 NEG NEG 20 NEG NEG Kit ELISA utilizzati dai laboratori partecipanti Sono stati utilizzati diversi kit ELISA e/o diversi lotti dello stesso kit. Nello specifico, per quanto riguarda i diversi kit sono stati utilizzati: 4
- PRV ge, kit IZSLER Brescia (3 laboratori); - ID Screen Aujeszky anti-ge competition ID VET (4 laboratori); - Herdcheck anti-prv gpi Antibody Test Kit, IDEXX (14 laboratori); - PRV gb, kit IZSLER Brescia (3 laboratori); - ID Screen Aujeszky anti-gb competition ID VET (2 laboratorio); - Herdcheck PRV gb Antibody Test Kit, IDEXX (7 laboratori); - LSIVet Porcine Aujeszky gb Serum ELISA Kit (1 laboratorio). Risultati In base ai valori di cut-off indicati dalle diverse ditte produttrici, i risultati ottenuti dai laboratori partecipanti, sono stati espressi in senso qualitativo, ovvero come Positivo, Negativo e, se previsto, Dubbio (Tab. 3; 4). Tutti i 20 laboratori hanno eseguito il test Elisa ge, mentre 13 di questi hanno eseguito anche il test Elisa gb. Il totale di campioni a disposizione era di 20 unità. Nelle tabella 4 non vengono riportati i laboratori che non hanno eseguito il test ELISA gb, rispettivamente. 5
Tab.3: Risultati relativi al test ELISA ge suddivisi per laboratorio LABORATORIO SIERO STATUS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 1 NEG N N N N N N N N N N N N N N N N N N N N 2 NEG N N N N N N N N N N N N N N N N N N N N 3 NEG N N N N N N N N N N N N N N N N N N N N 4 NEG N N N N N N N N N N N N N N N N N N N N 5 NEG N N N N N N N N N N N N N N N N N N N N 6 NEG N N N N N N N N N N N N N N N N N N N N 7 POS P P P P P P P P P P P P D D D P P D P P 8 POS P P P P P P P P P P P P P P P P P P P P 9 POS P P P P P P P P P P P P P P P P P P P P 10 POS P P P P P P P P P P P P P P D P P P P P 11 POS P P P P P P P P P P P P P P D P P N P P 12 POS P P P P P P P P P P P P P P P P P P P P 13 POS P P P P P P P P P P P P P P P P P P P P 14 POS P P P P P P P P P P P P P P P P P P P P 15 POS P P P P NE P P P P P P P P P P P P P P P 16 POS P P P P NE P P P P P P P P P P P P P P P 17 NEG N N N N N N N N N N N N N N N N N N N N 18 NEG N N N N N N N N N N N N N N N N N N N N 19 NEG N N N N N N N N N N N N N N N N N N N N 20 NEG N N N N N N N N N N N N N N N N N N N N KIT 3 3 3 3 3 3 3 3 3 3 2+3 2 2 3 2 3 3 1 1 1 LEGENDA KIT: 1: PRV ge, kit IZSLER Brescia; 2: ID Screen Aujeszky anti-ge competition ID VET; 3: Herdcheck anti-prv gpi Antibody Test Kit, IDEXX. NE: non eseguito 6
Tab.4: Risultati relativi al test ELISA gb suddivisi per laboratorio SIERO STATUS LABORATORIO 1 7 8 9 11 12 13 14 15 16 17 19 20 1 POS P P P P P P P P 32 P P 16 64 2 POS P P P P P P P P 128 P P 64 64 3 POS P P P P P P P P 32 P P 16 16 4 POS P P P P P P P P 256 P P 256 256 5 POS P P P P P P P P 256 P P 256 256 6 POS P P P P P P P P 256 P P 256 256 7 POS P P P P P P P P 256 P P 256 256 8 POS P P P P P P P P 256 P P 256 256 9 POS P P P P P P P P 256 P P 256 256 10 POS P P P P P P P P 256 P P 256 256 11 POS P P P P P P P P 256 P P 256 256 12 POS P P P P P P P P 256 P P 256 256 13 POS P P P P P P P P 256 P P 256 256 14 POS P P P P P P P P 256 P P 256 256 15 POS P P P P P P P P 256 P P 256 256 16 POS P P P P P P P P 256 P P 256 256 17 NEG N N N N N N N N N P N N N 18 NEG N N N N N N N N N N N N N 19 NEG N N N N N N N N N N N N N 20 NEG N N NE N N N N N N N N N N KIT 4 3 3 3 3 3 3 3 1 2 2 1 1 LEGENDA KIT: 1:PRV gb, kit IZSLER Brescia; 2: ID Screen Aujeszky anti-gb competition ID VET; 3: Herdcheck PRV gb Antibody Test Kit, IDEXX; 4: LSIVet Porcine Aujeszky gb Serum ELISA Kit NE: non eseguito 7
Analisi statistica ISTITUTO ZOOPROFILATTICO SPERIMENTALE DELLA LOMBARDIA E Il report è pensato per dare ai partecipanti la possibilità di confrontare i propri risultati con quelli degli altri laboratori. Il grado di concordanza tra laboratori è stato valutato mediante l indice kappa di concordanza per ciascuno dei due test effettuati, ricerca di anticorpi gb e ricerca di anticorpi ge per l intero gruppo di laboratori e per ciascuna categoria di assegnazione. Indice K di Fleiss per la concordanza tra i diversi laboratori Ciascun laboratorio ha espresso per i diversi campioni un esito Positivo, Negativo oppure Dubbio. Ciò è stato ottenuto in seguito alla discretizzazione di valori continui sulla base di cut-off assegnati. Nei casi in cui il campione sia risultato Dubbio, tale valutazione è stata considerata come conforme al risultato atteso; in questo modo ciascun campione esaminato ha ottenuto un valore su scala binaria (Positivo/Negativo). L indice K di Fleiss è una misura proposta da J.L. Fleiss (1971) [1] con lo scopo di valutare la concordanza fra gli esiti proposti (campione Positivo/Negativo) da diversi esaminatori (laboratori). In tal caso non si valuta la conformità dei risultati ottenuti da ciascun laboratorio con i valori ottenuti dal laboratorio di riferimento, ma la concordanza nei risultati dei diversi laboratori. Elisa ge L indice K di Fleiss è stato calcolato sui 18 campioni testati da tutti i 20 laboratori. Due campioni non sono stati testati da un laboratorio, quindi sono stati esclusi dall analisi. Il valore per la K di Fleiss è risultato uguale a 0.989 [2][3], indicando una concordanza tra i laboratori pressoché perfetta [4]. L ipotesi nulla che tale valore sia uguale a 0 (non concordanza) ha restituito un p-value <0.001, indicando che il valore della K di Fleiss ottenuto sia significativamente diverso da 0. Elisa gb Il valore della K di Fleiss è stato calcolato su 13 laboratori che hanno testato 19 campioni. Un campione non è stato analizzato da un laboratorio, pertanto non è stato possibile includerlo nel calcolo. 8
Il valore riscontrato per la K di Fleiss è stato di 0.969 [2][3], indicando una concordanza ottima tra i laboratori [4]. L ipotesi nulla che tale valore sia uguale a 0 ha riportato un p-value <0.001, portando al rifiuto di tale ipotesi. Conformità di ciascun laboratorio con i risultati attesi L indice K di Cohen rappresenta una semplificazione dell indice K di Fleiss, in cui il confronto avviene fra soli due laboratori per volta [5]. I risultati di ciascun laboratorio sono confrontati con i valori attesi (laboratorio di riferimento). In tal modo è possibile calcolare un valore di K per ciascun laboratorio in modo da valutare la concordanza tra i risultati di quel laboratorio e quelli del laboratorio di riferimento. Per ottenere una valutazione complessiva del circuito inter-laboratorio è stato possibile calcolare un indice K di Cohen per confrontare i valori ottenuti da tutti i laboratori con i risultati attesi per ciascun campione. Il raggruppamento di tutti i risultati ottenuti dai diversi laboratori in un unico insieme è stato possibile solo in seguito alla conferma dell ipotesi di non-eterogeneità tra i laboratori partecipanti. Da un punto di vista statistico, tale non-eterogeneità può essere verificata tramite un test Χ 2 per l omogeneità (o un test esatto di Fisher nel caso di basse frequenze), che verifica che le frequenze di Positivi/Negativi non siano troppo dissimili nei diversi laboratori al fine di poter raggruppare tutte le osservazioni [6]. Elisa ge Il valore della K di Cohen per il confronto tra ciascun laboratorio e quello di riferimento è restituito nella tabella seguente (Tab.5). 9
Tab.5: Valore della K di Cohen tra ciascun laboratorio e quello di riferimento Laboratorio Numero Campioni Analizzati K di Cohen 95% Confidence Interval Accuratezza 1 20 1.00 20/20 2 20 1.00 20/20 3 20 1.00 20/20 4 20 1.00 20/20 5 18 1.00 18/18 6 20 1.00 20/20 7 20 1.00 20/20 8 20 1.00 20/20 9 20 1.00 20/20 10 20 1.00 20/20 11 20 1.00 20/20 12 20 1.00 20/20 13 20 1.00 20/20 14 20 1.00 20/20 15 20 1.00 20/20 16 20 1.00 20/20 17 20 1.00 20/20 18 20 0.90 0.71; 1.00 19/20 19 20 1.00 20/20 20 20 1.00 20/20 Solo un laboratorio (18) non individua correttamente tutti i campioni analizzati: in tal caso l indice della K di Cohen risulta comunque pari a 0.9 (Lowest C.I.=0.71) indicando un accordo quasi perfetto con il laboratorio di riferimento. Per tutti gli altri laboratori l indice per la K di Cohen risulta pari a 1: tutti i campioni sono correttamente riconosciuti. I 20 laboratori che hanno eseguito il test Elisa ge risultano omogenei tra di loro (p-value per il test Χ 2 uguale a 1). È quindi possibile confrontare il totale dei risultati di tutti i laboratori con i valori attesi dato che non esistono evidenti differenze nei risultati dei diversi laboratori (Tab.6). 10
Tab.6: Confronto del totale dei risultati di tutti i laboratori con i valori attesi Elisa ge Numero Campioni Analizzati K di Cohen 95% Confidence Interval Accuratezza Totale 398 0.995 0.985; 1.00 397/398 Test Omogeneità Χ 2 P-value > 0.05 Il calcolo dell indice K di Cohen per quanto riguarda i risultati complessivi restituisce un valore pari a 0.995 (95% C.I. = 0.985-1.00) indicando perfetto accordo tra i risultati di tutti i laboratori e quelli attesi. Elisa gb Per ciascun laboratorio il valore della K di Cohen per il confronto con il laboratorio di riferimento è riportato nella tabella seguente (Tab.7). Tab.7: Valore della K di Cohen tra ciascun laboratorio e quello di riferimento Laboratorio Numero Campioni Analizzati K di Cohen 95% Confidence Interval Accuratezza 1 20 1.00 20/20 7 20 1.00 20/20 8 19 1.00 19/19 9 20 1.00 20/20 11 20 1.00 20/20 12 20 1.00 20/20 13 20 1.00 20/20 14 20 1.00 20/20 15 20 1.00 20/20 16 20 0.83 0.51; 1.00 19/20 17 20 1.00 20/20 19 20 1.00 20/20 20 20 1.00 20/20 11
Solo un laboratorio (16) non individua correttamente tutti i campioni analizzati: in tal caso l indice della K di Cohen risulta pari a 0.83(Lowest C.I. 0.5) indicando comunque un accordo quasi perfetto con il laboratorio di riferimento. Per tutti gli altri laboratori l indice per la K di Cohen risulta pari a 1 poiché tutti i campioni sono correttamente riconosciuti. I 13 laboratori che hanno eseguito il test Elisa gb risultano omogenei tra di loro (p-value per il test esatto di Fisher uguale a 1). I laboratori non producono risultati significativamente diversi tra di loro, quindi è possibile eseguire un confronto complessivo tra i dati di tutti i laboratori e i risultati attesi (Tab.8). Tab.8: Confronto del totale dei risultati di tutti i laboratori con i valori attesi Elisa gb Numero Campioni Analizzati K di Cohen 95% Confidence Interval Accuratezza Totale 259 0.987 0.964; 1.00 258/259 Test Esatto di Fisher P-value > 0.05 L indice K di Cohen per i risultati complessivi di tutti i laboratori restituisce un valore pari a 0.987 (95% C.I. = 0.964-1.00) indicando perfetto accordo tra i risultati di tutti i laboratori e quelli attesi. Per l'interpretazione dei valori di K si fa riferimento alla seguente tabella di Landis and Koch [4] : Indice K Concordanza tra risultati <0.20 Scarsa/nessuna 0-20-0.40 Debole 0.40-0.60 Moderata 0.60-0.80 Buona 0.80-1.00 Ottima 12
Conclusioni ISTITUTO ZOOPROFILATTICO SPERIMENTALE DELLA LOMBARDIA E I risultati ottenuti da tutti i laboratori per la ricerca di anticorpi nei confronti sia del ge sia del gb possono ritenersi ampiamente soddisfacenti. Infatti, sono state evidenziate discordanze solo in un siero per un laboratorio per il ge e in un siero per un laboratorio per il gb. Si sottolinea inoltre che il campione discordante per il ge era un siero debolmente positivo e quindi identificato come dubbio anche da un altro laboratorio. Due laboratori hanno ricevuto un pannello con uno e due sieri, rispettivamente, con quantità insufficiente, pertanto, non hanno potuto analizzare la totalità dei sieri. Per evitare ulteriori disguidi in futuri ring test sarà nostra cura fornire un modulo di ricezione dei campioni, in cui indicare eventuali anomalie sia del numero di campioni sia dello stato, da restituire al centro di referenza non appena ricevuto il pannello. In questo modo sarà possibile reintegrare per tempo i campioni richiesti mediante nuovo invio di aliquote degli stessi. I risultati del ring test evidenziano infine le buone capacità diagnostiche di tutti i laboratori partecipanti per la diagnosi sierologica verso la glicoproteine gb e ge del virus della malattia di Aujeszky. Bibliografia [1] Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76. [2] R Core Team (2015). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. [3] Matthias Gamer, Jim Lemon and Ian Fellows Puspendra Singh (2012). irr: Various Coefficients of Interrater Reliability and Agreement. R package version 0.84. [4] Landis J, Koch G (1977) The measurement of observer agreement for categorical data. Biometrics 33(1):159-74. [5] Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. [6] Agresti, A. (2007) An Introduction to Categorical Data Analysis, 2nd ed., New York: John Wiley & Sons. 13