Progetto sperimentale Ecce per la formazione a distanza del medico

bollettino d informazione sui farmaci 13 Progetto sperimentale Ecce per la formazione a distanza del medico Dal 1 marzo 2005 è disponibile on line (http://aifa.ecce.minsa.it) per tutti i medici italiani, il progetto di formazione a distanza Ecce (Educazione continua Clinical Evidence) sperimentale e gratuito. Disegnato e proposto dall AIFA, ha ottenuto la possibilità di avvio della sperimentazione dalla Commissione Nazionale ECM nel novembre 2003 e ora, grazie ai fondi messi a disposizione dall Ufficio Formazione continua del Ministero della Salute, è arrivato, dopo sei mesi di preparazione e di valutazione, alla fase operativa. L Editore Zadig e il Centro Cochrane Italiano sono rispettivamente il gestore della sperimentazione e il responsabile scientifico di Ecce, che si avvale del Comitato scientifico di Clinical Evidence. Introduzione Questa iniziativa è nata dall esperienza maturata dalla Direzione Generale della Valutazione dei Medicinali e della Farmacovigilanza (ora Agenzia Italiana del Farmaco - AIFA) con il programma di informazione indipendente sui farmaci che ha visto tra l altro la pubblicazione dell edizione italiana di Clinical Evidence distribuita nel 2003 a 300.000 medici, dopo che la prima edizione era stata valutata positivamente da un campione di 45.000 per quanto riguarda l utilità e la rilevanza percepita delle informazioni contenute nel testo rispetto ai quesiti che il medico incontra nella propria pratica assistenziale. I dati rilevati dimostravano infatti l utilità dello strumento informativo per il medico e l utilizzo nella pratica clinica quotidiana 1. L informazione indipendente sul farmaco, ora continuata dall AIFA, ben si sposa con la necessità di una formazione a distanza altrettanto indipendente e autorevole. Per questi motivi è stato elaborato un progetto sperimentale di Educazione Continua in Medicina (ECM) che traesse sostanza dalle informazioni evidence based contenute in Clinical Evidence (box 1) e che rispondesse al quesito sulla trasferibilità delle prove di efficacia nella pratica clinica quotidiana 2. La filosofia del caso clinico Il sistema si rifà alla pratica quotidiana, grazie all uso del caso clinico. Si è pensato cioè che la riproduzione di un caso clinico riconducesse alla pratica quotidiana e fornisse quindi uno strumento di formazione ideale per il medico, come d altra parte indicato in letteratura da esperienze precedenti 3-6 : il medico, una volta registrato, potrà accedere alle fonti di Clinical Evidence (nella sua terza edizione italiana in uscita a maggio 2005) e poi affrontare un caso/percorso che si dipana in varie fasi, al termine di ciascuna delle quali l utente è posto di fronte a una domanda a risposta quintupla, nella maggior parte dei casi di tipo decisionale. In tal modo il medico si forma su dati di fatto (le prove evidence based fornite dalla letteratura analizzata da Clinical Evidence) calati però nella realtà professionale quotidiana. Le malattie o condizioni sono introdotte con brevi casi clinici da cui scaturiscono le domande, che in molti casi implicano scelte di comportamento: il medico deve decidere una strategia, confrontarsi poi con le prove di efficacia per capire se essa sia appropriata, e individuare i fattori da tenere in considerazione per orientarsi a volte tra due opzioni di teorica eguale efficacia ma di diversa appropriatezza date le caratteristiche del caso specifico. Proprio perché non finalizzate a una raccomandazione prescrittiva, le informazioni contenute in Clinical Evidence tengono conto in modo esplicito anche delle zone grigie di conoscenza in cui non si hanno certezze acquisite. D altra parte degli oltre 2000 interventi analizzati in Clinical Evidence solo il 15% è di provata efficacia, il 21% è probabilmente efficace, mentre circa la metà, il 47%, è di efficacia non nota per la mancanza di studi randomizzati o per i risultati contrastanti dei vari studi disponibili 7. Ogni caso è scritto da medici e passa attraverso un rigoroso sistema di referaggio prima della messa on line. I referee che sono i responsabili di sezione di Clinical Evidence devono compilare una scheda di referaggio che oltre all accettazione

14 Box1 CLINICAL EVIDENCE COME STRUMENTO PER LA FORMAZIONE A DISTANZA Clinical Evidence, pubblicato semestralmente dal BMJ Publishing Group, che ha concesso i diritti per l Italia all AIFA, raccoglie le prove di efficacia su oltre duemila interventi. L iniziativa italiana, originale e unica nel suo genere, sfrutta quattro caratteristiche di Clinical Evidence essenziali per una buona formazione del medico: 1. Autorevolezza di contenuti: tutte le informazioni del volume nascono da revisioni sistematiche della letteratura scientifica. Le risposte a ogni quesito relativo alla efficacia e al rischio di un intervento si basano su prove derivate da studi di cui è stata valutata a priori la qualità e l affidabilità metodologica. Da questa analisi non si vogliono far emergere linee guida vincolanti o specifiche raccomandazioni di comportamento pratico, ma si forniscono i dati per poter applicare caso per caso al singolo paziente la scelta terapeutica migliore. 2. Aggiornamento continuo: l edizione inglese di Clinical Evidence viene aggiornata ogni 6 mesi, rispondendo con ciò alle esigenze dell ECM, dato il rapido evolversi delle conoscenze in medicina. L educazione in medicina, proprio perché continua, deve, infatti, fornire al medico un flusso costante di informazioni, cambiamenti, aggiornamenti sulla base delle ricerche che vengono effettuate nel campo medico, tenendo però sempre presente la valutazione metodologica degli studi prima di condividerne i risultati. 3. Legame stretto con la clinica: il volume parte da quesiti clinici della pratica quotidiana e fornisce risposte che considerano esiti clinici e psicosociali rilevanti per il malato. Il testo mette in risalto i dati di efficacia di un intervento e la rilevanza clinica degli esiti studiati. Questo consente un tipo di formazione non nozionistica, fondata invece sulle decisioni cliniche, più utile al medico nell esercizio della sua attività assistenziale. 4. Disponibilità delle fonti: Clinical Evidence nell edizione cartacea concisa e nel full text in cd è stato distribuito a 300.000 medici italiani, quindi rende immediatamente disponibile a tutti gli utilizzatori i testi o il materiale da leggere prima di sottoporsi ai quiz valutativi. A partire da maggio 2005, grazie ai fondi messi a disposizione dall AIFA, per tutti i medici sarà inoltre accessibile on line sul sito http://aifa.ecce.minsa.it la terza edizione italiana di Clinical Evidence, e i medici di medicina generale riceveranno anche direttamente a casa il volume conciso aggiornato. o meno del caso stesso per la pubblicazione prevede la valutazione di tre parametri: verosimiglianza, qualità dei contenuti, aderenza alle informazioni evidence based di Clinical Evidence. Attualmente sono stati sottoposti a referaggio 40 casi, con il seguente esito: 97% accettati per la pubblicazione, 3% con cospicue revisioni; verosimiglianza buona o eccellente nel 78% dei casi, contenuti buoni o eccellenti nel 73% dei casi, coerenza con Clinical Evidence buona o eccellente nel 92% dei casi. Quando il sistema sarà a pieno regime saranno a disposizione 120 casi/percorsi. Attualmente ne sono disponibili 30, che verranno incrementati al ritmo di dieci al mese per i successivi 9 mesi del 2005. L obiettivo formativo nazionale fa riferimento all implementazione dell introduzione della medicina basata sulle prove di efficacia nella pratica assistenziale (Gruppo 1, lettera m), alla formazione finalizzata all utilizzo e all implementazione delle linee guida e dei percorsi diagnostico-terapeutici (Gruppo 2, lettera f) e ai percorsi diagnostico-terapeutici nella pratica della medicina generale (Gruppo 2, lettera p). Poiché i temi affrontati nei vari casi/percorsi spaziano tra le più diverse malattie (tabella I), all inizio di ogni singolo caso/percorso è indicato anche l obiettivo specifico per quel caso/percorso medesimo. Il sistema on line Per accedere al progetto Ecce e poter affrontare i casi proposti, basta avere a disposizione un normale computer (PC o Mac indifferentemente), una normale linea telefonica (non serve la banda larga o l antenna satellitare) e un collegamento a Internet. Il sistema è stato pensato infatti proprio per garantire un facile accesso, senza bisogno di tecnologia avanzata, non sempre disponibile. Il progetto Ecce (figura 1), del tutto gratuito, è accessibile on line nel sito internet http://aifa.ecce.minsa.it, oppure, grazie a un link diretto, dal sito dell AIFA (www.agenziafarmaco.it) o dal sito del Ministero della salute (www.ministerosalute.it). È aperto a tutti i medici, anche se è pensato con un occhio di riguardo per i medici di medicina generale. È per questo che prima di essere erogato on line è stato sottoposto al giudizio soprattutto ma non solo

bollettino d informazione sui farmaci 15 ANNO XII N. 1 2005 Tabella I I casi clinici che saranno disponibili. Elenco degli argomenti che saranno oggetto di formazione nell ambito del progetto sperimentale Ecce. A questi vanno aggiunti 4 casi metodologici di primo e di secondo livello: Andrologia Disfunzione erettile Ipertrofia prostatica benigna Prostatite cronica Dermatologia Eczema atopico Herpes labiale Pediculosi del capo Psoriasi cronica a placche Scabbia Verruche non genitali Ematologia Linfoma non Hodgkin Endocrinologia Controllo della glicemia nel diabete Ipotiroidismo primario Obesità Piede diabetico Gastroenterologia Appendicite acuta Infezione da Helicobacter pylori Malattia diverticolare del colon Ragadi anali Reflusso gastro-esofageo Ginecologia Dismenorrea Mastodinia Menorragia Sindrome premestruale Lesioni trofiche delle gambe Piaghe da decubito Ulcere venose e vene varicose Malattie cardiovascolari Angina instabile Arteriopatia periferica Fibrillazione atriale acuta Infarto miocardico acuto Malattie cardiovascolari nel diabete Prevenzione secondaria della cardiopatia ischemica Scompenso cardiaco Tromboembolia Malattie infettive Candidosi vaginale Diarrea Gonorrea Herpes genitale Infezione da HIV Infezione meningococcica Infezioni delle vie respiratorie superiori Infezioni opportunistiche HIV-correlate Influenza Malaria: prevenzione nei viaggiatori Malattia di Lyme Trasmissione materno-fetale di HIV Tubercolosi Varicella Nefrologia Cistite ricorrente Insufficienza renale acuta Neurologia Apnea nel sonno Cefalea cronica di tipo tensivo Demenza Emicrania Epilessia Malattia di Parkinson Nevralgia del trigemino Nevralgia post erpetica Sclerosi multipla Trattamento e prevenzione dell ictus Oculistica Congiuntivite batterica Degenerazione maculare senile Glaucoma Herpes simplex oculare Retinopatia diabetica Odontoiatria Candidosi orofaringea Stomatite aftosa ricorrente Oncologia Cancro del colon-retto Cancro della mammella non metastatico Cancro della mammella metastatico Cancro dell ovaio Cancro del polmone Cancro della prostata non metastatico Cancro della prostata metastatico Cancro dello stomaco Melanoma maligno non metastatico Microcitoma polmonare Ortopedia Cervicalgia Distorsione di caviglia Dolore di spalla Ernia del disco Frattura dell anca Gomito del tennista Lombalgia e sciatalgia acuta Lombalgia e sciatalgia cronica Sindrome del tunnel carpale Ostetricia Nausea e vomito nel primo trimestre Preeclampsia e ipertensione Otorinolaringoiatria Malattia di Meniere Otite media cronica suppurativa Rinite allergica stagionale Sinusite acuta Pediatria Arresto cardiorespiratorio Asma Coliche del lattante Depressione Enuresi notturna Gastroenterite acuta Infezione delle vie urinarie Otite media acuta Stitichezza Pneumologia Asma Bronchite acuta Broncopneumopatia cronica ostruttiva Polmonite acquisita in comunità Psichiatria Anoressia nervosa Bulimia nervosa Disturbo bipolare Disturbi depressivi Disturbo d ansia generalizzato Disturbo di panico Disturbo ossessivo-compulsivo Schizofrenia Reumatologia Artrite reumatoide Artrosi Crampi alle gambe Tossicologia Intossicazione da paracetamolo

16 Figura 1 Home page del progetto Ecce. dei medici di medicina generale attraverso focus group e questionari on line (vedi Valutazione da parte dell utente). Il medico, dopo la compilazione di una scheda di registrazione e previa ID e PIN (fondamentali per identificare il singolo utente e tenere conto dei crediti formativi ottenuti dal medesimo), può accedere direttamente al sistema, scegliendo l argomento che vuole affrontare. Prima di accedere a un percorso l utente ne conosce la durata, il numero di crediti erogato (2 crediti per i percorsi lunghi che prevedono circa 2 ore di impegno e 10 quiz a risposta quintupla, 1 credito per i percorsi brevi che prevedono circa un ora di impegno e 5 quiz a risposta quintupla), le caratteristiche, la soglia di superamento (80% delle risposte corrette), le possibilità di sospensione del percorso che può essere ripreso in qualunque momento. Sono inoltre sempre a disposizione le norme generali che spiegano le regole del sistema e che è bene leggere le prime volte che si affronta Ecce. Le malattie/condizioni sono suddivise, per comodità dell utente, in 22 specialità più una sezione di Metodologia, del tutto innovativa, che consente di cimentarsi con casi statistici. Una volta letto il o i capitoli di Clinical Evidence relativi al caso prescelto, il medico si trova davanti un malato, descritto nei suoi dati essenziali e da qui inizia la storia che si dipana in momenti successivi, ponendo via via il medico di fronte a domande a risposta quintupla che sono parte integrante della storia del malato. Non c è quindi il classico questionario di fine corso, ma la parte valutativa è integrata nel sistema di apprendimento. Ogni volta che viene data una risposta viene indicato se è corretta o sbagliata ed è disponibile un approfondimento mirato per comprendere i motivi di una eventuale risposta scorretta. Terminato il percorso l utente sa in tempo reale il risultato della sua prova e acquisisce quindi i crediti relativi a tale caso/percorso, potendo stampare la attestazione dei crediti ottenuti. Una scheda personale, visibile on line solo dall utente, raccoglie tutti i dati del singolo medico che può così in qualunque momento conoscere la propria situazione riguardo all acquisizione dei crediti e ai percorsi superati, sospesi o da ritentare perché non superati con successo. Valutazione da parte dell utente Terminato il singolo percorso, il medico deve compilare il questionario ministeriale di soddisfazione da parte dell utente. Avrà però anche la possibilità di compilare un questionario ad hoc, più

bollettino d informazione sui farmaci 17 ANNO XII N. 1 2005 centrato sulla qualità e sulla rilevanza delle informazioni percepite e soprattutto sulla loro trasferibilità nella pratica clinica. Oltre alla possibilità di indicare pregi e difetti del sistema. Ciò consentirà di raccogliere in tempo reale i commenti e le critiche e di migliorare in itinere il sistema, come avviene in ogni sperimentazione. In fase preparatoria, la valutazione del sistema è stata condotta nei mesi di novembre e dicembre 2004 e ha consentito di raccogliere oltre 600 questionari on line e di sottoporre il sistema a una trentina di medici divisi in 3 focus group rappresentativi dell Italia del Nord (Milano), del Centro (Modena) e del Sud (Napoli). Nella figura 2 è riportata invece la distribuzione sul territorio nazionale dei medici che hanno risposto all invito di compilare il questionario on line. I dati emersi hanno permesso di migliorare alcuni aspetti di sistema e di capire anche quanto una formazione di questo tipo sia gradita ai medici e sia utilizzabile poi nell attività professionale quotidiana. Figura 2 Distribuzione del campione di medici che ha compilato il questionario di Ecce. Maschi Femmine Rilevanza Figura 3 Risposte al questionario ministeriale. Qualità Efficacia Tempo Ingerenza -60-40 -20 0 20 40 60 80 100 Tipo di scala utilizzato Rilevanza: da 0 a 4; in grigio 0 e 1; in blu 3 e 4; Qualità: da -2 a +2; in grigio -2 e -1; in blu +1 e +2; Efficacia: da -2 a +2; in grigio -2 e -1; in blu +1 e +2; Tempo: -60; -10; =; +10; +60; in grigio -60 e -10; in blu =, +10 e +60; Ingerenza: no; poco; sì; molto; in grigio sì e molto; in blu poco e no. Difficoltà Figura 4 Risposte al questionario sviluppato ad hoc. Grafica piacevole Grafica chiara Conoscenza Credibilità Uso info -40-20 0 20 40 60 80 100 Dicotomie utilizzate Difficoltà tecniche: Sì/No; in grigio Sì; in blu No; Grafica Piacevole: Piacevole/Brutta; in grigio Brutta; in blu Piacevole; Grafica Chiara: Chiara/Confusa; in grigio Confusa; in blu Chiara; Modificazione della conoscenza: Sì/No; in grigio No; in blu Sì; Credibilità delle fonti: Molto credibili/poco credibili; in grigio Poco credibili; in blu Molto credibili; Uso informazioni nella pratica clinica: Sì/No; in grigio No; in blu Sì.

18 Per quanto concerne il questionario ministeriale, lo strumento Ecce è stato considerato da abbastanza a molto rilevante dal 98% dei rispondenti, di qualità da soddisfacente a eccellente dal 99% dei rispondenti, da abbastanza a molto efficace dal 94% dei rispondenti, mentre non sono state rilevate ingerenze sui contenuti da parte di eventuali sponsor, in questo caso non presenti (figura 3). Il questionario costruito ad hoc indicava invece che nel 73% dei casi erano state acquisite informazioni prima non note, che nel 97% dei casi le informazioni fornite erano ritenute dai medici molto credibili e che nel 97% dei casi si riteneva di poter usare queste informazioni nella pratica clinica quotidiana. Nella figura 4 si vedono i vari parametri indagati e i relativi risultati. Per quanto concerne i focus group, hanno partecipato 27 medici (9 per ogni focus group), di cui 14 medici di medicina generale, 11 specialisti e 2 docenti universitari della Facoltà di Medicina: 18/27 erano maschi, con una età compresa tra i 30 e i 62 anni. I focus group sono stati condotti con metodologia semi-strutturata, partendo da una griglia di intervista che individuava sette aree/domini principali: a) fruibilità tecnica; b) lunghezza; c) comprensibilità; d) logicità; e) rilevanza clinica (verosimiglianza); f) esaustività della problematica attraverso il caso; g) noiosità/interesse. Per ognuna di queste aree l indagine di gruppo ha permesso di individuare fattori positivi e negativi percepiti (promoter/barriere) influenti sull apprendimento dei singoli partecipanti. Sono state recepite le critiche più rilevanti o frequenti e si è provveduto a modificare il sistema di conseguenza. Attività per il 2005 e prospettive future La sperimentazione iniziata il primo marzo con la messa on line del sistema consentirà ai medici che si impegneranno a usare il sistema di acquisire crediti ECM. D altra parte permetterà di condurre una valutazione ampia e approfondita di questo tipo di modalità di formazione basata sul caso clinico e sulla evidence based medicine. Se i risultati fossero confortanti, il progetto proseguirà negli anni successivi, fornendo al medico nuovi casi clinici su cui formarsi ricorrendo sempre allo strumento di Clinical Evidence. L obiettivo è anche di valutare concretamente l efficacia di questo tipo di formazione. Non di limitarsi cioè a ricevere i questionari e vedere se sono state acquisite nuove informazioni, ma se tali nozioni vengano poi trasferite nella pratica clinica quotidiana. In tale prospettiva sono auspicabili accordi con singole ASL che vogliano essere parte di questo progetto. I dati di letteratura dicono a oggi che la formazione a distanza ha eguale efficacia di quella residenziale, ma anche per quest ultima non ci sono molti lavori che ne dimostrino la reale efficacia in termini pratici di modifica di comportamenti 8,9. Va ricordato al riguardo che è in corso una revisione sistematica condotta dal Centro Cochrane Italiano sulle esperienze di formazione a distanza nel mondo e sulla efficacia di questo tipo di processi. L esperienza potrà inoltre essere sfruttata per allargare questo modello di formazione a distanza ad altri operatori sanitari che non siano medici, anzitutto gli infermieri. Il gruppo di lavoro di Ecce Responsabile di progetto Pietro Dri - direttore editoriale Clinical Evidence edizione italiana Direttore scientifico Alessandro Liberati - direttore scientifico Clinical Evidence edizione italiana - Centro Cochrane Italiano, Milano Monitoraggio e valutazione Lorenzo Moja, Ivan Moschetti - Centro Cochrane Italiano, Milano Luciana Ballini - Ce.V.E.A.S., Modena Christian Deligant, Roberto Manfrini, Roberto Satolli - Agenzia Zadig, Milano Comitato scientifico Silvio Garattini (presidente) - direttore Istituto di Ricerche Farmacologiche Mario Negri, Milano Nello Martini - direttore generale Agenzia Italiana del Farmaco, Roma Antonio Addis - Agenzia Italiana del Farmaco, Roma Tiziano Barbui - direttore Divisione di ematologia, Ospedali Riuniti, Bergamo Sebastiano Bianco - direttore Clinica delle malattie dell apparato respiratorio, Università degli Studi, Milano-Bicocca

bollettino d informazione sui farmaci 19 ANNO XII N. 1 2005 Gian Franco Bottazzo - direttore scientifico Ospedale pediatrico Bambin Gesù, Roma Vittorio Caimi - presidente CSeRMEG, Centro Studi e Ricerche in Medicina Generale Livia Candelise - Dipartimento di scienze neurologiche, Ospedale Maggiore Policlinico, Milano Antonio Carrassi - Dipartimento di medicina, chirurgia e odontoiatria, Università degli Studi, Milano Gianfranco Ciboddo - Unità funzionale di medicina interna, Ospedale San Raffaele, Milano Antonella d Arminio Monforte - Istituto di malattie infettive e tropicali, Università degli Studi, Milano Roberto De Franchis - professore straordinario di Gastroenterologia, Università degli Studi, Milano Paola Di Giulio - professore associato di Infermieristica clinica, Università degli Studi, Torino Leonardo Fabbri - Cattedra di malattie respiratorie, Università degli Studi, Modena e Reggio Emilia Aldo Pietro Maggioni - Centro Studi ANMCO, Firenze Paolo Marandola - Cattedra di urologia, Università degli Studi, Pavia Giuseppe Masera - Clinica pediatrica, Università degli Studi, Milano-Bicocca Maurizio Moroni - Istituto di malattie infettive e tropicali, Università degli Studi, Milano Luigi Naldi - coordinatore Gruppo italiano Studi epidemiologici in dermatologia, Ospedali Riuniti, Bergamo Nicola Orzalesi - direttore Clinica oculistica, Università degli Studi, Milano Emma Pannaciulli - direttore Centro antiveleni Niguarda, Milano Ernesto Pasquini - Unità operativa otorinolaringoiatria, Policlinico S. Orsola Malpighi, Bologna Anna Laura Regalia - Clinica ostetrica ginecologica, Ospedale San Gerardo, Monza Giuseppe Remuzzi - direttore Istituto di Ricerche Farmacologiche Mario Negri, Bergamo Michele Tansella - direttore Dipartimento di medicina e sanità pubblica, Università degli Studi, Verona Massimo Tombesi - CSeRMEG, Centro Studi e Ricerche in Medicina Generale Maurizio Tonato - direttore Struttura complessa di oncologia medica, Ospedale Policlinico, Perugia Giancarlo Traina - direttore Clinica ortopedica, Azienda ospedaliera S. Anna, Ferrara Bibliografia 1. Formoso G, Moja L, Nonino F, Dri P, et al. Clinical Evidence: a useful tool for promoting evidence-based practice? BMC Health Serv Res 2003; 3: 24. 2. Greenhalgh T, Toon P, Russell J, Wong G, Plumb L, Macfarlane F. Transferability of principles of evidence based medicine to improve educational quality: systematic review and case study of an online course in primary health care BMJ 2003; 326: 142-5. 3. Schuwirth LW, van der Vleuten CP. The use of clinical simulations in assessment. Med Educ 2003; 37s: 65-71. 4. Horn KD, Sholehvar D, Nine J, et al. Continuing medical education on the World Wide Web (WWW). Interactive pathology case studies on the Internet. Arch Pathol Lab Med 1997; 121: 641-5. 5. Hawkins R, MacKrell Gaglione M, LaDuca T, et al. Assessment of patient management and clinical skills of practising doctors using computer-based case simulations and standardised patients. Med Educ 2004; 38: 958-68. 6. Dri P, Manfrini R, Deligant C, Naldi L. Il modello del caso clinico per la formazione a distanza del medico (FAD-ECM): i risultati di una sperimentazione accreditata su 500 medici. Atti del Convegno EXPO e-learning, Ferrara 9-12 ottobre 2004. 7. Clinical Evidence. 11 edizione, BMJ Publishing Group, giugno 2004. 8. Davis D, O Brien MT, Fremantle N, Wolf F, Mazmanian P, Taylor-Vaisey A. Impact of formal education. Do conference, workshops, rounds and other traditional continuing education activities change physician behavior or health care outcomes? JAMA 1999; 282: 867-74. 9. Chan D, Leclair K, Kaczorowski J. Problem-based small group learning via the Internet among community family physicians: a randomized controlled trial. MD Computing 1999; 16: 54-8.