CENTRO GRANDI STRUMENTI Università Degli Studi Di Pavia. Tissue Studio Il patologo digitale

Transcript

1 CENTRO GRANDI STRUMENTI Università Degli Studi Di Pavia Tissue Studio Il patologo digitale 16 Giugno 2010 Immagini & Computer S.n.c. Via Don Carlo Riva Bareggio (Mi)

2 L interpretazione e la comprensione delle immagini L interpretazione del mondo che ci circonda attraverso la visione delle scene e degli eventi che lo compongono è una delle principali prerogative umane. La corretta valutazione, ai fini interpretativi o decisionali, del contenuto di ogni singolo fotogramma che il nostro sistema visivo ci propone è realizzata con un insieme di esperienza, intuizione e capacità di riconoscimento ed identificazione di ogni oggetto in esso presente e della sue complesse relazioni ed interazioni con gli altri. In particolare il Patologo (Anatomo-Patologo) con l osservazione di cellule e tessuti si trova coinvolto nella formulazione di diagnosi o nello sviluppo di terapie per il trattamento delle condizioni mediche più gravose a livello mondiale, tra cui il cancro.

3 L interpretazione e la comprensione delle immagini Circa 1/3 del cervello umano elabora informazioni visive Percezione visiva dipende dal modo in cui vengono elaborate le informazioni luminose prodotte da fotoni che colpiscono la retina Elaborazioni diverse permettono di percepire aspetti diversi della visione: forme, colore, movimento, profondita. Elaborazione molto veloce e complessa: percezione simultanea di dettagli e di aspetti globali dell immagine.

4 L interpretazione e la comprensione delle immagini Le principali prerogative del sistema visivo umano sono la rapidità di interpretazione, la capacità di adattamento alle variazioni presenti nella scena rispetto al modello noto e la possibilità di incrementare la conoscenza. Visione Conoscenza Giudizio Comprensione della scena Informazioni

5 L interpretazione e la comprensione delle immagini Di contro siamo soggetti ed influenzabili dalle condizioni ambientali, dalla stanchezza e dai difetti del nostro sistema visivo (alterazione della percezione dei colori) con ripercussioni sulle valutazioni in termini di: Accuratezza Ripetibilità Confrontabilità Intensità dello staining? Positivo? Negativo?

6 L interpretazione e la comprensione delle immagini Lo schema del processo visivo umano tiene conto della scala e del contesto della scena Scena reale Riconoscimento dei particolari Riconoscimento del contesto Esperienza ed Intuizione Risultato: Automobile (AUDI TT)

7 L interpretazione e la comprensione delle immagini Lo stesso oggetto, inserito in contesti differenti, può fornire una interpretazione diversa di se stesso e dell intera scena in cui risulta presente.

8 L interpretazione e la comprensione delle immagini Inoltre l adattabilità del complesso processo visivo umano alla scala del soggetto in osservazione ci consente di interpretare con la stessa efficacia la scena in forma indipendente dalle sue dimensioni. Questa caratteristica ci consente di applicare le stesse regole e gli stessi principi di valutazione sia su immagini provenienti da satellite che su immagini microscopiche.

9 L interpretazione e la comprensione delle immagini Come possiamo aumentare l accuratezza, la ripetibilità, l oggettività e la confrontabilita delle valutazioni?

10 L interpretazione e la comprensione delle immagini Il computer non vede realmente la scena ma ne descrive numericamente il contenuto. Insieme discreto Insieme continuo Matrice di pixels Colore e dettagli

11 L interpretazione e la comprensione delle immagini Il pixel rappresenta l elemento base della immagine digitale. Esso esprime le caratteristiche di intensità (luminosità) dei singoli colori primari (R,G,B) presenti in una specifica posizione spaziale nella matrice (scena). Intensità quale valore medio di una superficie

12 L interpretazione e la comprensione delle immagini Per analizzare una scena il computer deve separare le strutture di interesse dall intero contesto. Cellula Nucleo Membrana

13 L interpretazione e la comprensione delle immagini La maggior parte dei metodi di identificazione delle struttura contenute all interno dell immagine si basa sulla analisi delle caratteristiche dei singoli pixel e della loro iterazione con gli altri elementi (pixel) adiacenti. Proprietà dei Pixel : Intensità (luminosità) dei singoli canali R,G,B Coordinate spaziali X,Y Identità ed iterazione con pixel adiacenti E evidente la difficoltà nell assegnare, sulla sola base delle proprietà sopra indicate, i singoli pixel ad una specifica classe di appartenenza (tessuto, nucleo, connettivo o spazi vuoti)

14 L interpretazione e la comprensione delle immagini Le tecniche di segmentazione basate sull appartenenza del pixel ad un determinato intervallo di luminosità o spettrale (RGB) non risultano sufficientemente robuste e ripetitive da poter essere applicate nei processi di caratterizzazione delle strutture e degli oggetti che compongono l immagine. Piccole variazioni di uno solo degli intervalli di soglia RGB possono determinare evidenti differenze nella identificazione delle aree di interesse con sovrastima o sottostima delle strutture in esse contenute.

15 L interpretazione e la comprensione delle immagini Le tecniche di segmentazione basate sulla rilevazione dei bordi delle strutture (edge detection) non risultano egualmente affidabili da poter essere applicate nei processi di caratterizzazione delle strutture e degli oggetti. Edge detection

16 è stata sviluppata dal premio Nobel (1986) per la fisica Gerd Binning e dal suo staff. La tecnologia introduce l innovativo concetto Object oriented image analysis che rivoluziona i tradizionali metodi di estrazione ed analisi dei contenuti e delle caratteristiche delle immagini digitali dal suo livello elementare (pixel based) a quello più evoluto basato sulla definizione, il riconoscimento e la classificazione delle strutture in esse presenti (object oriented). approccia l interpretazione dell immagine da una nuova prospettiva simulando ed applicando gli stessi processi cognitivi umani legati alla visione attraverso i quali siamo in grado di interagire in ogni situazione con il mondo reale.

17 Il concetto object oriented Il passaggio da semplice matrice di punti a strutture organizzate Classificazione 5. Valutazione Riclassificazione Raggruppamento Unione degli del dei oggetti contesto degli gruppi dei pixel nel oggetti appartenenti in quale oggetti in oggetti appartenenti I singoli alla base sulla stessa oggetti alle base allo caratteristiche della stesso sono loro struttura similitudine contesto inseriti forma, dimensioni spettrale e di cromaticità intensità

18 La trasformazione contestuale dei punti dell immagine in strutture avviene attraverso una continua iterazione tra i processi di raggruppamento dei pixel e la classificazione degli oggetti secondo criteri cognitivi.

19 Le proprietà a disposizione per la determinazione delle strutture nei due casi Proprietà dei pixel: Intensità (luminosità) dei canali R,G,B Coordinate spaziali XY (posizione assoluta nella matrice) Identità dei pixel immediatamente vicini Matrice di pixel Matrice di oggetti Proprietà degli oggetti: Intensità media (luminosità) deicanali R,G,B Coordinate spaziali XY Identità degli oggetti immediatamente vicini Forma Dimensione Tessitura Compactness Rotondità Diametri Perimetro Deviazione standard della intensità Caratteristiche degli oggetti confinanti Caratteristiche dei SUPER/SUB-oggetti Perimetro condiviso con altri oggetti Altri ancora

20 Il significato di rete di oggetti sensitivi al contesto e la loro applicazione pratica La connessione contestuale degli oggetti implica che ogniuno di loro conosce : gli oggetti confinanti della stessa classe Gli oggetti del livello superiore Gli oggetti del livello inferiore Immagine / pixel

21 Livello 0 : matrice di pixel Immagine

22 Livello 1 : Definizione tipologia dei tessuti Tessuto normale Tumore

23 Livello 2 Definizione tipologia dei tessuti Tessuto normale Infiammazione Tumore Immagine

24 Livello 3 : Comparti cellulari Nuclei Citoplasma Membrana Immagine

25 Export Cellular Analysis ROI Tissue Studio Come opera Tissue Studio? Tissue Background Separation Preselect Regions For ROI Detection Manual ROI Selection Draw Polygons Or Select Segments Xenograft Detection Composer TMA Nucleus Marker Area Cell Simulation Cell and Membrane Default Export Customizable Exports

26 Semplicità e linearità delle operazioni

27 I passi principali Import slides Setup Analysis Batch Processing Explore Results Upload preconfigured solution

28 Importazione dei vetrini digitali Hamamatsu: Nanozoomer Zeiss: Mirax Aperio: Scanscope Applied Imaging: Ariol TissueGnostics Bacus WebSlide Generic (tif, jpg, etc.)

29 Selezione del protocollo di analisi Identificazione e classificazione dei tessuti. Selezione delle aree di interesse (ROI) Analisi sub cellulare (nuclei,, membrane e citoplasma). Creazione di protocolli personalizzati.

30 Training del sistema

31 Identificazione del tessuto rispetto al background

32 Segmentazione del tessuto ed identificazione delle varie tipologie di strutture in esso presenti

33 Classificazione delle strutture

34 Analisi comparti cellulari (nuclei, membrane e citoplasma)

35 Analisi Automatica dei campioni

36 Selezione dei parametri da evidenziare

37 Visualizzazione ed esportazione dei risultati Slide Name No. of Nucleus Negative No. of Nucleus Positive No. of Nucleus Low No. of Nucleus Medium No. of Nucleus High HistoScore Patient A Patient A Patient A Patient A Patient A Patient A Patient A Patient B Patient B Patient B Patient B Patient B Patient B Patient B Patient C Patient C Patient C Patient C Patient C Patient C Patient C

38 Esempi applicativi

39 Automazione della valutazione di casi di tumore alla mammella - Her Quattro casi differenti di tessuto tumorale mammario marcato per il gene Her2

40 Identificazione delle cellule, dei nuclei e delle membrane. Valutazione della intensità di marcatura della membrana In funzione della intensità della marcatura, le membrane con differenti caratteristiche sono distinte e classificate.

41 Cellule che non soddisfano specifici criteri di qualità quali dimensione o di intensità sono esclusi dalla valutazione (cellule grigie). Attraverso la misura della circolarità e della intensità delle membrane marcate tutte le cellule vengono classificate. Rosso circolarità> 98% ed intensità forte Arancio circolarità> 98% ed intensità moderata Automating the Dako Her2 Score Giallo membrane marcate ma non circolari Verde membrane non marcate

42 Risultato finale La valutazione finale (Her2 score) è ottenuta valutando la frequenza di distribuzione delle differenti tipologie di cellule.