SVILUPPO DI ALGORITMI PER LA SEGMENTAZIONE DI CROMOSOMI IN IMMAGINI IN METAFASE

Transcript

1 SVILUPPO DI ALGORITMI PER LA SEGMENTAZIONE DI CROMOSOMI IN IMMAGINI IN METAFASE Francesco Chiusso Relatore: Prof. Alfredo Ruggeri, Università di Padova Correlatore: Enrico Grisan Aprile 2006

2

3 Indice 1 Introduzione Analisi dei cromosomi Il cariogramma Scopo della tesi Analisi automatica dei cromosomi: lavori correlati Struttura della tesi Metafasi in banda Q Aspetto di una metafase Particolarità delle immagini Segmentazione dell immagine Lavori correlati Segmentazione multistadio Descrizione dell algoritmo Osservazioni I metodi Preprocessing Thresholding Il metodo adottato Eliminazione nuclei Estrazione dell asse Conferma di cromosoma singolo Il metodo adottato Curvatura e punti concavi Il metodo adottato Ricerca valli Ricerca sovrapposizioni Misura degli angoli e delle distanze Ricerca miglior combinazione di tagli Conclusioni Valutazione risultati e indici Proposte di sviluppo A Il prototipo 42 A.1 Prestazioni A.2 Problemi

4 INDICE 4

5 Sommario L analisi del cariogramma è un esame diffuso in citogenetica. Partendo da un immagine di cromosomi acquisita da microscopio, questi vengono ritagliati e incollati su una griglia standard in cui sono disposti e numerati secondo un criterio di classificazione unificato. Questa disposizione aiuta gli scienziati ad identificare le alterazioni che possono portare ad un disturbo genetico. La tesi si occupa dell automatizzazione di questo processo, allo scopo di evitare il più possibile il suo svolgimento manuale poiché, se ripetuto molte volte, risulta essere lungo e tedioso. In particolare tratta la segmentazione dei cromosomi nelle immagini di metafasi in banda Q, il primo passo per la realizzazione di un sistema di cariotipizzazione automatica. Essa include l individuazione e l esclusione di nuclei, residui di colorazione, e altro rumore; l individuazione e la segmentazione di cromosomi isolati ma anche adiacenti o sovrapposti. L approccio consiste in una serie di metodi applicati in successione. L immagine viene prima segmentata tramite thresholding per distinguere i cromosomi dallo sfondo. Sui gruppi di cromosomi adiacenti o sovrapposti vengono tentati diversi metodi di separazione basati sulla forma del contorno e sulla presenza di valli del tono di grigio. Il sistema proposto è stato testato su trenta immagini nelle quali il 96 % dei cromosomi è stato correttamente segmentato.

6 INDICE 2

7 Capitolo 1 Introduzione I cromosomi sono corpi densi che si trovano nel nucleo delle cellule. Essi contengono il DNA, una lunga molecola che è estremamente attorcigliata e condensata. Un singolo tratto di sequenza DNA si chiama gene. Ciascun cromosoma contiene alcune migliaia di geni. L analisi dei cromosomi è utile a diagnosticare e prevenire anomalie genetiche, sia congenite, come la sindrome di Down, o altri disturbi acquisiti, come il cancro e la leucemia. Durante la gran parte del ciclo cellulare, interfase, i cromosomi sono meno condensati e non sono visibili come oggetti singoli al microscopio. Tuttavia durante la divisione cellulare, la mitosi, i cromosomi si agglomerano e divengono corpi visibili all interno del nucleo della cellula. Per mitosi si definisce il processo di divisione nucleare che porta alla formazione di due identiche cellule figlie attraverso le fasi di profase, metafase, anafase, e telofase. I cromosomi sono più facilmente visti e identificati allo stadio di metafase della divisione cellulare. Benché non significativo dal punto di vista biologico è comune riferirsi ad uno stadio intermedio di contrazione sito tra profase e metafase indicato con il nome di prometafase. Il numero di cromosomi nelle cellule umane è 46 con 22 coppie di autosomi (una per tipo proviene dalla madre e una per tipo proviene dal padre) e 2 cromosomi sessuali due cromosomi X per le femmine (uno dal padre e uno dalla madre) o un X e un Y per i maschi (X dalla madre e Y dal padre). Il cromosoma metafasico ha una lunghezza variabile: 3 10 µm. Ogni cromosoma è costituito da 2 subunità longitudinali, i cromatidi, uniti a livello del centromero, detto anche cinetocore o costrizione primaria. Rispetto a un piano passante per il cinetocore e parallelo ai cromatidi, il cromosoma ha una struttura simmetrica. Il centromero non occupa la stessa posizione in tutti i cromosomi e divide ogni cromatide in due parti, i bracci, la cui lunghezza dipende dalla posizione del cinetocore. Per lo più i bracci sono di lunghezza diversa, talvolta invece sono uguali. La posizione del centromero permette di classificare i cromosomi in 4 tipi: Acrocentrici: centromero in posizione terminale. Telocentrici: centromero in posizione subterminale. Submetacentrici: centromero in posizione submediana. 3

8 Capitolo 1. Introduzione Metacentrici: centromero in posizione mediana. 1.1 Analisi dei cromosomi Prima della nascita delle tecniche di bandeggio il citogenetista classificava i cromosomi soltanto in base alla dimensione del cromosoma e alla posizione del centromero. L individuazione del singolo cromosoma non era in questo modo possibile e i cromosomi venivano classificati soltanto in sette gruppi (A G) basandosi sulla dimensione e sulla posizione del centromero: Gruppo A (1 3). Cromosomi larghi, metacentrici, facilmente distinguibili dagli altri per le dimensioni e la posizione del centromero. Gruppo B (4 5). Cromosomi larghi, submetacentrici. Gruppo C (6 12, X). Cromosomi di taglia media, metacentrici o submetacentrici. Gruppo D (13 15). Cromosomi di taglia media, acrocentrici, con satelliti. Gruppo E (16 18). Cromosomi relativamente corti, metacentrici o submetacentrici. Gruppo F (19 20). Cromosomi corti, metacentrici. Gruppo G (21 22, Y). Cromosomi corti, acrocentrici, con satelliti. Y non possiede satellite. A partire dagli anni 70 sono state introdotte diverse tecniche di bandeggio (es. Q banding, G banding, R banding) che hanno rivoluzionato la citogenetica. Trattando le cellule è possibile ottenere una specie di codice a barre che rende possibile individuare ogni singolo cromosoma e rilevare anche piccoli cambiamenti nella struttura cromosomica. Esistono numerose tecniche che producono il bandeggio o banding pattern dei cromosomi in metafase. Una banda è definita come quella parte di cromosoma che è chiaramente distinguibile dai segmenti adiacenti, apparendo più scura o più chiara con una o più tecniche di bandeggio. Banda Q. Si utilizza un colorante fluorescente, la quinacrina. Banda G. Si trattano i cromosomi e si colorano con Giemsa 1. Le bande G corrispondono in larga misura con le bande Q, sono caratterizzate da una maggiore spiralizzazione della fibrilla elementare che forma il cromosoma. Banda R. Si trattano i cromosomi con temperature elevate (87 C) e si colorano con Giemsa. Le bande che si ottengono sono complementari alle bande G. Banda C. I cromosomi si colorano nelle aree vicine al centromero. Talvolta si colorano anche aree interstiziali ricche di DNA altamente ripetitivo. Con opportune varianti è possibile colorare anche le tre frazioni di DNA satellite. 1 Tipo di colorante ottenuto da una mistura di blu di metilene e di eosina in soluzione alcolica 4

9 Capitolo 1. Introduzione Quando si parla di risoluzione del bandeggio, si intende il numero di bande che è possibile distinguere in un insieme aploide, ovvero 22 autosomi più X e Y. I diversi tipi di risoluzione dipendono non solo dallo stato di condensazione, ovvero dallo stato della mitosi al quale si trova la cellula, ma anche dalla tecnica usata per rivelare il bandeggio. Cromosomi con bandeggi Q, G, R più lunghi mostrano un numero di bande maggiore rispetto a quelli più corti. Le cellule in metafase possiedono approssimativamente 450 bande e si definiscono in prometafase quando hanno 550 bande e oltre. Una cellula può essere definita in profase soltanto se almeno 850 bande sono visibili. Il maggior numero di bande presente in stadi di maggiore elongazione fornisce una descrizione con una risoluzione più elevata della struttura del cromosoma, più vantaggiosa ai fini dell analisi. L analisi in questa fase viene tuttavia resa più difficoltosa a causa della maggiore complessità del banding pattern e del fatto che cromosomi più lunghi tendono a toccarsi e sovrapporsi molto di più rispetto a cromosomi più corti. Unitamente al banding pattern altre due caratteristiche del cromosoma si rivelano essenziali per l identificazione: la sua lunghezza, e la posizione del centromero. Quest ultima viene definita dall indice centromerico, cioè dal rapporto fra la lunghezza del braccio corto p (dal francese petit) e la somma tra lunghezza del braccio corto p con quella del braccio lungo q: Ic = p p + q Il cariogramma (1.1) Il cariogramma è una griglia standard in cui i cromosomi di un individuo sono disposti e numerati a seconda della dimensione, dal più grande al più piccolo. Questa disposizione aiuta gli scienziati ad identificare le alterazioni che possono portare ad un disturbo genetico. Per preparare un cariogramma standard sono necessarie cellule in metafase e ipoteticamente, potrebbe essere usata qualsiasi popolazione di cellule in separazione. Il sangue è il tessuto più utilizzato, ma a volte il cariogramma viene preparato da fibroblasti della pelle o da cellule del midollo osseo. Ci sono vari protocolli per la preparazione di un cariogramma dai linfociti del sangue periferico, ma alcuni passi sono comuni a tutti: Viene prelevato un campione di sangue e aggiunto un anticoagulante. Le cellule mononucleari come i linfociti o i monociti vengono separate per centrifugazione. Le cellule mononucleari vengono coltivate per 3-4 giorni e fatte proliferare. Al termine del periodo di coltura, quando c è una grande popolazione di cellule in separazione, la coltura viene trattata con una droga come il colcemide che impedisce la mitosi completa. I linfociti vengono raccolti e trattati brevemente con una soluzione ipotonica. Questo comporta una dilatazione del nucleo e aiuta nell ottenere preparati in cui i cromosomi non si sovrappongono. 5

10 Capitolo 1. Introduzione (a) (b) Figura 1.1: Esempio di cariogramma in banda Q 6

11 Capitolo 1. Introduzione Le cellule accresciute vengono fissate, posate su un vetrino e asciugate. I vetrini vengono trattati per indurre il bandeggio. Vengono scelte le migliori distribuzioni (cromosomi non troppo lunghi o non troppo compatti e non sovrapposti) e fotografate. Le foto poi vengono elaborate a mano o automaticamente e i cromosomi vengono ritagliati e disposti nella locazione appropriata, in accordo con la classificazione visiva operata dal citologo. In figura 1.1 è mostrato un esempio di metafase trattata con bandeggio Q (1.1(a)) e il relativo cariogramma ottenuto (1.1(b)). L ISCN (International System for Human Cytogenetic Nomenclature) è un organizzazione nata nel 1978 che si occupa di standardizzare la nomenclatura e le caratteristiche dei cariotipi. Tale standardizzazione è basata sui risultati di varie conferenze tenutesi tra il 1960 e il Essa si basa su modelli visivi chiamati ideogrammi, mappe cromosomiche che mostrano le dimensioni dei bracci, il centromero e il banding pattern specifico, dove ogni banda è numerata. In particolare esistono ideogrammi per le risoluzioni standard di 300, 400, 550, 700 e 850 bande. Per un approfondimento vedere [1]. Figura 1.2: Esempio di ideogramma del cromosoma Scopo della tesi Realizzare un cariogramma manualmente è un operazione difficile e dispendiosa in termini di tempo, stressante per l occhio e che richiede una meticolosa attenzione ai dettagli, oltre a necessitare di personale esperto. La sua natura tediosa ha portato molti ricercatori a studiare la possibilità di un sistema automatico o semiautomatico di cariotipizzazione. I primi studi sull argomento risalgono a circa trent anni fa. Nonostante i software esistenti siano di grande aiuto ai citogenetisti, si può dire che all oggi non esiste ancora un sistema che risolva il problema in modo definitivo. Questo principalmente a causa dell elevata variabilità causata dalla natura non rigida dei cromosomi e alla presenza nell immagine di cromosomi che si toccano o si sovrappongono (come si vede in figura 1.1(a)). L obiettivo finale del lavoro è lo sviluppo di un software per l analisi automatica di metafasi che migliori, o almeno sia alla pari, delle prestazioni dei sistemi esistenti. 7

12 Capitolo 1. Introduzione L analisi al computer dei cromosomi convenzionalmente consiste in primo luogo di un pre-processing dell immagine ottenuta al microscopio. Quindi si procede con segmentazione, processing intermedio, estrazione dei parametri, selezione degli stessi ed infine classificazione dei cromosomi. Per la vastità dell argomento, questo lavoro di tesi si limita a proporre un metodo per la segmentazione delle metafasi in banda Q, cioè l isolamento dei cromosomi dallo sfondo, da nuclei cellulari indivisi, da materiale biologico irrilevante presente all interno dell immagine e altro. 1.3 Analisi automatica dei cromosomi: lavori correlati La fase di pre-processing ha come obiettivo il miglioramento della qualità dell immagine cellulare attraverso tecniche di riduzione del rumore, ottimizzazione dei bordi del cromosoma, aumento del contrasto. Il pre-processing effettuato da Agam et al. [2] consiste nella rimozione del rumore usando un filtro edge preserving non lineare. Moradi [3] normalizza l intensità dell immagine eseguendo un histogram stretching. Anche nello studio di Shunren et al. [4] prima dello stadio di segmentazione viene modificato l istogramma dell immagine eseguendo uno stretching dei livelli di grigio. Per una panoramica dei metodi esistenti in letteratura sulla segmentazione si rimanda il lettore al paragrafo 3.1. Il lavoro di Wang e Wu [5] propone un miglioramento dell immagine basato su wavelet allo scopo di migliorare il banding pattern e quindi la classificazione. La classificazione prevede prima di tutto l estrazione di parametri cromosomici per estrarne le caratteristiche che in maggior misura si prestano a discriminare le differenti classi cromosomiche. Il risultato poi della selezione delle caratteristiche consente di ricondurre il cromosoma ad una rappresentazione più sintetica che tuttavia contenga la maggior parte dell informazione cromosomica. A partire da quest ultima descrizione del cromosoma viene eseguita la classificazione vera e propria, usualmente valendosi di un metodo statistico. Sono state utilizzate numerose caratteristiche differenti per descrivere un cromosoma, ad esempio nella pubblicazione di Piper e Granum [6] vengono vagliati diversi parametri, taluni misurabili direttamente dall immagine cromosomica (area, densità relativa, perimetro del convex hull); altri invece ricavati in seguito al calcolo dell asse (lunghezza, banding pattern). Sweeney [7] utilizza la lunghezza assoluta del cromosoma e introduce dei coefficienti wavelet e di Fourier del banding pattern. Delshadpour [8] aggiunge a lunghezza e banding pattern la decomposizione dei livelli di grigio o componenti della trasformata di Fourier bidimensionale, Guimaraes [9] considera invece il rilevamento della forma del cromosoma, ne ricava il contorno e quindi la relativa decomposizione attraverso la trasformazione wavelet. Nonostante molte possibili analisi effettuate su immagini cromosomiche siano state prese in considerazione, quelle che sembrano essere maggiormente discriminanti ai fini della classificazione sembrano essere tuttavia la lunghezza ed il centromeric index (ossia due caratteristiche geometriche), ed il density profile (integrale o densità media lungo sezioni perpendicolari all asse mediano del cromosoma), come riportato negli studi di Lerner et al. [10, 11], in quelli di Moradi et al. 8

13 Capitolo 1. Introduzione [12, 3], ed in quello di Cho [13]. Una volta estratti quelle features del cromosoma che si ritengono più utili alla classificazione è possibile cercare di ridurne il numero mantenendo intatto o diminuendo lievemente il contenuto di informazione attraverso la feature selection, che può essere intesa come la ricerca, tra tutte le possibili trasformazioni dello spazio dei parametri, di quella che preserva la separabilità tra le classi in uno spazio con il minor numero possibile di dimensioni. Lerner [10] propone l algoritmo knock-out che valuta, attraverso una matrice che pesa la dispersione intra classe e inter classe, l efficacia di vettori di parametri costituiti di sottoinsiemi del vettore iniziale, eliminando quindi le features meno discriminanti. Il problema che si pone al termine della convenzionale procedura di analisi dei cromosomi è quello della classificazione vera e propria, l argomento che è stato maggiormente esaminato nell analisi cromosomica. In quest ambito il classificatore più popolare è una rete neurale con multi layer perceptron, di solito addestrata con un algoritmo di backpropagation come in Delshadpour [8], Lerner [10], Cho [13], Moradi [3]. Altri classificatori sono stati studiati, come gli inferred Markov network models di Granum e Thomason [14], statistici come in Piper e Granum [6] (classificatore a massima verosimiglianza) o ancora fuzzy o nearest neighbor. La maggior parte di questi classificatori ha due inconvenienti: innanzitutto offre prestazioni di livello inferiore rispetto ad un citologo esperto (70-80% paragonato a 99.7%) ed in secondo luogo richiede l intervento di un operatore per risolvere casi di erronea classificazione di cromosomi. Alcune delle ragioni alla base di queste limitazioni vanno ricercate nella difficoltà di tradurre in istruzioni software la metodologia adottata da un esperto (ad esempio il confronto tra cromosomi in una stessa immagine),l utilizzo di parametri limitati nella qualità o nel numero se raffrontati con il potentissimo meccanismo di sintesi del cervello umano. Molti dei lavori precedentemente riportati sono in effetti da ritenere studi di fattibilità, in cui gli autori si collocano in un contesto limitato (e.g. analisi di un numero esiguo di classi cromosomiche, o utilizzo di cromosomi privi di difetti genetici, non sovrapposti, non eccessivamente curvati) ed inoltre i cromosomi considerati vengono prelevati da data set di utilizzo pubblico, dove i cromosomi vengono colorati con Giemsa, il metodo più diffuso per evidenziare il banding pattern. 1.4 Struttura della tesi Il capitolo 2 è introduttivo e presenta le immagini di cromosomi, con le loro particolari caratteristiche. Il capitolo 3 presenta l algoritmo della soluzione proposta. Il capitolo 4 spiega in modo più dettagliato i metodi e le scelte alla base dell algoritmo sviluppato. La presentazione dei risultati e una breve discussione sono esposte nel capitolo 5. 9

14 Capitolo 1. Introduzione 10

15 Capitolo 2 Metafasi in banda Q In questo capitolo viene presentata una breve analisi di quello che è possibile vedere nelle immagini di metafasi in banda Q. Inoltre viene fatta una rassegna delle principali peculiarità che influenzano la segmentazione. 2.1 Aspetto di una metafase Figura 2.1: Metafase in banda Q Una tipica immagine di metafase contiene i seguenti oggetti: a. Nuclei e micronuclei. Oggetti grandi e rotondi. b. Residui di colorazione. Oggetti che possono variare in dimensione, tono di grigio e forma. c. Cromosomi singoli. 11

16 Capitolo 2. Metafasi in banda Q d. Cromosomi conglomerati o cluster. Sebbene nella preparazione del vetrino si presti particolare attenzione ad evitare il contatto o la sovrapposizione, la formazione di alcuni cluster è inevitabile. 2.2 Particolarità delle immagini Lo sfondo. Le immagini possono presentare cromosomi ben visibili oppure non ben distinti dallo sfondo (figura 2.2). (a) Cromosomi poco distinti (b) Cromosomi ben visibili Figura 2.2: Metafasi di differenti intensità La forma dei cromosomi. I cromosomi hanno una forma non rigida, molto variabile in dimensioni e proporzioni, sia tra immagine e immagine che all interno di una stessa immagine. Inoltre possono essere piegati, anche in modo molto evidente. Nella gran parte dei casi è possibile osservare il centromero. Figura 2.3: Esempi di cromosomi Il numero dei cromosomi. Il numero totale di cromosomi in un immagine è variabile. Non è possibile fare riferimento ai 46 cromosomi perché questo è il numero di cromosomi di un individuo normale. Sovrapposizioni e adiacenze. In un immagine sono quasi sempre presenti. Possono coinvolgere anche più di due cromosomi alla volta. Per quanto riguarda le adiacenze, non sempre è presente un tratto di separazione più scuro tra i due cromosomi, come si vede confrontando le figure 2.4(c) e 2.4(d). Inoltre, sia sovrapposizioni che adiacenze sono associate alla presenza di concavità nel contorno. Le figure 2.4(a) e 2.4(b) sono esempi di sovrapposizioni. 12

17 Capitolo 2. Metafasi in banda Q (a) (b) (c) (d) Figura 2.4: Esempi di sovrapposizioni e adiacenze Il bandeggio. Il bandeggio fa si che all interno di uno stesso cromosoma si abbiano variazioni sostanziali dell intensità di grigio, influenzando il processo di segmentazione (Vedi figura 2.5). (a) (b) Figura 2.5: Esempi di bandeggio La forma dei cluster. I cluster di cromosomi possono avere un contorno che da solo permette chiaramente di scindere in modo corretto i singoli cromosomi. Oppure possono avere una forma tale che l unica informazione del contorno non basta alla segmentazione, o può essere ingannevole (figura 2.6). Figura 2.6: Esempio di cluster I satelliti. I satelliti sono elementi morfologici caratteristici, rotondeggianti o allungati, collegati all estremità di un braccio attraverso un sottile filamento cromatinico chiamato stelo. Talvolta il diametro di un satellite corrisponde a quello del braccio, altre volte è minore (figura 2.7). 13

18 Capitolo 2. Metafasi in banda Q Figura 2.7: Esempio di satellite I bracci. Quando l immagine è presa ad uno stadio avanzato della mitosi i cromatidi si presentano separati. Il problema di separazione si complica ulteriormente (figura 2.8). (a) (b) Figura 2.8: Esempi di cromosomi con cromatidi in separazione 14

19 Capitolo 3 Segmentazione dell immagine Realizzare manualmente il cariogramma di una cellula eucariotica 1 da un immagine acquisita da microscopio è una procedura lenta e noiosa ed è stata dedicata molta attenzione alla sua automatizzazione. La prima ragione che impedisce di ottenere una procedura completamente automatica è la difficoltà nel separare cluster di cromosomi adiacenti o sovrapposti, situazione questa presente in quasi tutte le immagini acquisite per questo scopo. I sistemi esistenti prevedono sempre la possibilità di un interazione tra macchina e utente: la prima propone una soluzione e il secondo sceglie se procedere con la strada proposta oppure percorrerne un altra. Sono stati proposti molti metodi che tentano di risolvere il problema: metodi basati sul semplice thresholding [6]; tecniche che sfruttano la presenza di valli dei toni di grigio che corrispondono a zone di adiacenza [15, 16]; altri lavori costruiscono una serie di ipotesi di tagli basandosi sui punti concavi e verificandole usando l ipotesi di forma rettangolare [2]; un lavoro recente si basa su un processo ricorsivo di watershed segmentation e di histogram equalization [17]; altri approcci tentano di integrare nel processo di segmentazione conoscenze derivanti dalla classificazione [11] o dal confronto con modelli addestrabili del bandeggio atteso [18]. Nel paragrafo 3.1 vengono passati in rassegna i metodi appena elencati. Nel paragrafo 3.2 viene proposto il metodo da noi elaborato. 3.1 Lavori correlati Agam e Dinstein [2], si basano unicamente sul contorno dei cluster. Affermano infatti che è possibile osservare che le forme dei cromosomi sono da sole sufficienti allo scopo della separazione. Essi, trovati i punti più concavi del contorno, tracciano tutte le linee rette che li uniscono e ipotizzano dei tagli lungo queste linee. Tali ipotesi vengono verificate confrontando le parti ottenute con un modello poligonale di cromosoma. Ji ha realizzato due lavori, nel 1989 e nel 1994 [15, 16]. In entrambe basa il suo lavoro sulla presenza di tratti di separazione tra cromosomi adiacenti. Esegue una ricerca euristica dei tratti di separazione a partire dalle concavità del contorno. Inoltre rileva le sovrapposizioni basandosi su una scheletrizzazione del cluster. 1 Avente il nucleo. Si distingue dalla cellula procariotica, in cui è assente il nucleo, sostituito da un equivalente che in microscopia ottica viene spesso detto nucleoide 15

20 Capitolo 3. Segmentazione dell immagine Dove lo scheletro forma un nodo è ipotizzata una sovrapposizione. Nella figura 3.1 si vede un esempio di questo approccio. Figura 3.1: Separazione di un overlap proposta da Ji Nello studio del 1994 Ji affronta un problema differente dalla cariotipizzazione automatica: l obiettivo è quello di realizzare un sistema di valutazione delle anomalie per la dosimetria delle radiazioni. Le cellule su cui lavora sono senza bandeggio. Quello di Ji è forse l unico lavoro che tratta la cellula nella sua interezza e non come una serie di cromosomi e cluster di cromosomi. Il metodo procede ricorsivamente (per tutti i cluster) e iterativamente (per tutta la cellula), in una serie di ipotesi e valutazioni. Inizialmente assegna tutti gli oggetti ad una delle cinque classi: nucleo, cluster, cromosoma singolo, residuo o oggetto sconosciuto. Sui cluster vengono ricercati i tratti di separazione e, se ne viene individuato uno, allora si esegue il taglio. A questo stadio dell applicazione viene usato un set temporaneo di criteri per determinare se un tratto è accettabile. Se la ricerca non è andata a buon fine allora si ipotizza una sovrapposizione: se neanche questa ipotesi è confermata, a questo punto l oggetto è classificato come singolo cromosoma. La procedura è applicata su tutti i cluster. Se il risultato finale è vicino a quanto atteso (43 47 cromosomi singoli), allora l algoritmo termina. Altrimenti il criterio che stabilisce se un tratto di separazione è accettabile viene regolato e l intera procedura è ripetuta. L iterazione si ferma perché il risultato è stato raggiunto o perché un certo numero di iterazioni è stato raggiunto. Karvelis [17] esegue una segmentazione iniziale usando una trasformazione watershed [19]. Quindi su ogni area segmentata viene eseguito localmente una equalizzazione dell istogramma [19] e la watershed viene applicata nuovamente a quell area. Infine, per i casi più complessi vengono individuati i tratti di separazione e usati per produrre la segmentazione finale. Quello di Charters [18] è uno studio sulla possibilità di risolvere la segmentazione di cromosomi coinvolti in sovrapposizioni usando modelli addestrabili del bandeggio. I modelli consistono in template del bandeggio di pezzi di cromosomi. Il bandeggio delle regioni sovrapposte è oscurato, ma quattro sezioni di questo sono visibili. L incertezza nella segmentazione può nascere perché ognuno di questi segmenti può essere associato ad ognuno degli altri tre per generare cromosomi completi (Figura 3.1 c, d, e). Se le classi dei segmenti parziali può essere identificata dal bandeggio locale, allora i segmenti appartenenti alla stessa classe possono essere associati e l incertezza risolta. La classificazione dei segmenti è realizzata confrontando le sezioni visibili con una serie di template. In uno studio successivo [20], unitamente ai modelli parziali di bandeggio cromosomico vengono considerati modelli addestrabili della forma introducendo una parametrizzazione definita Chord Distribution Model (CDM). Lerner [11] segmenta inizialmente per mezzo di un clustering di una rappresentazione di un momento algebrico dei pixel dell immagine. Quindi introduce una segmentazione basata su classificazione. Un cluster è classificato come tale 16

21 Capitolo 3. Segmentazione dell immagine Figura 3.2: Illustrazione schematica dell uso delle template proposto da Charters nel caso che il classificatore fallisca nell assegnarlo ad una delle possibili classi. Vengono quindi individuati i punti più concavi e suggeriti come potenziali punti a partire dai quali tracciare le linee di taglio. Il classificatore viene utilizzato anche per verificare le ipotesi poste. 3.2 Segmentazione multistadio Di seguito viene presentato in modo sintetico l algoritmo su cui si basa il software sviluppato. Il termine multistadio deriva dal suo carattere iterativo e dal fatto che più metodi di segmentazione vengono applicati ai cluster. Nel capitolo 4 verranno approfonditi i singoli passi e chiarite le motivazioni delle scelte effettuate Descrizione dell algoritmo Inizialmente l immagine viene elaborata al fine di aumentare il contrasto. Il primo passo della segmentazione automatica consiste in un processo a soglia (thresholding). Si sfrutta il tono di grigio di ogni pixel per stabilire se questo appartiene allo sfondo o a qualche oggetto. La figura 3.3(a) è un esempio di metafase. La figura 3.3(b) è l immagine che risulta dal processo a soglia e, come si vede, è formata da tanti oggetti che chiameremo blob, e che possono essere cromosomi singoli o cromosomi agglomerati. A questo punto, per distinguere un blob dall altro, si esegue un etichettatura dell immagine binaria: ai pixel che appartengono allo stesso oggetto viene assegnata la stessa etichetta. Si costruisce una coda nella quale si inseriscono tutti i blob individuati. Quindi si estrae un blob e per prima cosa si valuta se è un cluster o un cromosoma singolo. Se è un cromosoma singolo l oggetto non viene segmentato. Se è un cluster si tenta di separarlo con diversi metodi. Se un metodo tentato ha successo le due nuovi parti ottenute vengono rimesse in coda e a loro volta valutate ed eventualmente segmentate. L algoritmo si ferma quando la coda è stata svuotata. Vediamo ora i metodi di segmentazione applicati ai cluster. Metodo 1: Ricerca valli Si consideri la figura 3.4(a). Come si può vedere sono due cromosomi adiacenti. Nel punto di contatto esiste un tratto più scuro, una valle dei toni di grigio. In questo primo metodo viene sfruttata proprio questa informazione. Prima di tutto vengono individuati i punti più concavi 17

22 Capitolo 3. Segmentazione dell immagine (a) Immagine originale (b) Dopo il thresholding Figura 3.3: Esempio di thresholding. 18

23 Capitolo 3. Segmentazione dell immagine del contorno (figura 3.4(b)). Solitamente infatti una condizione di adiacenza o sovrapposizione è associata alla presenza di concavità. 1 2 (a) Esempio di cluster (b) Contorno estratto e punti concavi evidenziati Figura 3.4: Per ognuno dei punti concavi si cerca il percorso più scuro che parte dal punto stesso e arriva ad un altro punto del contorno. Nel caso in esame poiché i punti concavi sono due si trovano due di questi percorsi: uno che parte dal punto concavo 1 e uno che parte dal punto concavo 2. Tra questi due percorsi candidati viene scelto quello che attraversa pixel mediamente più scuri. Il cluster viene tagliato lungo questo percorso scelto e i nuovi blob vengono messi nella coda da analizzare. La figura 3.5(b) mostra il risultato del taglio. (a) Prima del taglio (b) Dopo il taglio Figura 3.5: Esempio di taglio attraverso un tratto di separazione Nell esempio fatto non è visibile, comunque non tutti i percorsi tra quelli individuati vengono considerati: vengono scartati quelli che attraversano zone troppo chiare e quelli che non terminano su una zona concava del contorno. 19

24 Capitolo 3. Segmentazione dell immagine Metodo 2: Ricerca sovrapposizioni Se non sono stati trovati tratti di separazione si verifica se il blob è costituito dalla sovrapposizione di qualche cromosoma. La figura 3.6(a) è un esempio di questa situazione. Si individuano prima di tutto le possibili linee rette che uniscono i punti concavi (figura 3.6(b)). Quindi si ricercano le sovrapposizioni. Si sfrutta la caratteristica di queste di essere caratterizzate da 4 punti concavi tali che le linee che li uniscono formano un quadrilatero con dimensioni variabili ma sempre all interno di un certo campo di variazione. La figura 3.6(c) mostra le quattro linee che soddisfano le condizioni. Le due forme risultanti avranno in comune quei pixel in corrispondenza della sovrapposizione (vedi figure 3.6(d) e 3.6(e), le zone più chiare). (b) Ipotesi di tagli (c) Linee di overlap (a) Sovrapposizione (d) Segmento individuato (e) Segmento individuato Figura 3.6: Esempio di taglio di una sovrapposizione Nuovamente le due forme risultanti vengono rimesse in coda per essere analizzate. Metodo 3: Ricerca miglior combinazione di linee Se non sono state trovate valli dei toni di grigio (metodo 1) o sovrapposizioni (metodo 2) si verifica se il cluster è formato da due o più cromosomi adiacenti. Si cercano tra tutte le combinazioni di linee se ne esistono di tali da far ottenere tutte forme simili ad un cromosoma singolo. Tra queste combinazioni si sceglie quella costituita dal minor numero di linee. Osservando per esempio la situazione presentata in figura 3.7(a), si vede un cluster di tre cromosomi, uno più lungo, orizzontale e due più piccoli attaccati sotto. Nella figura 3.7(b) si vedono tutte le linee rette che uniscono i punti concavi. In 3.7(c) è evidenziata la combinazione con minor numero di linee che segmenta il cluster in cromosomi singoli. Nelle tre successive figure si vedono i segmenti separati. 20

25 Capitolo 3. Segmentazione dell immagine (a) Adiacenza (b) Ipotesi di tagli (c) Linee di adiacenza (d) Segmento individuato (e) Segmento individuato (f) Segmento individuato Figura 3.7: Esempio di taglio Metodo 4: Ricerca valli L ultimo tentativo è ancora una ricerca di tratti di separazione: questa volta però non è richiesto, come nel metodo 1, che il punto terminale del percorso più scuro sia in una concavità. Inoltre la soglia massima di grigio che che il percorso non può superare viene alzata. Si ottiene così un metodo simile al quello del punto 1, ma comunque più efficace, anche se più rischioso. Se nessuno dei metodi precedenti ha avuto successo l oggetto non viene separato. Vediamo ora un caso particolare: può succedere che, in seguito al thresholding, il blob abbia uno o più buchi (figura 3.8(a)). Questi si manifestano ad esempio quando due cromosomi sono adiacenti in due punti. Se si verifica questa situazione si può usare il buco come suggerimento per predire dov è la regione di adiacenza. Ecco quindi che, prima di tutti i metodi elencati finora, se ci sono buchi, si esegue la seguente ricerca: per ogni punto concavo del contorno si individua un percorso di più scuro all interno del blob che arrivi a qualche apertura. Anche in questo caso, se più di uno tra i percorsi individuati arriva a qualche apertura del blob, tra i percorsi candidati viene scelto quello che attraversa pixel mediamente più scuri. (a) Prima del taglio (b) Dopo il taglio Figura 3.8: Esempio di apertura di un buco attraverso un tratto di separazione 21

26 Capitolo 3. Segmentazione dell immagine Il cluster viene tagliato lungo questo percorso scelto e il nuovo blob viene messo nella coda da analizzare. La figura 3.8(b) mostra il risultato del taglio. La figura 3.9 mostra il flow chart dell algoritmo appena presentato. 3.3 Osservazioni L algoritmo proposto sfrutta per la segmentazione le seguenti informazioni: Il tono di grigio dei cromosomi rispetto allo sfondo. La presenza di valli tra cromosomi adiacenti. La presenza di punti concavi in corrispondenza di cluster. La forma degli oggetti. I metodi che su ogni oggetto vengono tentati prendono ispirazione dai lavori di Ji [15, 16] e Agam e Dinstein [2], ma la struttura algoritmica è molto diversa. Anche altre funzioni accessorie come l estrazione dei punti concavi o dell asse degli oggetti, affrontate nel capitolo 4, sono diverse da quelle che offre la letteratura sull argomento. L idea di Ji di considerare la cellula nella sua interezza, e quindi di fare riferimento al numero totale di cromosomi attesi al fine della segmentazione, ci è sembrata impraticabile per il fatto che la variabilità di questo parametro è troppo alta. 22

27 Capitolo 3. Segmentazione dell immagine Acquisisci immagine Thresholding Elimina nuclei e residui Labelling e contorni Coda dei contorni Estrai contorno Cluster? NO SI Apri i buchi Successo? SI Blob risultante in coda NO Ricerca valli Successo? SI Blob risultanti in coda NO Ricerca sovrapposizioni Successo? SI Blob risultanti in coda NO Ricerca miglior combinazione di linee Successo? SI NO Ricerca valli Successo? SI Blob risultanti in coda NO Fine Figura 3.9: Diagramma di flusso dell algoritmo adottato 23

28 Capitolo 3. Segmentazione dell immagine (a) Immagine originale (b) Dopo la segmentazione Figura 3.10: Esempio di segmentazione 24

29 Capitolo 4 I metodi In questo capitolo vengono analizzati in dettaglio i metodi di segmentazione adottati e le motivazioni che hanno portato ad alcune soluzioni piuttosto che altre. Verranno affrontati, in ordine: preprocessing, thresholding, eliminazione nuclei, estrazione dell asse, valutazione della somiglianza di un oggetto ad un cromosoma singolo, estrazione curvatura e punti concavi, ricerca valli, ricerca sovrapposizioni e ricerca migliore combinazione di linee. 4.1 Preprocessing Le metafasi sono spesso sfuocate, con il primo piano poco distinto dallo sfondo. La luminosità è omogenea e non presentano rumore di fondo. Il principale limite alla segmentazione è lo scarso contrasto; ecco perché la prima operazione di preprocessing è un contrast stretching. In particolare si utilizza una funzione puntuale per cui dall immagine originale si ottiene una nuova immagine nella quale l 1% dei valori di intensità è saturato alle intensità minime e massime dell immagine originale. 4.2 Thresholding Il thresholding è un modo facile di ed efficace per effettuare la segmentazione basandosi sulla differenza di intensità di grigio tra le regioni in primo piano e lo sfondo. L ingresso di un processo di thresholding è nel nostro caso un immagine in toni di grigio e l uscita è un immagine in bianco e nero. I pixel neri rappresentano lo sfondo e i pixel bianchi il primo piano. Nell implementazione più semplice la segmentazione è determinata da un singolo parametro di soglia. In un singolo passaggio, ciascun pixel dell immagine viene confrontato con questa soglia. Se l intensità del pixel è superiore alla soglia, il pixel è settato a uno, ovvero bianco, nell uscita. Se è minore, è settato a zero, cioè nero nell uscita. Se g(x, y) è l immagine binarizzata dopo l applicazione della soglia T all immagine f(x, y), allora { 1 f(x, y) > T g(x, y) = (4.1) 0 f(x, y) < T È un metodo semplice e veloce e deve sottostare alle esigenze di conservatività e di capacità di separazione. Infatti maggiore conservatività, intesa come 25

30 Capitolo 4. I metodi maggior numero di pixel assegnati a qualche oggetto, implica meno errori di separazione. Maggiore capacità di separazione implica che ai metodi di segmentazione successiva arriveranno casi meno complicati da risolvere. Il problema maggiore del thresholding è che considera solamente l intensità e nessuna relazione tra pixel. Non c è garanzia che i pixel identificati dal processo di segmentazione siano contigui. È possibile includere pixel estranei che non sono parte della regione desiderata, oppure escludere pixel isolati all interno di una regione. Un altro problema con il thresholding globale è che cambiamenti di illuminazione nell immagine potrebbero portare ad avere zone più illuminate e altre piu in ombra. Nel presente caso comunque l illuminazione delle immagini si presenta costante, quindi il problema non si pone Il metodo adottato Il metodo di della soglia di Otsu [21] applicato all immagine globale si è rivelato troppo conservativo: molti pixel dello sfondo venivano classificati come pixel appartenenti all oggetto. Per aumentare la selettività si è scelto il seguente metodo: a. L immagine viene suddivisa in regioni non sovrapposte di 100x100 pixel. b. Per ogni regione si calcola la soglia di Otsu. Si ottiene in tal modo una matrice di soglie, ognuna relativa ad una regione dell immagine iniziale. c. I valori di soglia vengono interpolati in modo bilineare per ottenere una matrice di soglie della dimensione dell immagine di partenza. d. L immagine di partenza viene confrontata con la matrice di soglie, ottenendo l immagine segmentata. Poiché il thresholding è il primo metodo utilizzato nell algoritmo proposto, un errore di oversegmentazione pesa di più di una mancata segmentazione di un cluster. Infatti se un cluster non viene risolto si può sperare che uno dei metodi successivi lo segmenti. Al termine del thresholding si effettuano alcune operazioni morfologiche di miglioramento. La prima è un erosione avente come elemento strutturale la matrice 4.2(a) seguita da una dilatazione con elemento strutturale la matrice 4.2(b); (a) (b) (c) (4.2) questa operazione modifica leggermente i bordi e separa i blob connessi uno all altro da un solo pixel, come si vede in figura 4.1. Quindi si effettua un apertura morfologica per eliminare i blob troppo piccoli. Infine sempre tramite un operazione morfologica, i buchi di 1 pixel, come il pixel centrale nel pattern 4.2(c), vengono riempiti. L ultima operazione è il labelling, in cui a ogni blob 4 connesso viene assegnata un etichetta diversa. 26

31 Capitolo 4. I metodi (a) Immagine originale (b) Dopo l erosione (c) Dopo la dilatazione Figura 4.1: Separazione di blob connessi da 1 pixel 4.3 Eliminazione nuclei Gli oggetti estranei presenti nelle metafasi sono solitamente dei nuclei. Questi si distinguono dai cromosomi per la loro area, molto più grande, e per la forma arrotondata, come si vede in figura 4.2(a). Un operazione morfologica di erosione applicata all immagine binarizzata permette di individuare i pixel appartenenti a questi blob ed escludere invece i pixel che appartengono ad oggetti simili a cromosomi. In figura 4.2(c) si vede il risultato dell erosione. Individuando nell immagine binaria i pixel connessi a quelli selezionati e con un operazione di sottrazione si riescono ad escludere i nuclei dai seguenti stadi si segmentazione (figura 4.2(d)). Spesso inoltre i nuclei occupano nell immagine posizioni vicine al bordo. La scelta è stata quella di escludere dalla segmentazione una cornice di 10 pixel dal bordo esterno e tutto ciò che è ad essa connesso. 4.4 Estrazione dell asse L estrazione dell asse mediano è utile quando si vogliono ottenere delle caratteristiche di oggetti di forma allungata, dove la larghezza contiene poca (se non nessuna) informazione utile (come ad esempio nel riconoscimento di caratteri o proprio nell identificazione di pattern cromosomici). Gli algoritmi più utilizzati nel caso in esame si fondano sul computo della Medial Axis Transformation (MAT) (Lerner [10], Moradi [3], Piper e Granum [6]). Il medial axis di una regione bidimensionale è definita come il luogo dei centri di tutti i cerchi di raggio massimo inscritti nell oggetto. Questa trasformazione morfologica restituisce lo scheletro dell oggetto; da questo, con qualche operazione che elimina i nodi, si può arrivare ad ottenere l asse cromosomico. In questo studio l algoritmo utilizzato per il calcolo dell asse è stato derivato da uno simile utilizzato già in ambito biomedico per effettuare il tracking dei vasi sanguigni dell occhio umano, ed adattato alle forme cromosomiche. L asse che si ottiene è basato sulla rappresentazione binaria del cromosoma ed è tale da seguire la forma principale del blob, trascurando le escrescenze e i rami secondari. In figura 4.3 si vedono due esempi di blob e il relativo asse calcolato. L asse mediano viene utilizzato per valutare se l oggetto in esame è un cluster o un cromosoma singolo (si veda il paragrafo 4.5. Oltre a questo però è utile ad 27

32 Capitolo 4. I metodi (a) Immagine originale (b) Dopo il thresholding (c) Dopo l erosione (d) Dopo la sottrazione Figura 4.2: Esempio di un eliminazione di un nucleo 28

33 Capitolo 4. I metodi estrarre quelle feature che serviranno alla classificazione, come il la lunghezza, il centromero e il banding pattern. (a) Dopo il thresholding (b) Asse mediano Figura 4.3: 4.5 Conferma di cromosoma singolo Due sono i lavori principali presenti in letteratura che affrontano tale argomento. Agam e Dinstein [2] osservano che, sebbene tutti i cromosomi variano in forma e dimensioni, sono tutti accomunati da una stessa forma di base, quella di un rettangolo che può essere contratto e piegato in un punto. Usando questa osservazione, la valutazione del fit di un cromosoma al suo prototipo viene fatta costruendo un poligono delimitante il cromosoma e calcolando il rapporto tra l area del cromosoma e quella del poligono. Ji [16] adotta invece una procedura basata su regole costruite sull assunzione che un cromosoma abbia approssimativamente lati paralleli e larghezza costante eccetto che per il suo centromero. Misura il profilo di larghezza relativo all asse e se questo cambia improvvisamente, l oggetto viene classificato come cluster Il metodo adottato Il presente lavoro si avvicina molto di più a quest ultimo approccio. Per distinguere un cromosoma da un cluster, nucleo o qualche altro corpo estraneo si sfruttano le seguenti caratteristiche: L area dei blob. La forma. L area viene confrontata semplicemente con due soglie massima e minima determinate a priori per via sperimentale. Per quanto riguarda la forma, come già accennato precedentemente, un cromosoma ha lati quasi paralleli, ovvero la distanza dell asse dai bordi è approssimativamente costante. Come primo test si verifica se i calibri del blob, cioè le distanze da un bordo all altro lungo la direzione ortogonale all asse siano entro un certo range di variazione lungo tutto l asse mediano. Un ulteriore verifica sulla forma è la seguente: si procede a dilatare l asse mediano con un disco, il cui diametro è leggermente superiore della larghezza media dell oggetto, e si sottrae al blob originale. Se una porzione sostanziale dell oggetto rimane scoperta, l oggetto non è classificato come cromosoma ma 29

34 Capitolo 4. I metodi come cluster. In figura 4.4 si può vedere un esempio di questa situazione. La figura 4.4(a) è il blob da valutare. In 4.4(b) si vede l asse (linea continua). In figura 4.4(c) l asse dilatato (in grigio). Buona parte del cluster rimane scoperto (in bianco). In figura 4.4(c) è stato riportato l andamento dei diametri del blob calcolati lungo l asse. Il metodo di valutazione realizzato restituisce un voto del blob in esame. Se il blob è un cluster il voto è inferiore alla sufficienza. Se invece le due verifiche finora enunciate hanno esito positivo (calibri entro il range lungo tutto l asse e area scoperta trascurabile) il blob ottiene la sufficienza. In quest ultimo caso il voto è maggiore se l andamento dei calibri ha andamento abbastanza costante. 4.6 Curvatura e punti concavi Per determinare i punti concavi viene calcolata la curvatura del contorno. In due dimensioni, se esprimiamo una curva per mezzo di due equazioni cartesiane parametriche y = y(t) e x = x(t), si definisce curvatura la derivata dell arco tangenziale rispetto alla lunghezza dell arco e si dimostra essere pari a: k = x y y x (x 2 + y 2 ) 3 2 (4.3) I contorni che si estraggono in seguito alla binarizzazione sono contorni discreti. È necessario che il metodo utilizzato per il calcolo sella curvatura prevenga il rumore sulla curvatura dovuto alle fluttuazioni locali del contorno. Shunren [4] e Agam e Dinstein [2] sfruttano una rappresentazione chain code del contorno; i secondi utilizzano questo chain code per calcolare la K inclinazione: l inclinazione in ogni pixel della curva è definita come l inclinazione della linea che connette quel pixel con il pixel del contorno che sta K posizioni più a destra. Dalla K inclinazione calcolano la K curvatura in un punto come la differenza tra la K inclinazione in quel punto e la K inclinazione del pixel che occupa sul contorno K posizioni più a destra Il metodo adottato Poiché il contorno è espresso dalle coordinate dei pixel che stanno sul bordo, per avere la funzione che approssima il contorno si è utilizzata una spline cubica regolarizzata. A questo punto la funzione curvatura viene filtrata delle componenti ad alta frequenza per trascurare fluttuazioni spurie. Le concavità del contorno corrispondono ora ai minimi locali della funzione filtrata. La figura 4.5(a) rappresenta un esempio di contorno di un blob. Sono evidenziati i punti concavi rilevati dal metodo appena esposto. In 4.5(b) si può osservare il grafico dell andamento della curvatura, il suo spettro in frequenza spaziale e la curvatura filtrata. 4.7 Ricerca valli La ricerca delle valli del tono di grigio è un metodo già adottato in letteratura da Ji nel 1989 [15, 16] ma anche più recentemente da Karvelis nel 2005 [17]. Poiché 30

35 Capitolo 4. I metodi (a) Cluster di due cromosomi (b) Asse mediano (c) Asse dilatato (in grigio) 35 Diametri del blob Diametri (pixel) Distanza sull asse (d) Figura 4.4: Metodo per la valutazione di cromosoma singolo 31

36 Capitolo 4. I metodi (a) Contorno e punti concavi 0.5 Curvatura Contenuto spettrale e risposta del filtro passa basso Curvatura filtrata (b) Funzione curvatura, suo contenuto spettrale e curvatura filtrata Figura 4.5: 32