Applicazioni biotecnologiche in systems biology

Transcript

1 Applicazioni biotecnologiche in systems biology Lezione #3 Dr. Marco Galardini AA 2012/2013

2 Analisi dati sequenziamento massivo Lezione #3 Dr. Marco Galardini AA 2012/2013

3 NGS: Next Generation Sequencing MacLean et al., 2009

4 Sequenziamento del genoma Genoma: intera sequenza nucleotidica di un organismo Sequenziamento: determinazione di una sequenza nucleotidica Le tecniche di sequenziamento Generazione 0 Sequenziamento chimico Generazione 1 Dye-terminator Generazione 2 NGS con pre-amplificazione Generazione 3 NGS su singola molecola NGS: Next Generation Sequencing

5 Le tecniche di sequenziamento Generazione 0 Sequenziamento chimico Generazione 1 Dye-terminator Generazione 2 NGS con pre-amplificazione Generazione 3 NGS su singola molecola Generazione 4???

6 Tutte le tecniche di sequenziamento portano alla produzione di molte sequenze corte ( bp) Il genoma batterico più corto è circa 1Mb (500 volte la reads più lunga) Un gene batterico è lungo in media 300 bp Necessario unire insieme le varie reads per ottenere un genoma Trimming, Assembling, Scaffolding

7 Controllo qualità Il trimmaggio delle reads

8 Qualità e Probabilità BASES A C T G ERROR 1% 0.1% 0.01% 0.001% QUALITY Base scartata Qualità generalmente accettata

9 Identificativo sequenza (ID) Il formato FASTA Sequenza (DNA, RNA o proteina) Formato file per immagazzinare sequenze biologiche Uno dei formati più semplici (contiene solo la sequenza e il suo nome ) Un file può contenere più di una sequenza Quando si incontra il carattere > all inizio di una riga parte una nuova sequenza

10 Identificativo sequenza (ID) E la qualità? Sequenza (DNA, RNA o proteina) Non c è modo di conoscere il valore di qualità delle singole basi Formato non adatto ai dati di sequenziamento grezzi Il formato FASTA viene usato per sequenze finite, la cui qualità è stata controllata

11 Il formato TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc

12 Il formato TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità Esempio di codifica della qualità: b = 98 e = 101 g = 103 i = 105 h = 104 c = 99 a = 97 d = 100

13 Codifica della TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità Esempio di codifica della qualità: b = 98 e = 101 g = 103 i = 105 h = 104 c = 99 a = 97 d = TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC

14 Codifica della TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità Esempio di codifica della qualità: b = 98 e = 101 g = 103 i = 105 h = 104 c = 99 a = 97 d = TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC

15 Codifica della TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità Esempio di codifica della qualità: b = 98 e = 101 g = 103 i = 105 h = 104 c = 99 a = 97 d = TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC

16 Codifica della TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità Esempio di codifica della qualità: b = 98 e = 101 g = 103 i = 105 h = 104 c = 99 a = 97 d = TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC

17 Codifica della TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc «@» Precede l id univoco della sequenza «+» Separa la sequenza nucleotidica dalla qualità La qualità deve essere codificata con un unico carattere come la sequenza, In modo da evitare interpretazioni ambigue (e risparmiare TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC

18 Codifica della La qualità viene codificata usando i caratteri ASCII (lettere, numeri e simboli) Esiste una tabella per convertire ogni carattere ad un determinato valore di qualità Ogni produttore di macchinari di sequenziamento utilizza una propria tabella

19 Codifica della qualità Le varie ditte produttrici di macchine per il sequenziamento NGS, non hanno (ancora?) concordato uno standard comune di qualità Di fatto, ogni tipologia di reads deve essere trattata utilizzando parametri di conversione propri dello strumento che l ha generata SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS......XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX......IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII......JJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJ... LLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLL...!"#$%&'()*+,-./ :;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijk

20 Controllo qualità Basi di scarsa qualità Analisi della qualità delle reads tramite il programma FastQC

21 Controllo qualità Basi di scarsa qualità

22 Trimming Eliminazione delle basi a bassa qualità Eliminazione totale delle reads troppo corte dopo la rimozione delle basi a bassa qualità

23 Esempio: Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A C C A Dr. Giovanni Bacci

24 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A C C A Q A - Cutoff > 0? NO La base viene rimossa e si ripete il test con la base precedente

25 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A C C Q C - Cutoff > 0? SI NO La base viene mantenuta e la finestra allargata La base viene rimossa e si ripete il test con la base precedente

26 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A C C (Q C Cutoff) + (Q C Cutoff) > 0? SI NO La base viene mantenuta e la finestra allargata Le basi vengono rimosse e si ripete il test con la base precedente

27 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A C C (Q C Cutoff) + (Q C Cutoff) > 0? SI NO La base viene mantenuta e la finestra allargata Le basi vengono rimosse e si ripete il test con la base precedente

28 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A (Q A - Cutoff) > 0? SI NO La base viene mantenuta e la finestra allargata La base viene rimossa e si ripete il test con la base precedente

29 Streaming-Trim algorithm A C T G A C C A G C T A G C T T G G A A C G T A G G C A G T T A A min max Σ min n=max(q n - Cutoff) > 0? SI NO La base viene mantenuta e la finestra allargata Le basi vengono rimosse e si ripete il test con la base precedente

30 Streaming-Trim algorithm Eliminazione delle basi a bassa qualità Eliminazione totale delle reads troppo corte dopo la rimozione delle basi a bassa qualità

31 Assemblaggio

32 Assemblaggio Assemblaggio: processo con il quale le singole reads vengono allineate e unite fra loro a formare una sequenza di lunghezza maggiore Nel migliore dei casi si ottiene la sequenza completa (senza gap) del genoma di interesse Nella maggior parte dei casi si ottengono una serie di sequenze di varia lunghezza chiamate contigs

33 Profondità del sequenziamento Read singola Genoma completo Il campione genomico viene frammentato (casualmente) ed amplificato Dato l alto numero di frammenti letti dal sequenziamento, statisticamente ogni parte del genoma viene letta più volte La profondità (o coverage) indica quante volte in media ogni base è stata letta durante il sequenziamento

34 1X 2X 3X 4X La profondità minima accettata è circa 30X (ogni base è stata letta almeno 30 volte) Le tecnologie NGS producono una quantità maggiore di reads: profondità > 100X

35 Assemblaggio L assemblaggio delle reads prevede la codifica delle reads (e delle relazioni reciproche) in un grafo (o network)

36 Assemblaggio Introduzione ai network

37 Introduzione ai grafi E possibile visitare tutti i quartieri attraversando i ponti esattamente una volta e tornando al punto di partenza? Concetto introdotto da Eulero nel 1735 Ogni quartiere è rappresentato da un nodo (o vertice), mentre ogni ponte è rappresentato da un arco

38 Introduzione ai grafi C A D Nodi: A, B, C, D Archi: (A,C) (A,C) (A,B) (A,B) (A,D) (C,D) (B,D) B

39 Introduzione ai grafi Grafo indiretto: Gli archi non hanno direzione Possono essere percorsi in entrambi i versi Grafo diretto (digrafo): Gli archi possiedono una direzione Archi orientati Un grafo indiretto può essere trasformato in un grafo diretto: ogni arco viene trasformato in due archi con direzioni opposte e medesimi vertici

40 Introduzione ai grafi Quartiere 1 Quartiere 4 100m 70m 60m 50m 50m Quartiere 3 100m 70m Quartiere 2 I nodi e gli archi possono possedere degli attributi, che ne definiscono delle proprietà Esempio: Nodi (nomi dei quartieri della città) Archi (lunghezza dei ponti)

41 Introduzione ai grafi Grado: 3 Grado: 5 Grado: 3 Grado: 3 Grado: Numero di archi incidenti su un vertice Indica il grado di connessione di un singolo vertice o dell intero grafo Grafo k-regolare: tutti i vertici hanno medesimo grado Nei network biologici il grado ha implicazioni importanti

42 Esempio: social network I vertici rappresentano le persone (attributi: nome, sesso, età) Gli archi rappresentano relazioni (ad es. amicizia) (attributi: numero di interazioni) Vertici ad alto grado rappresentano persone con molte amicizie

43 Introduzione ai grafi V3 V4 V0 V2 Vn V1 V5 Percorso: Serie di vertici V0 Vn e di archi (V0, V1) (Vn-1, Vn) Un cammino prevede che i due vertici agli estremi del percorso siano diversi

44 Introduzione ai grafi V2 V1 V3 V0 Vn V4 Ciclo: Percorso i cui vertici agli estremi coincidono

45 Introduzione ai grafi V2 V1 V3 V0 Vn V4 E possibile visitare tutti i quartieri attraversando i ponti esattamente una volta e tornando al punto di partenza? Ciclo: Percorso i cui vertici agli estremi coincidono

46 Assemblaggio Metodo Sanger e grafo de Bruijn

47 Assemblaggio Genome length: 10bp // Reads length: 7bp L assemblaggio delle reads prevede la codifica delle reads (e delle relazioni reciproche) in un grafo (o network) Per chiudere il genoma è necessario individuare un ciclo all interno del grafo

48 Assemblaggio Metodo Sanger Le reads vengono divise in frammenti più piccoli lunghi k (k-mers) I vertici rappresentano i k-mers Gli archi rappresentano gli allineamenti fra i k- mers L assemblaggio avviene cercando all interno del grafo un ciclo hamiltoniano Un ciclo in cui ogni vertice viene visitato al massimo una volta

49 Assemblaggio Metodo Sanger

50 Assemblaggio Metodo Sanger Metodo usato nei sequenziamenti Sanger Metodo computazionalmente costoso Tutti gli allineamenti fra i k-mers devono essere calcolati per costruire il grafo 10 6 reads = allineamenti 10 9 reads = allineamenti La ricerca del ciclo hamiltoniano è un algoritmo che richiede molto tempo Impossibile usare questo approccio per l NGS

51 Assemblaggio Metodo de Bruijn Le reads vengono divise in frammenti più piccoli lunghi k (k-mers) Gli archi rappresentano i k-mers I vertici rappresentano i prefissi e suffissi dei k-mers lunghi k-1 L assemblaggio avviene cercando all interno del grafo un ciclo euleriano Un ciclo in cui ogni arco viene visitato al massimo una volta

52 Assemblaggio Metodo de Bruijn

53 Assemblaggio Metodo de Bruijn Metodo meno costoso Il tempo di calcolo è circa proporzionale al numero di reads Non è necessario allineare fra loro i k- mers Tutti i moderni programmi di assemblaggio (assemblatori) sfruttano questo grafo Abyss, velvet, ray, SOAPdenovo,

54 Assemblaggio - Problemi Errori nel sequenziamento portano alla formazione di bolle nel grafo Difficile determinare quale ramo della bolla rappresenta l assemblaggio corretto

55 Assemblaggio - Problemi Sequenze duplicate portano a leggere più volte lo stesso k-mer Necessario aggiungere tanti archi quante sono le ripetizioni Stimare il numero di duplicazioni è difficile Le sequenze ripetute sono molto comuni nei genomi (es. trasposasi nei batteri)

56 Assemblaggio - Problemi Cromosomi multipli e cromosomi lineari Il genoma di interesse può contenere cromosomi multipli Bisogna trovare un ciclo euleriano per ogni cromosoma Difficile conoscere in anticipo il numero di cromosomi (o plasmidi) presenti in un genoma Scelta del miglior numero k I vari problemi di assemblaggio fanno sì che si ottengano contig (o contigui) K più grandi significano un minor numero di bolle e quindi contig più lunghi Maggior costo computazionale Inclusione di errori nella sequenza

57 Reads Contigs Genome Assemblaggio

58 Assemblaggio Controllo qualità

59 Assemblaggio Controllo qualità Parametri di controllo di un assemblaggio Numero di contig (basso è meglio) Lunghezza media dei contig (alta è meglio) Valore N50: lunghezza del contig oltre il quale se si usano contig di lunghezza maggiore si stanno considerando il 50% delle basi dell assemblaggio (alto è meglio) N80, N90, N70, ecc ecc Se il genoma chiuso è disponibile (o comunque un genoma molto vicino): Numero di misassemblies: Porzioni di contig invertiti o traslocati

60 Assemblaggio Controllo qualità

61 Assemblaggio Dal FASTQ al FASTA

62 Conservazione dati NGS Sanger sequencing Bassa quantità di dati prodotti Ridotto spazio per la conservazione sia delle reads che dei contig/genomi Genoma batterico in formato FASTA: 1Mb ogni milione di basi Un genoma di E.coli = 4/5 Mb Un genoma batterico in formato FASTQ: La dimensione dipende dal numero di reads Il formato FASTQ contiene almeno il doppio di informazioni rispetto al FASTA Per ogni base ho il valore della qualità

63 Conservazione dati TTACCGCGGCTGCTGGCACGGAGTTAGCCGGGGCTTCTTCTCCGGCTACCGTCATTATC + bbbeeeeegggggiiiiiiiihighiiiiiiiigggeeedeedacccccccacacdddc Esempio di sequenziamento NGS: Dimensione genoma (FASTA): 7Mb Reads in formato FASTQ: 2.4 GB

64 Scaffolding Dai contig ai supercontig

65 Scaffolding Reads Contigs Genome Se il genoma chiuso è disponibile (o comunque un genoma molto vicino): Possiamo stimare la posizione relativa dei contig ottenuti tramite un allineamento contro il genoma chiuso più vicino L avvento delle tecniche NGS ha fatto sì che ad oggi siano disponibili 2303 genomi batterici completi E molto probabile che per ogni nuovo sequenziamento sia disponibile un genome di riferimento vicino

66 Example: the CONTIGuator algorithm Allineamento al genoma di riferimento: BLAST Applicazione di una serie di cut-offs: Lunghezza minima di allineamento Contig coverage (%): per essere considerato mappato il contig deve avere una percentuale minima della sua lunghezza presente nell allineamento I contig mappati in più punti (trasposasi, IS) sono scartati

67 Example: the CONTIGuator algorithm Reference Contig // Scaffold Estrazione dell ordinamento relativo dei contigs: generazione di uno scaffold I buchi nello scaffold possono essere riempiti progettando delle reazioni di PCR fra i contig

68 Example: the CONTIGuator algorithm

69 Annotation From sequences to genes

70

71 Where are the genes?

72 Annotation or Gene calling

73

74 (Common) start codons: ATG, GTG, TTG Assuming that all the codons are equiprobable 5% of the codons are stop codons (3/64) ~ every 60bp we should encounter a stop codon BUT The average bacterial gene size is ~ 300bp Naive annotation method: Find all the DNA region starting with a start codon and long more than 60bp Open Reading Frames (ORFs)

75 Forward Reverse Problems: Each one of the 6 frames has to be considered Which frame should be considered in case of multiple ORFs?

76 Problems: Many start codons can be found inside an ORF Which one is the right one?

77 Other proof of the presence of an ORF: A ribosomal binding site (RBS) In case of an operon it may not be present Problems: Microbial genomes are dense Small intergenic regions ORFs can overlap each other

78 We assumed that all the codons are equiprobable BUT In bacterial genomes we have: different codon usages variable GC content * different intergenic distances ** Each genome has a particular codon frequency * High GC means lower stop codon frequency ** related to the species lifestyle

79 Eukaryotes are even more complicated: Lower gene frequency (more junk DNA) Presence of exons and introns

80 Annotation methods: Experimental: Through proteomics and transcriptomics Expensive and time-consuming Some genes may not be expressed in vitro Extrinsic: Similarity-based methods BLAST is often used Alignments using transcriptomics data and similar genomes Intrinsic: Ab initio methods: based only on the sequence Mostly statistical methods, based on ORF length, RBS, intergenic distances Dynamic programming, HMM Methods validated with manually curated gene predictions

81 Ab-initio methods: Dynamic programming Computational approach Used to solve complex problems The overall problem is divided in smaller (and simpler) pieces The results of the smaller pieces are stored for quick lookup Used also in alignments

82 Ab-initio methods: Dynamic programming In gene annotation: Used to find the best gene models The overall problem is to find all the genes The smaller problem is the prediction of single genes Each gene model is related to its neighborhoods with a score The sequence of genes with the best score is the most probable

83 Ab-initio methods: Hidden Markov Models Statistical approach A series of states with transitions having different probabilities Used to model sequences of connected objects/events In gene annotation: General features of annotated genomes can be used to build an HMM to be used in the annotation Features like ORFs length, stat codon preference, intergenic distance, Species specific HMMs

84 Ab-initio methods Glimmer (HMM, used at TIGR) Prodigal (Prokaryotic Dynamic Programming Genefinding Algorithm) GeneMarkHMM (HMM, used for Haemophilus influenzae) EasyGene (HMM, with species specific HMMs) Med (Sequence entropy estimations) Most of the gene predictions are similar despite of the approach The biggest differences are on the start codon position Errors in gene annotation can be propagated to other new genomes Combination of various methods can be used for manual curation

85 Prodigal: dynamic programming score

86 Prodigal: other parameters Many corrections have to be made to maximize the predictions