Filesystem e Dischi. Problemi e soluzioni. Federico Amedeo Izzo. federico.izzo42@gmail.com

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Filesystem e Dischi. Problemi e soluzioni. Federico Amedeo Izzo. federico.izzo42@gmail.com"

Teodoro Bianco
8 anni fa
Visualizzazioni

1 Filesystem e Dischi Problemi e soluzioni federico.izzo42@gmail.com

2 Benvenuti Queste slides sono disponibili su filesystem.izzo.ovh

3 Archiviazione

4 Argomenti principali:

5 Argomenti principali: Disk failure e silent data corruption

6 Argomenti principali: Disk failure e silent data corruption Privacy dei dati

7 Argomenti principali: Disk failure e silent data corruption Privacy dei dati Volume management

8 Argomenti principali: Disk failure e silent data corruption Privacy dei dati Volume management Snapshot / Backup

9 Disk failure: gli hard disks si rompono Se un hard disk si rompe, i dati al suo interno vengono persi (a meno di un backup)

10 Disk failure: gli hard disks si rompono Se un hard disk si rompe, i dati al suo interno vengono persi (a meno di un backup) Una soluzione è il RAID Redundant Array of Independent Disks Divide i dati su più dischi permettendo: Sopravvivenza alla rottura di uno o più dischi Aumento di prestazioni rispetto ad un disco singolo

Array of Independent Disks Divide i dati su più dischi permettendo:

11 RAID 0 Divide i dati su più dischi RAID 0 effettuando lo striping pro: alte prestazioni su R / W contro: affidabilità peggiore A1 A3 A5 A7 A2 A4 A6 A8 di un disco singolo, Disk 0 Disk 1 non fault tolerant

12 RAID 1 Data mirroring RAID 1 tra due o più dischi pro: buona velocità lettura, fault tolerant A1 A2 A3 A4 A1 A2 A3 A4 contro: velocità scrittura pari al Disk 0 Disk 1 disco più lento

13 RAID 5 Data striping with distributed parity RAID 5 A1 A2 A3 Ap pro: lettura veloce, B1 C1 Dp B2 Cp D1 Bp C2 D2 B3 C3 D3 fault tolerant contro: scrittura lenta Disk 0 Disk 1 Disk 2 Disk 3 per calcolo XOR

14 RAID 10 (1+0) Data striping between mirrored disks RAID 1+0 RAID 0 RAID 1 RAID 1 pro: Performance ottime, fault tolerant A1 A3 A5 A7 A1 A3 A5 A7 A2 A4 A6 A8 A2 A4 A6 A8 contro: richiede 4 dischi, Disk 0 Disk 1 Disk 2 Disk 3 solo metà della capacità è utilizzabile

A7 A1 A3 A5 A7 A2 A4 A6 A8 A2 A4 A6 A8 contro: richiede 4 dischi,

15 RAID 0 RAID 1 A1 A3 A5 A7 A2 A4 A6 A8 A1 A2 A3 A4 A1 A2 A3 A4 Disk 0 Disk 1 Disk 0 Disk 1 RAID 1+0 RAID 0 RAID 5 RAID 1 RAID 1 A1 B1 C1 Dp A2 B2 Cp D1 A3 Bp C2 D2 Ap B3 C3 D3 A1 A3 A5 A7 A1 A3 A5 A7 A2 A4 A6 A8 A2 A4 A6 A8 Disk 0 Disk 1 Disk 2 Disk 3 Disk 0 Disk 1 Disk 2 Disk 3

A2 B2 Cp D1 A3 Bp C2 D2 Ap B3 C3 D3 A1 A3 A5 A7 A1 A3 A5 A7 A2 A4 A6

16 Inconvenienti: RAID può rimediare alla rottura di un disco ma non protegge da errori R/W o dati corrotti Silent data corruption: Il cambiamento anche di un solo bit può portare a corruzione dei dati, che noteremo solo al momento del loro utilizzo Se non eliminato, un errore può venire replicato in un backup

di un solo bit può portare a corruzione dei dati, che noteremo solo al

17 Soluzioni: data scrubbing: controllo periodico del disco che segnala bad sectors e inconsistenze con i parity bit o tra le copie Non sempre è in grado di decidere quale di due dati discordanti è quello sano checksum dei blocchi: filesystem come ZFS o Btrfs

copie Non sempre è in grado di decidere quale di due dati

18 ZFS Creato da Sun Microsystems nel 2005, Distribuito con licenza incompatibile con GPL, problemi di integrazione nel kernel linux Btrfs Sviluppato da Oracle nel 2007, attualmente contribuiscono Facebook, Intel, Red Hat

integrazione nel kernel linux Btrfs Sviluppato da

19 Entrambi dispongono di features avanzate:

20 Entrambi dispongono di features avanzate: CopyOnWrite Quando si copia un file, sul disco vengono aggiunti solo i dati che lo distinguono dal primo

21 Entrambi dispongono di features avanzate: CopyOnWrite Quando si copia un file, sul disco vengono aggiunti solo i dati che lo distinguono dal primo Deduplication Evita di scrivere copie dello stesso dato (ZFS) o scansiona il disco per eliminare duplicati (Btrfs)

22 Data & Metadata checksums Viene salvato un checksum(hash) per ogni blocco di dati e metadati, Permette di rivelare silent data corruption

23 Data & Metadata checksums Viene salvato un checksum(hash) per ogni blocco di dati e metadati, Permette di rivelare silent data corruption Funzionalità RAID integrate ZFS offre RAID-Z (simile a RAID5), Btrfs può creare e gestire tutti i tipi di RAID visti finora Se un checksum fallisce, ZFS e Btrfs sfruttano il RAID per recuperare in modo trasparente i dati

24 Volume management Gestisce le partizioni in modo virtuale, permette di modificarle in modo semplice e meno rischioso

25 Volume management Gestisce le partizioni in modo virtuale, permette di modificarle in modo semplice e meno rischioso Snapshots Possibilità di creare un'immagine di un intero volume ad un dato istante (COW), e di ripristinarla o utilizzarne i file

26 Features ZFS e Btrfs, domande? CopyOnWrite Deduplication Data & Metadata checksums Funzionalità RAID integrate Volume management Snapshots

27 Uno sguardo alla sicurezza: I dati su un disco non cifrato sono accessibili avviando un altro sistema sul PC (es: usb linux) LUKS Standard per la cifratura dei dischi su linux Viene richiesta una passphrase all'avvio del pc per sbloccare il disco Il disco è normalmente utilizzabile una volta sbloccato

28 Lo spazio libero del disco deve essere indistinguibile da quello occupato da LUKS, inoltre serve eliminare tracce dei vecchi dati non cifrati Per questo è utile scrivere dati casuali sull'intero disco. /dev/sdx è il disco o partizione di destinazione (fare attenzione) # dd if=/dev/urandom of=/dev/sdx bs=4096

29 LVM Logical Volume Management: permette di gestire le partizioni ad un livello di astrazione superiore. Volume management e snapshot (COW) Rinominare e raggruppare partizioni Disk striping Mirrored volumes LVM è superfluo con Btrfs o ZFS, in quanto integrano già queste features

30 LVM è strutturato in: Physical Volume (PV): Disco o partizione utilizzabile da LVM Volume Group (VG): Disco virtuale formato da uno o più PV (anche su dischi diversi) Logical Volume (LV): Partizioni virtuali all'interno di un VG

31 Snapshots/Backup Uno snapshot è un' immagine di un intero volume, permette di ripristinare il sistema ad uno stato precedente Un backup fornisce una copia di dati importanti ma non copre l'intero sistema RAID is not backup Come abbiamo visto RAID protegge solo da alcuni fattori, Un backup è essenziale in ogni caso!

Documenti analoghi

RAID, LVM, LUKS: Play with disks.

RAID, LVM, LUKS: Play with disks. Mario Polino Corsi Avanzati Linux - 2014 RAID POuL M. Polino RAID, LVM, LUKS 2 RAID What? POuL M. Polino RAID, LVM, LUKS 3 RAID What? POuL M. Polino RAID, LVM, LUKS 3