Servizio posta

Transcript

1 Servizio posta Situazione al 27/09/2012 Marco De Rossi Marco Esposito Antonio Forte

2 Situazione al 09/05/2012 Panoramica SMTP IMAP Situazione al 22/07/20120 Panoramica SMTP Sommario Situazione attuale Panoramica IMAP Caratteristiche del nuovo servizio IMAP Dovecot: vantaggi e svantaggi Attività di migrazione Procedure backup e restore Attività e sviluppi futuri 2

3 Situazione al 09/05/2012 Panoramica postino3 / postino4 (alias smtp.roma1.infn.it) MX di dominio SMTP in ingresso e in uscita + antispam/antivirus milter greylist mailbox IMAP webmail macchina virtuale Xen sul cluster RH in produzione interfaccia web servizio IMAP lists macchina virtuale Xen sul cluster RH in produzione gestione mailing list 3

4 postino3 Situazione al 09/05/2012 SMTP 1/2 hardware HP Proliant DL380 G4 (fuori manutenzione) 2 processori Intel Xeon 3.40 GHz 4 GB di RAM software Scientific Linux 5.0 PureMessage 5.6 Centralized Server Manager (CSM): quarantena, regole antispam, white/black lists Edge Server milter greylist difesa dallo spam: consegna ritardata della posta Sendmail SMTP in ingresso (MX per il dominio) SMTP in uscita non autenticato dall interno del dominio autenticato con certificato X.509 da fuori domino 4

5 postino4 Situazione al 09/05/2012 SMTP 2/2 hardware HP Proliant DL380 G4 (fuori manutenzione) come postino3 software Scientific Linux 5.0 PureMessage 5.6 Edge Server milter greylist come postino3 Sendmail come postino3 5

6 mailbox Situazione al 09/05/2012 IMAP hardware HP Proliant DL380 G4 (fuori manutenzione) 2 processori dual-core AMD 2.40 GHz 8 GB di RAM HBA dual-port verso SAN software Scientific Linux bit modulo Qlogic per gestione HBA UW IMAP 2007f folder IMAP in formato MBX folder IMAP à file contenente tutte le IMAP su SSL folder IMAP su filesystem ext3 procmail per la consegna della posta (INBOX/SPAM) backup su sanbackup basato su rsync 6

7 Situazione al 22/07/2012 Panoramica postinoauth1 (alias smtp.roma1.infn.it) SMTP in uscita non autenticato dall interno del dominio autenticato con username/password oppure con certificato X.509 da fuori domino postino3 / postino4 SMTP solo in ingresso (MX per il dominio) aggiornamento a PureMessage 6.0 mailbox (invariata) IMAP webmail (invariata) interfaccia web servizio IMAP lists (invariata) gestione mailing list 7

8 Situazione al 22/07/2012 SMTP 1/3 postinoauth1 (alias smtp.roma1.infn.it) hardware E4 (?) (fuori manutenzione) 1 processore dual-core Intel Xeon GHz 4 GB di RAM software Scientific Linux 5.8 Sendmail milter greylist 8

9 Situazione al 22/07/2012 SMTP 2/3 autenticazione dall esterno LAN: certificato personale INFN-CA: porta STARTTLS + No authentication username e password kerberos: porta STARTTLS + Normal password porta SSL/TLS + Normal password (vecchi client) possibilità di utilizzare combinazioni di cui sopra (certificato + username e password) autenticazione dall interno LAN: nessuna: porta 25 (traffico in chiaro) tutte quelle supportate dall esterno LAN 9

10 Situazione al 22/07/2012 SMTP 3/3 certificato rilasciato da COMODO per smtp.roma1.infn.it principali modifiche in /etc/mail/sendmail.mc configurazione RELAY in /etc/mail/access 10

11 postinoauth1 (invariata) SMTP in uscita autenticato Situazione attuale Panoramica postino3 / postino4 (invariata) MX di dominio SMTP in ingresso + antispam/antivirus milter greylist mailshell Hypervisor Xen mailboxvm (alias mailbox.roma1.infn.it) Macchina virtuale Xen IMAP webmail (invariata) interfaccia web servizio IMAP lists (invariata) gestione mailing list 11

12 Situazione attuale IMAP 1/2 mailshell macchina fisica hardware HP Proliant DL360 G5 (fuori manutenzione) 2 processori quad-core Intel Xeon 2.66 GHz (8 CPU) 8 GB di RAM HBA dual-port verso SAN software Scientific Linux bit modulo DM-Multipath per gestione HBA Xen Hypervisor

13 Situazione attuale IMAP 2/2 mailboxvm (alias mailbox.roma1.infn.it) hardware macchina Xen paravirtualizzata 3 cpu virtuali 6 GB di RAM software Scientific Linux bit Dovecot 2.1 Procmail per la consegna della posta (INBOX/SPAM) folder IMAP su file system ext3 13

14 Caratteristiche del nuovo servizio Dovecot 2.1 IMAP 1/3 Folder IMAP in formato Maildir++ 1 à 1 file un folder può contenere sia che subfolder ogni folder utente contiene 3 directory: cur, new, tmp folder cur new tmp 14

15 Caratteristiche del nuovo servizio IMAP 2/3 tmp contiene i messaggi appena consegnati dal MTA new dopo la consegna i messaggi vengono spostati da tmp in new tramite hard-link cur quando il MUA si collega i messaggi vengono spostati in cur 15

16 Caratteristiche del nuovo servizio IMAP 3/3 Organizzazione dei folder sul file system INBOX foo /var/imap/<username>/cur /var/imap/<username>/new /var/imap/<username>/tmp /var/imap/<username>/.foo/cur /var/imap/<username>/.foo/new /var/imap/<username>/.foo/tmp bar1 bar2 /var/imap/<username>/.foo.bar1/cur /var/imap/<username>/.foo.bar1/new /var/imap/<username>/.foo.bar1/tmp /var/imap/<username>/.foo.bar2/cur /var/imap/<username>/.foo.bar2/new /var/imap/<username>/.foo.bar2/tmp 16

17 Dovecot: vantaggi e svantaggi Vantaggi 1 mail à 1 file: migliorate performance I/O e performance dell intero servizio IMAP; load average < 0,7 soluzione scalabile: più server IMAP contemporanei utilizzando clustered filesystem (nostro test con OCFS2) backup differenziale più efficiente: meno dati da trasferire macchina virtuale semplice da migrare su altro hardware (rottura macchina fisica, cluster) Svantaggi non consentito carattere. nei nomi dei folder; eventuali. creano sottofolder (v. slide predecente) in fase di migrazione convertiti tutti i. in _ nei nomi folder restore da nastro più lento: necessità di leggere molti file 17

18 Attività di migrazione 1/2 Installazione mailshell configurazione DM-Multipath creazione volumi su SAN configurazione Xen con esportazione volumi a vm Installazione mailboxvm configurazione utenti posta elettronica (NIS) configurazione e test di Dovecot 18

19 Attività di migrazione 2/2 Migrazione rinominato nel DNS mailbox in mailboxold mailbox diventa alias di mailboxold modifica userdb su postino3/4 per consegnare posta su mailboxold e mailboxvm stop imap su mailboxold e mailboxvm (no lettura mail) stop sendmail su mailboxold e mailboxvm (no delivery mail) conversione folder utenti tramite script uw2dovecot.pl (MBX à Maildir++) verifica esito conversione (conteggio mail su mailboxold e mailboxvm) ripristino sendmail su mailboxold e mailboxvm mailbox diventa alias di mailboxvm ripristino imap su mailboxvm Post-migrazione test nuovo sistema in produzione (eventuale ripristino di mailboxold) aggiornamento procedure di backup spegnimento di mailboxold (21/09/2012) ripristino userdb su postino3/4 per consegnare posta su mailbox 19

20 Procedure di backup e restore Problemi con procedura backup lentezza compressione file (oltre ) Nuova procedura backup eliminazione compressione file eliminazione rotazione giornaliera backup backup su sanbackup in /backup/posta/mailboxvm/current rsync differenziale giornaliero di current (con Maildir++ meno dati da trasferire) backup di current su Bacula Nuova procedura restore restore veloce da current (solo giorno precedente) restore da Bacula per giorni precedenti procedura da rivedere su wikisicr 20

21 Attività e sviluppi futuri implementare vacation eliminare vecchio SPAM dai folder utente attivare SPAM con digest e gestione quarantena eliminare forward mail su userdb di postino3/postino4 (31 casi) virtualizzazione postino3/postino4/postinoauth1 cluster (dedicato?) per il servizio di posta mailboxvm postino3 postino4 pstinoauth1 webmail lists spostamento filesystem folder utenti su nuovo storage DELL altro? 21