Reti neurali Il calcolo con le reti neurali si basa sull'analogia coi sistemi neurali biologici Computer seriale: una CPU accentra le capacità di calcolo eseguendo le istruzioni in sequenza Approccio particolarmente efficiente quando il problema può essere ridotto ad un algoritmo ma presenta grossi limiti nella soluzione di problemi quali il riconoscimento e la processazione di immagini Reti neurali: numero elevato di processori dotati di capacità di calcolo elementare, che comunicano tra loro mediante delle connessioni a cui sono associati dei pesi. Alessandro De Falco, INFN Cagliari 1 11/9/05
Neurone for dummies Un neurone genera un impulso elettrico (di uguale intensità per tutti i neuroni) che si propaga lungo l'assone (output) quando la sua attività elettrica supera un valore di soglia. Il segnale di ingresso del neurone è dato dai dendriti che sono connessi agli assoni di altri neuroni tramite le sinapsi. La sinapsi modula l'impulso elettrico proveniente dall'assone. A parità di potenziale pre-sinaptico, due diverse sinapsi generano potenziali differenti. Dunque, la sinapsi PESA il segnale proveniente dall'assone. Se i segnali post-sinaptici provenienti dai vari dendriti superano un valore di soglia, il neurone si attiva. Le sinapsi modificano le loro proprietà sulla base degli stimoli esterni Alessandro De Falco, INFN Cagliari 2 11/9/05
Neuroni artificiali Un neurone artificiale (processing element, PE, o nodo) è l'unità di calcolo elementare nelle reti neurali. Il PE esegue la somma pesata dei diversi input, confronta il risultato con una certa soglia, e calcola il valore di output. (Nota: w i può essere <0; in tal caso il collegamento svolge una funzione inibitoria). L'output sarà in generale una funzione della somma pesata (funzione di trasferimento) i 1 w 1 Input i 2 w 2 Output Segnale f w k i k i 3 w 3 w 4 w k i k Soglia Funzione di trasferimento [ es. 1/(1+e -t ) ] i 4 Alessandro De Falco, INFN Cagliari 3 11/9/05
Architettura delle reti neurali I singoli nodi vengono organizzati in strati Un esempio di connessione (feed forward) è riportata in figura. Se si modificano i pesi delle singole connessioni, si modifica la risposta della rete. Si distinguono due casi: Rete supervisionata Si considera un campione di training, per cui è noto sia il pattern di ingresso che l'output desiderato Si modificano i pesi in modo da avere la risposta aspettata per gli elementi del campione di training. In questo modo la rete APPRENDE Rete non supervisionata La forma dell'output non è conosciuta a priori Alessandro De Falco, INFN Cagliari 4 11/9/05
Apprendimento: un esempio APPRENDIMENTO SUPERVISIONATO: L'immagine digitalizzata delle lettere F e L corrisponde ad una matrice di pixel (accesi o spenti) che costituiscono l'input. Si regolano i pesi (inizialmente definiti in maniera casuale) in modo da avere in output la risposta desiderata mediante minimizzzazione dello scarto quadratico medio. APPRENDIMENTO NON SUPERVISIONATO: I due pattern differiscono per il numero e la posizione dei pixel accesi. L'algoritmo modifica i pesi in modo da enfatizzare le differenze in uscita. F L F L Regolando i pesi mediante l'apprendimento si può ottenere una risposta intermedia quando il pattern di input ha alcune componenti in comune e altre discordanti con più elementi del campione di training Alessandro De Falco, INFN Cagliari 5 11/9/05
Implementation: 1 definitions Neuron: oriented track segment 2 indexes: [s ij ] links two consecutive points in the particle s path according to a well-defined direction Weight: geometrical relations between neurons 4 idxs: [w ijkl ] Geometrical constraint: only neurons which share a point have a non zero weight Case 1: sequence guess for a track segment, good alignment requested Case 2: crossing negative weight leads to a competition between units Excitatory : w Inhibitory : w with A, B > 0 ijkl ijkl = A = ( ) n 1 sin θijl δ jk B ( 1 δ ) ( 1 δ ) jl ik Alessandro De Falco, INFN Cagliari 6 11/9/05
CMS Calorimeter System Barrel: 4 longitudinal readouts ECAL, HB1,HB2,HO Endcaps: 3 longitudinal readouts ECAL,HE1,HE2 Calibration: ECAL e-beam scan and in situ calibration Z e + e - HCAL calibration several wedges with hadron and muon beams Transfer of the calibration to the other wedges with radioactive source. In situ calibration obligatory (response depends from magnetic field) Single track hadrons, photon + jet, dijet resonances W jj, Z bb, Z ττ L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002
Energy reconstruction Hadron calorimeters Intrinsic (stochastic) fluctuations Sampling fluctuations EM shower E vis ~ E inc Hadron shower: E = E EM + E h E h = E ch + E n + E nuc Response for e and hadrons is different e/π > 1 Non-compensating Calorimeters Response depends on the type of the particle it is different for e, hadrons and jets Energy reconstruction Most common approach (SM): E rec j j j w j are determined by minimization of the width of the energy distribution with additional constraint <E> = E inc Linearity: = w inc Test MC events, e and π E = 5,10,20,50,100,200,300,500 GeV Jets - E = 30,50,100,200,300,500 GeV w j are energy dependent E ( Erec E L = E inc ) L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002
Energy reconstruction To ensure the best possible measurement of the energy To every individual event different correction factor Using the lateral and longitudinal development - EM part of the hadron shower should be estimated The type of the particle (electron, hadron, jet) should be determined We need a method Able to deal with many parameters Sensitive to correlation between them Flexible to react to fluctuations Possible solution Neural Network L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002
Neural Network Powerful tool for: Classification of particles and final states Track reconstruction Particle identification Reconstruction of invariant masses Energy reconstruction in calorimeters L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002
Neural Network Multi-Layer-Feed Forward network consists of: Set of input neurons One or more layers of hidden neurons Set of output neurons The neurons of each layer are connected to the ones to the subsequent layer Training Presentation of pattern Comparison of the desired output with the actual NN output Backwards calculation of the error and adjustment of the weights Minimization of the error function E 1 ( 2 t = j j o j 2 ) L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002
Neural Network L. Litov Application of Neural Networks for Energy Reconstruction ACAT 2002