CERTIFICAZIONE ABI IN COMPLIANCE MANAGEMENT RISULTATI GENERALI E ITEM ANALYSIS DELLE PROVE SOSTENUTE IL 21 Giugno 2012
Il presente documento include una relazione generale sui risultati delle prove dell esame di Certificazione ABI in Compliance Management sostenute il 21 giugno 2012. In particolare, il report si articola in tre sezioni: 1. Risultati generali e presentazione dei valori di tendenza; 2. Risultati dell Item Analysis, corredati di grafici di sintesi; 3. Decisioni e indicazioni generali per la riprogettazione; 4. Appendice: sequenze delle risposte esatte.
1. Descrizione dei risultati generali e presentazione dei valori di tendenza Step 1 Questionario 21 candidati su 21 hanno superato il questionario relativo allo Step 1 I risultati del questionario e i valori di tendenza centrale (media aritmetica, moda e mediana) evidenziano un eccellente grado di preparazione dei partecipanti in relazione ai vari obiettivi didattici di tipo teorico del modello di certificazione: Media = 92.62% Moda = 96.67% Mediana = 93.33% Dal valore piuttosto contenuto del coefficiente di variazione di Pearson (4.46%) emerge inoltre un elevato grado di omogeneità delle conoscenze acquisite dai candidati alla fine del percorso formativo (vedi grafico 1).
Soglia di superamento Grafico 1
Step 2 Prova semi-strutturata 21 candidati su 21 hanno superato la prova semi-strutturata relativa allo Step 2 I risultati della prova e i valori di tendenza centrale (media aritmetica moda e mediana) evidenziano un buon grado di preparazione dei partecipanti in relazione ai vari obiettivi didattici più applicativi del modello di certificazione: Media = 81.02% Moda = 84.84% Mediana = 81.11% Dal valore molto contenuto del coefficiente di variazione di Pearson (3.72%) emerge inoltre un alto grado di omogeneità delle conoscenze acquisite dai candidati alla fine del percorso formativo (vedi grafico 2).
Soglia di superamento Grafico 2
2. Breve sintesi, corredata da grafici, relativa ai dati dell Item Analysis La verifica a posteriori delle condizioni formali per l avvio della procedura di contestazione e di revisione delle domande che compongono le prove degli Step 1 e 2 si basa sui risultati di uno studio comparato, l Item Analysis, finalizzato a determinare i valori dei maggiori indici docimologici adottati dalla comunità scientifica internazionale: 1. l indice di difficoltà; 2. l indice di selettività; 3. l indice di distrattività (esclusivamente per lo Step 1).
L indice di difficoltà di un item equivale al rapporto tra numero di candidati che hanno fornito una risposta non corretta e il numero complessivo dei candidati sottoposti a verifica. Il valore è compreso tra 0 (nessun candidato ha selezionato una opzione non corretta) e +1 (tutti i candidati hanno selezionato le opzioni non corrette). Dai risultati dell analisi dell Indice di difficoltà, sintetizzati nei grafici 3 e 4, si evince la presenza dei seguenti tre item con valori eccedenti la soglia critica di 0.65: Step 1: 46 Step 2: 1c_1; 4c_2
Item 46 Grafico 3
Item 1c_1 Item 4c_2 Grafico 4
L indice di selettività di un item definisce l attitudine di un item a discriminare tra candidati competenti e candidati privi della competenza in esame. Esso si basa su un confronto tra i risultati dei candidati con i punteggi estremi ed equivale al rapporto tra la differenza di risposte corrette che ne deriva e il numero di utenti incluso nel campione di analisi. Il valore è compreso tra -1 (in caso di selettività negativa) e +1 (in caso di selettività positiva). I risultati dell analisi, descritti nei grafici 5 e 6, evidenziano una discreta coerenza del questionario in termini di selettività, eccezion fatta per i seguenti item: Step 1: 1; 25; 27; 45; 48; 60 Step 2: 2c
Item 1 Item 25 Item 27 Item 45 Item 48 Item 60 Grafico 5
Item 2c Grafico 6
L indice di distrattività si riferisce solamente alla prova dello Step 1, determina il grado di attrattività dei distrattori di un questionario e si calcola per ogni singola opzione non corretta di un item. In particolare, tale indice equivale al rapporto tra il numero di utenti che hanno selezionato l opzione X in esame e il numero complessivo di risposte non corrette. Il valore è compreso tra 0 (nessun candidato ha selezionato l opzione X) e 1 (tutti i candidati che hanno fornito risposte non corrette hanno selezionato l opzione X). Come si intuisce dal grafico 7 l indice di distrattività corrispondente alle varie opzioni non evidenzia criticità rilevanti, ad eccezione degli item 19, 25, 33 e 46, che presentano valori eccedenti la soglia di 0.75.
Item 46 Item 19 Item 33 Item 25 Grafico 7
3. Decisioni e indicazioni di riprogettazione L Item Analysis ha evidenziato la generale validità e attendibilità dell intero sistema di misurazione (Step 1 e Step 2). Non risultano pertanto margini per eventuali contestazioni. D altra parte, alla luce del confronto tra i vari risultati docimologici, si ritiene opportuno verificare, per le future attività di riprogettazione, il percorso formativo e le domande relative all item 25 e all item 46 dello Step 1.
4. Appendice: sequenze delle risposte esatte Step 1 risposte esatte 1 B 2 A 3 D 4 C 5 B 6 A 7 C 8 C 9 C 10 A 11 C 12 A 13 C 14 B 15 D 16 C 17 B 18 C 19 C 20 C 21 C 22 C 23 D 24 D 25 B 26 A 27 D 28 D 29 D 30 D 31 B 32 C 33 C 34 A 35 B 36 B 37 C 38 C 39 B 40 B 41 C 42 B 43 B 44 C 45 D 46 C 47 D 48 A 49 C 50 A 51 B 52 D 53 B 54 C 55 A 56 C 57 B 58 C 59 A 60 D
Step 2 risposte esatte CLUSTER TIPOLOGIA ITEM Risposte corrette 1 LEGAL SCELTA MULTIPLA A, C, E INVENTORY (risposta multipla) 2 VALUTAZIONE PROCESSI/PROCED URE IN ESSERE COMPLETAMENTO COMPLETAMENTO SCELTA MULTIPLA (risposta singola) COMPLETAMENTO Art. 117, c. 1 e 2 TUB Art. 21, c. 2 TUF Art. 124-bis, c. 1 TUB Art. 190 TUF Art. 57, c. 4 D.Lgs. 231/07 Art. 144, c. 3-bis TUB Art. 145, c. 3 TUB Art. 191, c. 1 TUF C Marketing Gestione campagne pubblicitarie e promozionali; Filiale MiFID Adempimenti contrattuali; Filiale Raccolta ordini telefonici; Compliance Attività di reporting COMPLETAMENTO 4; 7; 2 3 COMPLIANCE RISK MANAGEMENT 4 COMPLIANCE CONTROL RISK ASSESSMENT SCELTA MULTIPLA (risposta singola) CORRISPONDENZA COMPLETAMENTO SCELTA MULTIPLA (risposta singola) C A; B; B; M; M B-A-M B-A-M A-A-A M-A-A CORRISPONDENZA 2; 1; 2; 3 COMPLETAMENTO A Campagna informativa MifID Verbali CdA Questionario MiFID 5 COMPLIANCE PROGRAMME 6 COMPLIANCE TRAINING PROGRAMME SCELTA MULTIPLA (risposta singola) CORRISPONDENZA COMPLETAMENTO SCELTA MULTIPLA (risposta singola) COMPLETAMENTO D Supporto consultivo; Monitoraggio; Formazione Gestione e aggiornamento Matrice dei Rischi di compliance Monitoraggio MIFID e eventuale verifiche o test di Internal audit Progetto istituzione Funzione Antiriciclaggio Formazione su nuova Funzione Antiriciclaggio C MiFID Antiriciclaggio PSD CORRISPONDENZA Filiali Area Marketing Legale