Confronto del sistema CRUI per la valutazione e certificazione dei corsi di studio universitari con gli e le ENQA Parte 1. e linee guida europee per l assicurazione della qualità interna nell ambito degli Istituti di Alta Formazione Note: - Le parti delle linee guida ENQA riportate in corsivo commentano quanto stabilito nel corrispondente standard o nella stessa linea guida. Pertanto non sono considerate ai fini della corrispondenza con il e con i Requisiti per. - Con riferimento agli standard ENQA, nella colonna con Elementi del sono indicati gli elementi del Modello (ad esempio: A1) correlati con lo standard in considerazione. - Con riferimento alle linee guida ENQA, nella colonna Modello CRUI sono indicate le domande del Modello (ad esempio: A1.1) correlate con la linea guida in considerazione, mentre nella colonna sono indicati i Requisiti per (ad esempio: A1.1) correlati con la linea guida in considerazione. 1.1 Politica e procedure per l'assicurazione della qualità (Policy and procedures for quality assurance) ENQA con Elementi del Institutions should have a policy and associated procedures for the assurance of A1 the quality and standards of their programmes and awards. They should also commit themselves explicity to the development of a culture which recognises the importance of quality, and quality assurance, in their work. To achieve this, instututions should develop and implement a strategy for the continuous enhancement of quality. The strategy, policy and procedures should have a formal status and be publicy available. They should also include a role for students and other stakeholders. 1
ENQA Formal policies and procedures provide a framework within which higher education institutions can develop and monitor the effectiveness of their quality assurance systems. They also help to provide public confidence in institutional autonomy. Policies contain the statements of intentions and the principal means by which these willl be achieved. Procedural guidance can give more detailed information about the ways in which the policy is implemented and provides a useful reference point for those who need to know about practical aspects of carrying out the procedures. The policy statement is expected to include: - the relationships between teaching and research in the institution; - the institution s strategy for quality and standards; - the organisation of the quality assurance system; - the responsability of departments, schools, faculties and other organisational units and individuals for the assurance of quality; - the involvement of students in quality assurance; - the ways in which the policy is implemented, monitored and revised. The realisation of the EHEA depends crucially on a commitment at all levels of an institution to ensuring that its programmes have clear and explicit intended outcomes; that its staff are ready, willing and able to provide teaching and learner support that will help its students achieve those outcomes; and that there is full, timely and tangible recognition of the contribution to its work by those of its staff who demonstrate particular excellence, expertise and dedication. All higher education institutions should aspire to improve and enhance the education they offer their students. A1.1 A1.1 1.2 Approvazione, monitoraggio e revisione periodica dei corsi e dei titoli di studio rilasciati (Approval, monitoring and periodic review of programmes and awards) ENQA con Elementi del Institutions should have formal mechanisms for the approval, periodic review and A3, B2, B3, C1, C2, D1, D3, E1 monitoring of their programmes and awards. ENQA The confidence of students and other stakeholders in higher education is more likely to be established and maintained through effective quality assurance activities which ensure that programmes are well-designed, regularly monitored and periodically reviewed, thereby securing their continuing relevance and currency. The quality assurance of programmes and awards are expected to include: - development and publication of explicit intended learning outcomes; B3.1 B3.1a, A1.4 - careful attention to curriculum and programme design and content; D1.1 D1.1a, D1.1b, D1.1c - specific needs of different modes of delivery (e.g. full time, part-time, distance-learning, e-learning) and types of higher education (e.g. academic, vocational, professional); D1.1, B2.1 D1.1a, B2.1b - availability of appropriate learning resources; C1.1, C1.2, C2.1 C1.1a, C1.1b, C1.2, C2.1a, C2.1b - formal programme approval procedures by a body other than that teaching D1.1 D1.1a the programme; - monitoring of the progress and achievemet of students; E1.2 E1.2 - regular periodic reviews of programmes (including external panel members); A3.1 A3.1 - regular feedback from employers, labour market representatives and other E1.3 E1.3b relevant organisations; - partecipation of students in quality assurance activities. D3.1 D3.1 2 2
1.3 Valutazione degli studenti (Assessment of students) ENQA Students should be assessed using published criteria, regulations and procedures which are applied consistently. ENQA The assessment of students is one of the most important elements of higher education. The outcomes of assessment have a profound effect on students future careers. It is therefore important that assessment is carried out professionaly at all times and takes into account the extensive knowledge which exists about testing and examination processes. Assessment also provides valuable information for institutions about the effectiveness of teaching and learners support. Student assessment procedures are expected to: - be designed to measure the achievement of intended learning outcomes and other programme objectives; 3 con Elementi del D1, D2, D3, D4 D1.1, D3.2 D3.1 2 - be appropriate for their purpose, whether diagnostic, formative or summative; D1.1, D3.2 D3.1 2 - have clear and published criteria for marking; D1.1 D1.1a - be undertaken by people who understand the role of assessment in the progression of students towards the achievement of the knowledge and skills associated with their intended qualification; D1.1 D1.1c - where possible, not rely on the judgment of single examiners; D1.1 D1.1c - take account of all the possible consequences of examination regulations; D2.2 D2.2 - have clear regulations covering student absence, illness and other mitigating D2.2 D2.2 circumstances; - ensure the assessments are conducted securely in accordance with the D3.1 D3.1 2 institution s stated procedures; - be subject to administrative verification checks to ensure the accuracy of the D4.1 D4.1 6 procedures. In addition, students should be clearly informed about the assessment strategy being used for their programme, what examinations or other assessment methods they will be subject to, what will be expected of them and the criteria that will be applied to the assessment of their performance. D1.1 D1.1a 1.4 Assicurazione della qualità del personale docente (Quality assurance of teaching staff) ENQA con Elementi del Institutions should have ways of satisfying themselves that staff involved with the A3, C1, D3, E3 teaching of students are qualified and competent to do so. They should be available to those undertaking external reviews and commented upon in reports. ENQA Teachers are the single most important resource available to most students. It is important that those who teach have a full knowledge and understanding of the subject they are teaching, have the necessary skills and experience to transmit their knowledge and understanding effectively to students in a range of teaching contexts and can access feedback on their own performance. Institutions should ensure that their staff recruiment and appointment procedures include a means of making certain that all new staff have at least the minimum necessary level of competence. Teaching staff should be given opportunities to develop and extend their teaching capacity and should be encouraged to value their skills. Institutions should provide poor teachers with opportunities to improve their skills to an acceptable level... and should have the means to remove them from their teaching duties if they continue to be demonstrably ineffective. C1.1, D3.1 C1.1a, C1.1b, D3.1 2 C1.1 C1.1a, C1.1b C1.3 linea guida non considerata ai fini del E3.1, A3.1 E3.1, A3.1
1.5 Risorse per l apprendimento e sostegno agli studenti (Learning resources and student support) ENQA con Elementi del Institutions should ensure that the resources available for the support of student A3, C1, C2, D4, E3 learning are adequate and appropriate for each programme offered. ENQA In addition to their teachers, students rely on a range of resources to assist their learning. These vary from physical resources such as libraries or computing facilities... C2.1 C2.1a, C2.1 b... to human support in the form of tutors, councellors and other advisers. C1.2, D4.3 C1.2, D4.1 6 Learning resources and other support mechanisms should be readily accessible to students, designed with their needs in mind and responsive to feedback from those who use the services provided. Institutions should routinely monitor, review and improve the effectiveness of the support services available to their students. 1.6 Sistemi informativi (Information systems) ENQA Institutions should ensure that they collect, analyse and use relevant information for the effective management of their programmes of study and other activities. ENQA C1.2, C2.1, D4.1, D4.2, D4.3, D4.4, D4.5, D4.6 D3.1, D4.1, D4.2, D4.3, D4.4, D4.5, D4.6, E3.1, A3.1 C1.2, C2.1a, C2.1 b, D4.1 6 D4.1 6, E3.1, A3.1 con Elementi del C, C2, C3, D3, E1, E2 Institutional self-knowledge is the starting point for effective quality assurance. It is important tha institutions have the means of collecting and analysing information about their own activities. Without this they will not know what is working well and what needs attantion, or the results of innovatory practices. The quality-related information systems required by individual institutions will depend to some extent on local circumstances, but it is at least expected to cover: - student progression and success rate; E1.2 E1.2 - emploiability of graduates; E1.3 E1.3a - students satisfaction with their programmes; E1.3 E1.3b - effectiveness of teachers; D3.1 D3.1 2 - profile of the student population; E1.1 E1.1 - learning resources available and their costs; C1.1, C1.2, C2.1, C3 C1.1a, C1.2, C2.1a - the institution s own key performance indicators. D3.1, E1.2, E1.3 D3.1 2, E1.2, E1.3a, E1.3b There is also value in institutions comparing themselves with other similar organisations within the EHEA and beyond. This allows them to extend the range of their self-knowledge and to access possile ways of improving their own performance. B3.1, E2.1 linea guida non considerata ai fini del 4
1.7 Informazione pubblica (Public information) ENQA Institutions should regularly publish up to date, inpartial and objective information, both quantitative and qualitative, about the programmes and awards they are offering. ENQA con Elementi del B2, B3, D1 In the fulfilment of their public role, higher education institutions have a responsibilty to provide information about the programmes they are offering, D1.1 A1.4... the intende learning outcomes of these,... B3.1 A1.4... the qualifications they award,... B2.1 A1.4... the teaching, learning and assessment procedures used,... D1.1 A1.4... and the learning opportunities available to their students. linea guida non esplicitamente considerata ai fini della valutazione Published information might also include the views and employment destinations of past students...... and the profile of the current student population. This information should be accurate, impartial, objective and readily accessible and should not be used simply as a marketig opportunity. The institution should verify that it meets its own expectations in respect of impartialty and objectivity. linea guida non esplicitamente considerata ai fini della valutazione linea guida non esplicitamente considerata ai fini della valutazione A1.4 A1.4 A1.4 5
Parte 2. e linee guida europei per l assicurazione della qualità esterna dell alta formazione Nota: Le parti delle linee guida ENQA riportate in corsivo ribadiscono o commentano quanto stabilito nel corrispondente standard. Pertanto non sono tenute in conto ai fini delle considerazioni riportate nella colonna relativa alla. 2.1 Utilizzazione di procedure per l'assicurazione della qualità interna (Use of internal quality assurance procedures) External quality assurance procedures should take into account I processi relativi alla assicurazione della qualità interna the effectiveness of the internal quality assurance processes descritti nella Parte 1 del documento ENQA sono tutti described in Part 1 of the European and Guidelines. considerati nel per la Valutazione della Qualità dei Corsi di Studio Universitari, che costituisce il riferimento, oltre che per l autovalutazione da parte dei corsi di studio, anche per la loro valutazione esterna. The standard for internal quality assurance contained in Part 1 provide a valuable basis for the external quality assessment process. It is important that the institution s own internal policies and procedures are carefully evaluated in the course of external procedures, to determine the extent to which the standards are being met. If higher education institutions are to be able to demonstrate the effectiveness of their own internai quality assurance processes, and if those processes properly assure quality and standards, then external processes might be less intensive than otherwise. Il richiede effettivamente la valutazione degli obiettivi e delle politiche e quella delle modalità di gestione e delle procedure dei corsi di studio oggetto della valutazione, con riferimento a tutti gli standard ENQA relativi alla assicurazione della qualità interna. Il processo di valutazione esterna tiene inoltre adeguatamente conto, ai fini dell organizzazione della visita esterna, della capacità dei corsi di studio oggetto della valutazione di dimostrare l efficacia del propri processi di assicurazione della qualità interna e della capacità di tali processi di assicurare la qualità del servizio di formazione. (cfr. Guida alla Valutazione Esterna, pubblicata sul sito della Fondazione CRUI). 2.2 Sviluppo di processi per l'assicurazione della qualità esterna (Development of external quality assurance processes) The aims and objectives of quality assurance processes should Gli scopi e gli obiettivi della valutazione e certificazione CRUI be determined before the processes themselves are developed dei corsi di studio universitari sono descritti nel Regolamento by all those responsible (including higher education institutions) per la Valutazione e Certificazione CRUI della Qualità dei Corsi and should be published with a description of the procedures to di Studio Universitari ("Regolamento"), approvato dal Comitato be used. per la valutazione e, o Board, costituito dai rappresentanti delle principali parti interessate, comprese le Università. Il Regolamento, nel quale sono descritte tutte le procedure utilizzate, è pubblicato sul sito della Fondazione CRUI. In order to ensure clarity of purpose and transparency of procedures, external quality assurance methods should be designed and developed through a process involving key stakeholders, including higher education institutions. The procedures that are finally agreed should be published and should contain explicit statements of the aims and objectives of the processes as well as a description of the procedures to be used. As external quality assurance makes demands on the institutions involved, a preliminary impact assessment should be undertaken to ensure that the procedures to be adopted are appropriate and do not interfere more than necessary with the normal work of higher education institutions. Il richiede informazioni e dati che dovrebbero essere normalmente disponibili e non impone modalità per la gestione dei processi tramite i quali si gestisce il corso di studio, modalità che devono essere definite direttamente dai corsi di studio e/o dalla loro struttura di appartenenza. Il è inoltre il risultato di 3 anni di sperimentazione su oltre 500 corsi di studio appartenenti a tutte le aree culturali, sperimentazione che ha permesso di affinare il Modello anche allo scopo di non interferire più del necessario con l attività istituzionale delle Università e dei corsi di studio. 6
2.3 Criteri per l assunzione delle decisioni (Criteria for decisions) Any formal decisions made as a result of an external quality La determinazione dei punti di forza e delle aree di debolezza assurance activity should be based on explicit published criteria dei corsi di studio valutati è effettuata a partire da quanto that are applied consistently. esplicitamente richiesto dal (cfr. Guida alla Valutazione Esterna), mentre le decisioni di certificazione assunte a seguito delle valutazioni esterne e l individuazione dei relativi rilievi si basano sulla verifica o meno dei requisiti per stabiliti nel Regolamento. Sia il Modello che il Regolamento sono pubblicati sul sito della Fondazione CRUI. Formal decisions made by quality assurance agencies have a significant impact on the institutions and programmes that are judged. In the interests of equity and reliability, decisions should be based on published criteria and interpreted in a consistent manner. Conclusions should be based on recorded evidence and agencies should bave in place ways of moderating conclusions, if necessary. 7 I Gruppi di valutazione redigono il Rapporto di valutazione e certificazione, con l indicazione dei punti di forza e delle aree di debolezza dei corsi di studio valutati e dei rilievi associati ai requisiti per, sulla base delle evidenze registrate e documentate nello stesso Rapporto nel corso della visita di valutazione (cfr. Guida alla Valutazione Esterna). I compiti di verificare l adeguatezza formale e quella sostanziale delle evidenze registrate dai Gruppi di valutazione nel Rapporto di valutazione e certificazione proposto sono demandati rispettivamente alla Segreteria tecnica e alla Cabina di regia. Il Rapporto di valutazione e certificazione è quindi approvato dalla Cabina di regia (cfr. Regolamento). 2.4 Processi adeguati agli scopi (Processes fit for purpose) All external quality assurance processes should be designed I processi per l assicurazione della qualità esterna sono stati specifically to ensure their fitness to achieve the aims and progettati per assicurare la loro adeguatezza ai fini del objectives set for them. conseguimento degli obiettivi stabiliti per i singoli processi, dopo un attento confronto con quanto attuato e condiviso al riguardo a livello europeo. Quality assurance agencies within the EHEA undertake different external processes for different purposes and in different ways. It is of the first importance that agencies should operate procedures which are fit for their own defined and published purposes. Experience has shown, however, that there are some widely-used elements of external review processes which not only help to ensure their validity, reliability and usefulness, but also provide a basis for the European dimension to quality assurance. Amongst these elements the following are particularly noteworthy: - insistence that the experts undertaking the external quality assurance activity have appropriate skills and are competent to perform their task; Il Regolamento prevede: - l appartenenza dei valutatori all Albo dei valutatori; - the exercise of care in the selection of experts; - la selezione dei valutatori attraverso un esame il cui superamento è condizione per l iscrizione all Albo dei valutatori; - the provision of appropriate briefing or training for experts; - la realizzazione di corsi per la formazione dei valutatori e di giornate di aggiornamento degli stessi; - the use of intemational experts; - l integrazione del Gruppo di valutazione con un esperto internazionale, ma solo per visite a campione ; - participation of students; - l integrazione del Gruppo di valutazione con uno studente, ma solo per visite a campione ; - ensuring that the review procedures used are sufficient to provide adequate evidence to support the findings and conclusions reached; - procedure di valutazione esterna finalizzate a fornire adeguata evidenza a supporto delle conclusioni raggiunte (cfr. Guida alla Valutazione Esterna) e coerenti con quelle adottate nei sistemi di valutazione degli altri Paesi europei;
- the use of the self-evaluation/site visit/draft report/published report/follow-up model of review; - recognition of the importance of institutional improvement and enhancement policies as a fundamental element in the assurance of quality. 2.5 Rendicontazione (Reporting) Reports should be published and should be written in a style which is clear and readily accessible to its intended readership. Any decision, commendations or recommendations contained in reports should be easy for a reader to find. In order to ensure maximum benefit from external quality assurance processes, it is important that reports should meet the identified needs of the intended readership. Reports are sometimes intended for different readership groups and this will require careful attention to structure, content, style and tone. In general, reports should be structured to cover description, analysis (including relevant evidence), conclusions, commendations and recommendations. There should be sufficent preliminary explanation to enable a lay reader to understand the purposes of the review, its form, and the criteria used in making decisions. Key findings, conclusions and recommendations should be easily locatable by readers. Reports should be published in a readily accessible form and there should be opportunities for readers and users of the reports (both within the relevant institution and outside it) to comment on their usefulness. 2.6 Procedure di follow-up (Follow-up procedures) Quality assurance processes, which contain recommendations for action on which require a subsequent action plan, should have a predetermined follow-up procedure which is implemented consistently. - l autovalutazione, con la compilazione del rapporto di autovalutazione / la visita in loco e la compilazione del Rapporto di valutazione e certificazione / l assunzione e la pubblicazione delle decisioni di certificazione / la compilazione annuale, da parte dei corsi di studio certificati, del Rapporto di autovalutazione e l effettuazione di una visita di sorveglianza nel periodo di validità della certificazione. La valutazione CRUI dei corsi di studio ha lo scopo di promuoverne il miglioramento continuo della loro qualità attraverso l evidenziazione dei punti di forza e delle aree di debolezza (cfr. Regolamento). E evidente pertanto il riconoscimento dell importanza del miglioramento istituzionale e della conseguente adozione di adeguate politiche di attuazione come fondamentale elemento dell assicurazione della qualità. Il Regolamento prevede la pubblicazione, sul sito della Fondazione CRUI, della decisione di certificazione, dei Requisiti soddisfatti e di quelli soddisfatti più si che no. I Rapporti di valutazione e certificazione sono resi disponibili ai corsi di studio oggetto della valutazione e alle competenti autorità accademiche. Nei Rapporti di valutazione e certificazione le osservazioni, i punti di forza e le aree da migliorare sono riportati con riferimento ai singoli elementi e alle singole domande del, mentre i rilievi sono riferiti ai singoli Requisiti per (cfr. Regolamento). In tal modo è immediato per il lettore collegarli agli argomenti oggetto della valutazione e del. La struttura del Rapporto di valutazione e certificazione prevede, oltre ad una analitica presentazione delle osservazioni, dei punti di forza e delle aree da migliorare, con riferimento ai singoli elementi e alle singole domande del, e dei rilievi, con riferimento ai singoli Requisiti per, anche una valutazione complessiva della qualità del corso di studio, con riferimento alla coerenza tra le diverse dimensioni in cui si articola il, e una valutazione sintetica della qualità delle singole dimensioni (cfr. Guida alla Valutazione Esterna). Gli scopi e le procedure della valutazione e i criteri utilizzati ai fini della formulazione delle osservazioni e della individuazione dei punti di forza, delle aree da migliorate e dei rilievi da soddisfare sono esposti rispettivamente nel Regolamento e nella Guida alla valutazione esterna, disponibili sul sito della Fondazione CRUI. Il Regolamento prevede che, in presenza di Requisiti per la certificazione rispetto ai quali siano stati formulati rilievi, la certificazione possa essere concessa solo a fronte dell impegno da parte del corso di studio interessato a risolvere i rilievi formulati nel Rapporto di valutazione e certificazione, con l indicazione documentata dei modi e dei tempi, comunque non superiori a 24 mesi, per la loro risoluzione. E inoltre richiesta la compilazione annuale, da parte dei corsi di studio certificati, del Rapporto di autovalutazione ed è prevista 8
Quality assurance is not principally about individual external scrutiny events: it should be about continuously trying to do a better job. External quality assurance does not end with the publication of the report and should include a structured followup procedure to ensure that recommendations are dealt with appropriately and any required action plans drawn up and implemented. This may involve further meetings with institutional or programme representatives. The objective is to ensure that areas identified for improvement are dealt with speedily and that further enhancement is encouraged. 2.7 Revisioni periodiche (Periodic reviews) External quality assurance of institutions and/or programmes should be undertaken on a cyclical basis. The length of the cycle and the review procedures to be used should be clearly defined and published in advance. Quality assurance is not a static but a dynamic process. It should be continuous and not "once in a life- time". It does not end with the first review or with the completion of the formai foliow-up procedure. It has to be periodicaliy renewed. Subsequent external reviews should take into account progress that has been made since the previous event. The process to be used in ali external reviews should be clearly defined by the external quality assurance agency and its demands on institutions should not be greater than are necessary for the achievement of its objectives. 2.8 Analisi di sistema (System-wide analyses) Quality assurance agencies should produce from time to time summary reports describing and analysing the general findings of their reviews, evaluations, assessment etc.. AlI external quality assurance agencies collect a wealth of inforrnation about individuai programmes and/ or institutions and this provides material for structured analyses across whole higher education systems. Such analyses can provide very useful inforrnation about developments, trends, emerging good practice and areas of persistent difficulty or weakness and can become useful tools for policy development and quality enhancement. Agencies should consider including a research and development function within their activities, to help them extract maximurn benefit from their work. l effettuazione di una visita di sorveglianza nel periodo di validità del. Il Regolamento prevede che dei corsi di studio abbia una validità di sei anni. Sempre il Regolamento stabilisce i criteri per il rinnovo del. La Guida prevede esplicitamente che nelle visite di sorveglianza i valutatori concentrino la loro attenzione proprio sui progressi effettuati dopo la visita di valutazione finalizzata al. Le modalità per la conduzione delle visite di valutazione sono definite ancora nella Guida alla Valutazione Esterna. Tutte le questioni poste dal sono finalizzate al perseguimento degli obiettivi della valutazione stessa. Il Regolamento prevede che ogni anno, di norma nel periodo compreso tra settembre e novembre, la Cabina di regia, con la collaborazione della Segreteria tecnica, predisponga una Relazione sulle attività di valutazione e certificazione svolte, che deve considerare almeno i seguenti argomenti: - descrizione delle attività svolte; - analisi dello stato della qualità dei corsi di studio valutati, raggruppati per classi o per Facoltà di appartenenza; - esiti del monitoraggio dei procedimenti di valutazione e certificazione; - analisi dei costi dei procedimenti di valutazione e certificazione. 9
Parte 3. europei per le agenzie di assicurazione della qualità esterna Nota: Le parti delle linee guida ENQA riportate in corsivo ribadiscono o commentano quanto stabilito nel corrispondente standard. Pertanto non sono tenute in conto ai fini delle considerazioni riportate nella colonna relativa alla. 3.1 Utilizzazione delle procedure per l assicurazione della qualità esterna dell istruzione superiore (Use of external quality assurance procedures for higher education) The external quality assurance of agencies should take into Il sistema CRUI per la valutazione e certificazione della qualità account the presence and effectiveness of the external quality dei corsi di studio universitari considera tutti i processi relativi assurance processes described in Part 2 of the European alla assicurazione della qualità esterna descritti nella Parte 2 s and Guidelines. del documento ENQA (cfr. Regolamento e Guida alla Valutazione Esterna). The standards for external quality assurance contained in Part 2 provide a valuable basis for tbe external quality assessment process. The standards reflect best practices and experiences gained through tbe development of external quality assurance in Europe since the early 1990s. It is therefore important that these standards are integrated into the processes applied by external quality assurance agencies towards the higher education institutions. The standards for external quality assurance should together with the standards for external quality assurance agencies constitute the basis for professional and credible external quality assurance of higher education institutions. 3.2 Status (Official status) Agencies should be formally recognised by competent public authorities in the European Higher Education Area as agencies with responsibilities for external quality assurance and should have an established legal basis. They should comply with any requirements of the legislative jurisdictions within which they operate. 3.3 Attività (Activities) Agencies should undertake external quality assurance activities (at institutional or programme level) on a regular basis. These may involve evaluation, review, audit, assessment, accreditation or other similar activities and should be part of the core functions of the agency. 3.4 Risorse (Resources) Agencies should have adequate and proportional resources, both human and financial, to enable them to organise and run their external quality assurance process(es) in an effective and efficient manner, with appropriate provision for the development of their processes and procedures. standard non ancora soddisfatto La Struttura di valutazione e certificazione svolge una regolare attività di valutazione e certificazione dei corsi di studio universitari, come documentato nelle relazioni sulle attività svolte, predisposte annualmente dalla Cabina di regia con la collaborazione della Segreteria tecnica. Il sistema CRUI dispone di risorse, umane e finanziarie (cfr. Regolamento), proporzionate alle proprie esigenze relative a una organizzazione e gestione efficace ed efficiente delle attività di assicurazione della qualità esterna, anche per quanto riguarda l aggiornamento e lo sviluppo dei propri processi e delle proprie procedure 10
3.5 Dichiarazione della missione (Mission statement) Agencies should have clear and explicit goals and objectives La Struttura di valutazione e certificazione ha stabilito la for their work, contained in a publicly available statement. propria missione, riportata nel Regolamento. These statements should describe the goals and objectives of La missione della Struttura di valutazione e certificazione agencies' quality assurance processes, the division of labour descrive gli obiettivi della struttura stessa, le interazioni con le with relevant stakeholders in higher education, especially the Università e le principali parti interessate esterne, il contesto higher education institutions, and the cultural and historical culturale e storico di riferimento. La missione della Struttura di context of their work. The statements should make clear that valutazione e certificazione stabilisce chiaramente che la the external quality assurance process is a major activity of the valutazione della qualità dei corsi di studio ai fini del agency and that there exists a systematic approach to miglioramento continuo della loro qualità e del achieving its goals and objectives. There should also be di conformità al costituisce la priorità e il documentation to demonstrate how the statements are fondamentale campo d azione della Struttura e che, a tal fine, translated into a clear policy and management plan. la Struttura ha adottato un approccio sistematico, documentato nel Regolamento, che stabilisce anche il sistema di gestione e la politica per la qualità della Struttura stessa (cfr. Regolamento). 3.6 Indipendenza (Independence) Agencies should be independent to the extent both that they have autonomous responsibility for their operations and that the conclusions and recommendations made in their reports cannot be influenced by third parties such as higher education institutions, ministries and other stakeholders. An agency will need to demonstrate its independence through measures, such as: - its operational independence from higher education institutions and govemments is guaranteed in official documentation (e.g. instruments of governance or legislative acts); - the definition and operation of its procedures and methods, the nomination and appointment of external experts and the determination of the outcomes of its quality assurance processes are undertaken autonomously and independently from govemments, higher education institutions, and organs of political influence; - while relevant stakeholders in higher education, particularly students/leamers, are consulted in the course of quality assurance processes, the final outcomes of the quality assurance processes remain the responsibility of the agency. La Struttura di valutazione e certificazione opera coerentemente con quanto stabilito nel Regolamento e nella Guida alla Valutazione Esterna e, conseguentemente, la Struttura definisce autonomamente le proprie modalità operative e le conclusioni delle attività di valutazione e certificazione, documentate nei Rapporti di valutazione e certificazione, non possono essere influenzate da parti terze di qualunque tipo. L indipendenza operativa della Struttura di valutazione e certificazione è garantita nel Regolamento e nella Guida alla Valutazione Esterna, documenti ufficiali del sistema CRUI per la valutazione e certificazione della qualità dei corsi di studio universitari. La Guida alla Valutazione Esterna prevede esplicitamente che nel corso delle visite di valutazione i Gruppi di valutazione incontrino le diverse parti interessate (studenti, docenti, rappresentanti del mondo del lavoro, ecc.). In ogni caso, le conclusioni delle attività di valutazione e certificazione e le conseguenti decisioni di certificazione restano nella responsabilità della Struttura di valutazione e certificazione (cfr. Regolamento). 3.7 Criteri e processi per l'assicurazione della qualità esterna utilizzati dalle agenzie (External quality assurance criteria and processes used by the agencies) The processes, criteria and procedures used by the agencies I processi, i criteri e le procedure utilizzate nel sistema CRUI should be pre-defined and publicly available. sono definite nel Regolamento e nella Guida alla Valutazione Esterna, pubblicati sul sito della Fondazione CRUI. These processes will normally be expected to include: Il processo di valutazione e certificazione prevede: 11
- a self-assesment or equivalent procedure by the subject of the quality assurance process; - an external assessment by a group of experts, including, as appropriate, (a) student member(s), and site visits as decided by the agency; - publication of a report, including any decision, recommendations or other formal outcomes; - a follow-up procedure to review actions taken by the subject of the quality assurance process in the light of any recommendations contained in the report. Agencies may develop and use other processes and procedures for particular purposes. Agencies should pay careful attention to their declared principles at ali times, and ensure both that their requirements and processes are managed professionally and that their conclusions and decisions are reached in a consistent manner, even though the decisions are formed by groups of different people. Agencies that make formal quality assurance decisions, or conclusions which have formai consequences, should have an appeals procedure. The nature and form of the appeals procedure should be determined in the light of the constitution of each agency. - un autovalutazione da parte dei corsi di studio; - una valutazione esterna, con visita in loco, condotta da un gruppo di esperti, costituito da almeno un docente universitario e almeno un esperto proveniente dal mondo esterno all Università, che, in visite a campione, può essere integrato con uno studente; - Ia compilazione di un Rapporto di valutazione e certificazione, reso disponibile ai corsi di studio oggetto della valutazione e alle competenti autorità accademiche, contenente le osservazioni, i punti di forza e le aree da migliorare, riferiti ai singoli elementi e alle singole domande del, e i rilievi, riferiti ai singoli Requisiti per la certificazione, e la pubblicazione, sul sito della Fondazione CRUI, della decisione di certificazione, dei Requisiti soddisfatti e di quelli soddisfatti più si che no ; - che, in presenza di Requisiti per rispetto ai quali siano stati formulati rilievi, possa essere concessa solo a fronte dell impegno, da parte del corso di studio interessato, a risolvere i rilievi formulati nel Rapporto di valutazione e certificazione, con l indicazione documentata dei modi e dei tempi, comunque non superiori a 24 mesi, per la loro risoluzione. E inoltre richiesta la compilazione annuale, da parte dei corsi di studio certificati, del Rapporto di autovalutazione ed è prevista l effettuazione di una visita di sorveglianza nel periodo di validità del. Al fine di assicurare che i processi di valutazione e certificazione siano gestiti professionalmente, il Regolamento prevede il monitoraggio, da parte della Segreteria tecnica, dei procedimenti di valutazione e certificazione. Inoltre, al fine di assicurare la consistenza delle conclusioni documentate nei Rapporti di valutazione e certificazione e delle decisioni di certificazione assunte, indipendentemente dal Gruppo di valutazione che ha condotto la visita di valutazione, il Regolamento prevede una verifica formale delle evidenze registrate dai Gruppi di valutazione nel Rapporto di valutazione e certificazione da parte della Segreteria tecnica e una verifica sostanziale e l approvazione del Rapporto di valutazione e certificazione da parte della Cabina di regia. Infine, il Regolamento prevede esplicitamente la possibilità di ricorrere contro le decisioni di certificazione del Comitato per la valutazione e certificazione e le relative modalità di gestione dei ricorsi. 12
3.8 Procedure di responsabilità e rendicontabilità (Accountability procedures) Agencies should have in place procedures for their own Le procedure di responsabilità e rendicontabilità del sistema accountability. CRUI per la valutazione e certificazione delle qualità dei corsi di studio universitari sono documentate nel Regolamento. These procedures are expected to include the following: 1. A published policy for the assurance of the qualiy of the agency itself, made available on its website; 2. Documentation which demonstrates that: - the agency's processes and results reflect its mission and goals of quality assurance; - the agency has in piace, and enforces, a no-conflict-ofinterest mechanism in the work of its external experts; - the agency has reliable mechanisrns that ensure the quality of any activities and material produced by subcontractors, if some or all of the elements in its quality assurance procedure are subcontracted to other parties; - the agency has in place internal quality assurance procedures which include an internai feedback mechanism (i.e. means to collect feedback from its own staff and council/board), an internal reflection mechanism (i.e. means to react to internai and external recommendations for improvement) and an external feedback mechanism (i.e. means to collect feedback from experts and reviewed institutions for future development) in order to inform and underpin its own development and improvement. 1. La politica per la qualità del sistema CRUI è documentata nel Regolamento, pubblicato sul sito della Fondazione CRUI. 2. - I processi documentati nel Regolamento e i risultati documentati nella Relazione annuale sulle attività di valutazione e certificazione svolte sono coerenti con la missione della Struttura di valutazione e certificazione e con gli scopi dell assicurazione della qualità. - Gli esperti sono scelti tra quelli inseriti nell Albo dei valutatori CRUI che rispondano al criterio prioritario di indipendenza, ovvero: per gli esperti del mondo universitario, che non siano/siano stati docenti presso l Università a cui appartiene il corso di studio da valutare; per gli esperti provenienti dal mondo esterno all Università, che non abbiano/abbiano avuto rapporti di dipendenza o di collaborazione o di consulenza con l Università a cui appartiene il corso di studio da valutare. A tal proposito la Segreteria tecnica richiede ad ognuno dei valutatori un apposita dichiarazione (liberatoria). Inoltre i valutatori devono impegnarsi a non accettare rapporti di collaborazione o di consulenza con l Università presso cui si svolgerà la valutazione nei due anni successivi allo svolgimento della visita in loco. La nomina nei Gruppi di valutazione è subordinata alla presentazione della liberatoria da parte di valutatori. - La Struttura CRUI gestisce direttamente tutte le attività di valutazione e certificazione e produce direttamente tutto il materiale necessario a tali attività. - Al fine di promuovere e sostenere lo sviluppo e il miglioramento del processo di valutazione e certificazione e delle relative procedure, le procedure di assicurazione della qualità del sistema CRUI, documentate nel Regolamento: prevedono il monitoraggio dei procedimenti di valutazione e certificazione da parte della Segreteria tecnica; attribuiscono alla Cabina di regia il compito di rivedere e aggiornare il processo di valutazione e certificazione, con le relative procedure, e il Modello di valutazione; prevedono, attraverso il monitoraggio effettuato dalla Segreteria tecnica e attraverso il Rapporto di valutazione e certificazione, la raccolta rispettivamente delle osservazioni dei corsi di studio valutati e dei Gruppi di valutazione sul processo e sulle procedure di valutazione. 3. A mandatory cyclical external review of the agency's activities at least once every five years. 3. linea guida non ancora soddisfatta 13