4. AFFIDABILITA E VALIDITA

Transcript

1 4. Affidabilità e validità 4. AFFIDABILITA E VALIDITA 4.1 LA VALIDITÀ Come abbiamo visto la validità appesenta la capacità di una pocedua di misuazione di misuae ciò che si intende misuae. E possibile distinguee divesi tipi di validità cui coispondono metodi divesi di veifica; vediamoli schematicamente: a. face validity : appaente, logica, concettuale VALIDITA Soft (tanslation validity) Had (citeion elated validity) L opeazionalizzazione appesenta un buon iflesso del costutto L opeazionalizzazione funziona in modo pedittivo ispetto ad alte opeazionalizzazioni b. content validity: di contenuto, intinseca, cicolae, ilevante, appesentativa c. constuct validity: della stuttua, di costutto, teoica, caatteistica, fattoiale d. citeion validity: pedittiva, empiica, statistica, coelata al citeio e. concuent validity: concoente f. convegent validity: convegente g. disciminant validity: disciminante a. Face Validity: è deteminata dalla significatività appaente ed esteioe che una misua pesenta, da cui il nome; pe valutala si ichiedono giudizi di espeti elativamente alla validità che sembano avee le misue. b. Content Validity: una misua ha validità di contenuto quando i suoi indicatoi appesentano in modo accuato l'univeso di contenuto misuato; anche questo tipo di validità ichiede il giudizio di espeti. Se, pe esempio, una pova di veifica della pepaazione di stoia di un guppo di studenti è composta solo da domande iguadanti le Guee di Indipendenza difficilmente potà essee iconosciuta valida nel suo contenuto. c. Constuct Validity: è data dal livello in cui gli indicatoi misuano accuatamente i costutti teoici che inteessa misuae; essa è veificata paticamente attaveso la misua della coelazione ta un indicatoe ed alti indicatoi secondo paticolai modelli teoici. Poniamo, pe esempio, di vole costuie uno stumento che misui le tendenze azziste di un paticolae guppo di individui; secondo l'ipotesi, l'indice saà una buona misua di azzismo, ovveo avà validità di costutto, se isulteà essee invesamente coelato con l'autostima; pe pote pocedee in questo modo è necessaio assumee che la teoia sia coetta, ovveo che esista una elazione ta autostima e azzismo. d. Citeion Validity / Pedictive Validity: appesenta la capacità di uno stumento di fae pevisioni accuate; la veifica di tale validità è fatta a patie dalla sua adeguatezza nel pedie un citeio esteno, da cui il nome. e. Concuent Validity: è deteminata ossevando quanto lo stumento coela con alti stumenti che il icecatoe itiene validi nel misuae la stessa caatteistica; l'ossevazione di una elazione statisticamente significativa è consideata veifica della validità. Se, pe esempio, si vuole veificae se una paticolae misua appesenti uno stumento valido pe misuae l'autostima, è possibile coelae i punteggi con essa ottenuti dai soggetti, con i punteggi ottenuti dagli stessi soggetti con una divesa scala itenuta valida nel misuae l'autostima; un'alta coelazione evidenzieà la validità del nuovo test o, almeno, che i due test stanno misuando la stessa cosa. f. Convegent Validity: è deteminata confontando e coelando i punteggi ottenuti con la misua da validae con quelli ottenuti con la misua di un alto costutto, teoicamente legato al pimo. La possibilità di veificae la validità convegente dipende quindi dall'esistenza di costutti, e elative misue, legati con quello misuato. 33

2 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE g. Disciminant Validity: è speculae alla validità convegente; essa è alta quando la misua da validae non coela con le misue di alti costutti, teoicamente distinti dal pimo. Supponiamo, pe esempio, di vole pedispoe un questionaio stuttuato pe misuae il costutto patiottismo in elazione al quale si può ipotizzae che negli individui esista un atteggiamento "eale" e un atteggiamento che isponda a una ceta desideabilità sociale; in questo caso è possibile pedispoe un guppo di indicatoi che misuano il costutto isposte socialmente desideabili; se le due misue (patiottismo e desideabilità sociale) non isultasseo coelate, la misua di patiottismo avebbe più validità disciminante ovveo saebbe non coelata ad una misua di qualcosa con la quale non dovebbe essee coelata se fosse valida Modelli di veifica Uno dei momenti più difficili nel pocesso di sviluppo di una misua è quello dell'intepetazione dei punteggi ottenuti dalla misuazione. La egistazione di una significativa affidabilità ivela solo che lo stumento misua veamente qualcosa ma non dà alcuna infomazione sulla natua di ciò che si sta misuando. La difficoltà deiva dal fatto che la validazione può essee veificata all'inteno di un sistema di elazioni ipotizzate ta il costutto di inteesse e alti costutti; tali elazioni possono essee di causa, effetto o di coelazione. Le misue empiiche sono utilizzate pe veificae tali ipotesi; il suppoto empiico pe le ipotesi compota la validità della misua. Le pove di validità implicano la veifica simultanea dell'ipotesi iguadante i costutti e lo stumento. Come si è già detto, molti costutti nelle scienze sociali appesentano astazioni teoiche che non esistono nell'espeienza eale; pe tale motivo gli indicatoi che li appesentano devono essee sottoposti a veifica di validità. La validazione di una misua può quindi essee vista come la veifica di una teoia. Il pocesso di validazione non può essee affontato pima che non sia stato potato a temine quello di veifica dell'affidabilità Le stategie Appofondiemo a questo punto le divese stategie di veifica dei te pincipali tipi di validità che più inteessano la iceca sociale e che coispondono alle te pincipali funzioni ispetto all'utilizzo di uno stumento di misuazione: TIPO DI VALIDITA' FUNZIONE 1. PREDITTIVA stabilie una elazione statistica con una paticolae vaiabile 2. DI CONTENUTO appesentae/ilevae un univeso di contenuto specifico 3. DELLA STRUTTURA o TEORICA misuae paticolai tatti psicologici, appoti sociali, ecc. Anche se i te tipi di validazione sono pesentati sepaatamente nella patica essi tendono ad essee complementai in quanto ciascuno di essi è sostenuto o iceve infomazioni dall'alto. La validità pedittiva Il modello statistico e la logica utilizzati pe studiae e veificae la validità pedittiva sono elativamente semplici, anche se dal punto di vista applicativo il pocedimento può isultae piuttosto complesso. Alla base del modello di veifica vi è il confonto ta la misua da validae ed alte misue dette citei 1. Tale appoccio pevede e ichiede la definizione e la veifica di una ipotesi iguadante le 1 Ta i divesi tipi di citeio esistenti, secondo alcuni autoi, è possibile distinguee le seguenti tipologie: 1. poduct citeia, appesentati da vaiabili legate a paticolai pestazioni e isultati di alcune specifiche attività (pe esempio numeo di lettee battute a macchina, numeo di scatole ispezionate, ecc.); 2. action citeia, che iguadano l'attività stessa (pe esempio misuazioni di paticolai pestazioni: velocità o numeo di eoi nell'eseguie qualcosa, ecc.) e che sono utilizzabili quando il isultato di una ceta attività non è appesentato da un podotto tangibile; 34

3 4. Affidabilità e validità elazioni ta il costutto ed alti costutti. Un tale tipo di studio può iguadae sia stumenti sviluppati, allo scopo di valutae una teoia esistente (la situazione miglioe), che stumenti sviluppati, allo scopo di valutae un costutto che non fa pate di una teoia esistente. L'indicatoe opeativo del gado di coispondenza ta lo stumento e il citeio è di solito appesentato dalla dimensione della loo coelazione; in alte paole il confonto ta misua e citei è ealizzato e misuato in temini di analisi della coelazione, estesa anche al caso multivaiato: il livello di coelazione ottenuto specifica il gado di validità; pe questo motivo in tale contesto il coefficiente di coelazione viene indicato spesso come coefficiente di validità: se i isultati statistici conducono a decisioni e scelte agionevoli alloa il guppo di vaiabili in questione ha validità pedittiva 2. I complessi ambiti della iceca sociale non consentono una stima accuata e, agionevolmente, poducono il più delle volte modeste coelazioni ta stumento e citeio esteno 3. La misua e il citeio esteno possono essee misuati in momenti divesi; in elazione a ciò è possibile distinguee ta: - citeio post-diction: quando il citeio esteno viene misuato dopo l'applicazione dello stumento da validae; - citeio concomitante: quando il citeio esteno viene misuato contempoaneamente allo stumento da validae; - citeio pedittivo: quando il citeio esteno viene misuato pima dell'applicazione dello stumento da validae. Tale distinzione iguada solo l'applicazione dello stumento, in quanto la logica e le pocedue di validazione nei te tipi non sono divese: la validità pedittiva è deteminata solamente dal gado di coispondenza ta i dati, indipendentemente da quando sono stati ilevati. E' impotante iconoscee che l'utilità scientifica e patica della validazione pedittiva dipende sia dalla misuazione del citeio che dalla qualità dello stumento di misuazione stesso. E' impotante inolte che gli studi di validità pesentino i seguenti due aspetti: a. la teoia sulla quale sono basate le ipotesi deve essee solida; b. il citeio utilizzato deve essee misuato in modo affidabile. Come si è visto la logica alla base di tale validità è abbastanza semplice e chiaa; è peò altettanto chiao che le pocedue di validazione pedittiva pesentano una limitata utilità in quanto in molte situazioni non esiste alcun citeio con cui valutae in modo agionevole la misua. Più è astatto il concetto, più difficile è tovae un citeio appopiato pe la valutazione della misua. La validità pedittiva diviene paticolamente impotante quando a livello patico la misua da validae ha funzioni opeative e decisionali (assunzione di pesonale, ceazione di sevizi sulla base di peviste necessità di un guppo di cittadini, ecc.). La validità di contenuto Pe la validità di contenuto è essenziale che la misua da validae sia accettata come indicatoe che 3. subjective judgment citeia, legati, a diffeenza delle pecedenti tipologie oggettive, a giudizi di ossevatoi, le cui valutazioni soggettive possono essee ta loo coelate utilizzando metodi basati su confonti accoppiati, di odinamento (anking e ating-scale). 2 Secondo un alta stategia (validità attaveso guppi noti), pe tale validità si veifica l'ipotesi che deteminati guppi di soggetti ottengano punteggi più alti ispetto ad alti; la significatività della diffeenza ta i guppi viene veificata calcolando la media dei punteggi ottenuti sullo stumento pe ciascun guppo e confontando attaveso stumenti statistici le medie ossevate (t di Student, analisi della vaianza). 3 Un esempio a iguado può essee appesentato da un test di matuità scolastica. Pe potelo completae occoe attendee la fine dell'anno. Relativamente a questo esempio occoe ossevae che il pofitto scolastico non dipende solo dalle capacità dello studente ma anche dalle caatteistiche degli insegnanti e della scuola: quindi anche pe il citeio esteno si pongono poblemi di validità e affidabilità. In questo caso si può pocedee dimostando la non-validità del citeio (confontando i giudizi di più insegnanti sui isultati in una ceta mateia: se i giudizi divegono il citeio viene consideato non-valido). 35

4 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE definisce l'univeso di contenuto di ifeimento. Tale validità viene veificata misuando il gado di appesentatività degli indicatoi che compongono la misua: se gli indicatoi appesentano un buon campione dell'univeso degli indicatoi dell'ambito da indagae, ovveo iflettono uno specifico dominio di contenuto, lo stumento ha una buona validità di contenuto. La veifica della validità di contenuto è paticolamente impotante e deve essee effettuata al momento della costuzione dello stumento e quindi pima dell'analisi vea e popia; questa dovebbe fonie solo infomazioni aggiuntive su tale validità, ovveo dovebbe fonie solo un sostegno e una giustificazione statistica. Pe veificae la validità di contenuto occoe contollae e valutae i seguenti standad: Qualità e della appesentatività degli indicatoi: pe valutae ciò è necessaio identificae un pofilo dettagliato delle dimensioni e dei concetti che devono essee ilevate. Il pofilo deve essee collegato diettamente con l'ipotesi di iceca che deve guidae e condue alla fomulazione e alla costuzione dello stumento. Tale valutazione è comunque complicata dal fatto che è difficile, se non impossibile, valutae il campionamento del contenuto. Adeguatezza e sensibilità della costuzione degli indicatoi: pe valutae ciò è possibile utilizzae alcune veifiche: o un alto livello di accodo (consistenza intena) ta gli indicatoi dovebbe ilevae che gli indicatoi tendono a misuae qualcosa in comune; tale veifica peò non gaantisce la veifica della validità della costuzione: infatti gli indicatoi che concoono ad un unico contenuto possono anche misuae caatteistiche divese non coelate; o il confonto ta divese applicazioni dello stumento (pe esempio pima e dopo una ceta speimentazione) consente di veificae se lo stumento misua l'evoluzione di un ceto fenomeno; tale veifica ichiede comunque un modello complesso e di difficile applicazione nel campo delle scienze sociali; o un alto livello di coelazione ta misua da validae e alti indicatoi consente di concludee che lo stumento misua ciò che si vuole misui; in ealtà la egistazione e l'ossevazione di alti livelli di coelazione non è gaanzia di validità di contenuto: gli stumenti confontati potebbeo misuae male nello stesso modo la stessa dimensione. Come si è visto tali standad non possono essee sempe giudicati e valutati in modo adeguato; inolte, nonostante i tentativi di applicae metodi statistici di veifica, la validità di contenuto è stabilita pincipalmente con alti citei; la statistica può aiutae ma la validità di contenuto iguada pincipalmente le caatteistiche iguadanti il contenuto e il modo con cui è pesentato. E' pe questo che è più coetto mettee a confonto i giudizi di divesi espeti in mateia. In ogni caso, indipendentemente dai isultati dell'analisi, la decisione finale sulla validità di un indicatoe o di un insieme di indicatoi spetta al icecatoe. La validità teoica o della stuttua La validità della stuttua è diettamente collegata alle teoie di ifeimento pe il icecatoe; in paticolae essa iguada il appoto ta lo stumento e le dimensioni e i concetti da misuae e pesuppone una solida base di pepaazione, studio e speimentazione sull'agomento. Da questo punto di vista un guppo di vaiabili è valido se in esso tovano confema le teoie di ifeimento. Le teoie vaiano ispetto alla specificità e alla gandezza dell'aea che gli indicatoi devono icopie. Come sappiamo in alcuni casi il «dominio» è talmente piccolo che uno qualsiasi degli indicatoi identificati è sufficiente a copie l'aea; maggioe è l'aea da icopie, maggioe è la difficoltà nel definie quali indicatoi appatengono all'aea. Lo stumento itenuto valido nella stuttua può essee utilizzato da coloo che accettano l'intepetazione teoica di ciò che esso appesenta. Natualmente il costutto sottostante continua a imanee un entità teoica. La concezione della natua del costutto e le agioni delle elazioni con alti costutti sono basate su una stuttua teoica che può essee successivamente sostituita da una nuova stuttua che idefinisce il costutto. 36

5 4. Affidabilità e validità La veifica della validità della stuttua è un poblema che non può essee isolto statisticamente ma logicamente; comunque, anche se la veifica della validità teoica è essenzialmente di tipo logico, questa è affiancata da una veifica statistica. Tale veifica mia a deteminae quanto gli indicatoi tendono a misuae la stessa cosa o cose divese; ciò appesenta una condizione necessaia ma non sufficiente pe veificae la validità teoica. Gli stumenti statistici utilizzati pe studiae la validità teoica possono essee espessi in temini di - consistenza intena, ovveo sulla base della tendenza di misue divese a coelae molto ta loo e ad essee influenzate allo stesso modo da tattamenti speimentali; - deteminazione della coelazione della misua del costutto con alte misue elative ad alti costutti; - analisi fattoiale. Il podotto finale di tale pocesso dovebbe condue ad un costutto a. ben definito in temini di ossevazione, b. ben appesentato in temini di vaiabili ossevabili, c. eventualmente coelato con alti costutti. E' comunque molto impotante tene pesente che la validità di costutto può essee sostenuta ma mai povata; è infatti possibile che successivi lavoi e studi possano dae nuove intepetazioni dei isultati e veificae nuovi modelli. Con il seguente schema cechiamo di sintetizzae quali possono essee le finalità dei divesi appocci alla validità nel caso di indicatoi soggettivi: PROBLEMA PROCEDIMENTO PER LA STIMA DELLA VALIDITA' APPLICATO SOPRATTUTTO A VALIDITA' PREDITTIVA E CONCORRENTE Come si coelano citeio e punteggio? Gli stumenti iescono ad esploae e penetae le situazioni che dovebbeo valutae? In che modo intepetae i punteggi ottenuti? Lo stumento misua popio le vaiabili che dovebbeo misuae? Somministato lo stumento, dopo un ceto peiodo si accolgono i dati elativi al citeio VALIDITÀ DI CONTENUTO Si analizzano gli item e le isposte ichieste, in elazione all oggetto che lo stumento dovebbe valutae. VALIDITÀ DI COSTRUTTO Si elaboano delle ipotesi sul significato da attibuie ai punteggi dello stumento, stabilendo il gado secondo cui i punteggi alti debbano diffeie da quelli bassi o quali vaiabili possono alteali. Ciascuna di queste ipotesi viene veificata singolamente. 1. stumenti pe la selezione di soggetti; 2. stumenti usati in campo scolastico e clinico 3. stumento usato pe valutazioni complesse 1. stumenti usati pe valutae i pogammi educativi. 2. Tecniche di ossevazione pe lo studio del compotamento abituale 1. stumenti usati pe valutae intelligenza o pesonalità sia a fini diagnostici e di oientamento individuale, che pe iceca e valutazione scolastica. Veifica contempoanea della validità convegente e disciminante Come abbiamo visto, la validità - convegente è quella veificata dall'ossevazione di un'alta coelazione ossevata ta la misua da validae e alte misue di costutti teoicamente legati al pimo, e - disciminante è quella veificata dalla ossevazione di una modesta o nulla coelazione ta la misua da validae e alte misue di alti costutti non legati a quello misuato. Questi due tipi di validità possono essee studiati in elazione ta loo, quando è possibile fae le due ipotesi contempoaneamente. L'idea di base è che un costutto debba essee coelato maggiomente con se stesso che con alti. Nella validità convegente ci si aspetta un alta coelazione ta misue di costutti teoicamente legati. Idealmente dovebbeo egistae cica lo stesso livello di affidabilità. Siccome si ipotizza sempe un ceto livello di eoe che abbassi il livello di affidabilità, tali coelazioni ossevate non aggiungono mai il massimo livello. A metà del Novecento Conbach ed alti elaboaono, nell ambito della definizione degli Standad pe lo sviluppo di misue in psicologia pe l Associazione Ameicana di Psicologia, un paticolae 37

6 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE appoccio alla veifica della validità, la ete nomologica; tale ete di veifica dovebbe compendee a. la stuttua teoica elativa a ciò che si ceca di misuae, b. la stuttua empiica elativa al come si ceca di misuae, c. la specificazione dei legami ta le due pecedenti stuttue. Tale ete è basata su un ceto numeo di pincipi che guida il icecatoe nella veifica; ciò che l appoccio ceca di fae è di collegae l ambito concettuale/teoetico con quello ossevativo. Se da una pate l idea di ete nomologica può funzionae a livello filosofico, dall alta essa non fonisce una metodologia patica e utilizzabile pe veificae ealmente la validità. Successivamente Campbell e Fiske nel 1959 hanno sviluppato un paticolae appoccio, definito Multitait-Multimethod Matix (MTMM), che ha dato un impulso veso una paticolae metodologia di veifica della validità. Il MTMM consente di indagae simultaneamente la validità convegente e la validità disciminante; l applicazione del MTMM ichiede, come vedemo nel paagafo successivo, che vengano misuati almeno due costutti e che ciascuno di essi sia misuato con almeno due metodi distinti. 4.2 VALIDITÀ, AFFIDABILITÀ E INDICATORI MULTIPLI Secondo alcuni autoi (Maadi, 1980) l'analisi della consistenza intena di un guppo di indicatoi è "una popietà intemedia ta attendibilità e validità [...] e può essee misuata, dato che non fa ifeimento a qualcosa di esteno alla matice dei dati; può essee indizio di validità ma non ceto una pova". Ciò ha indotto ad un ceto scetticismo nei confonti di misue di affidabilità e validità basate sulla conguenza intena di batteie o alti guppi di indicatoi opeativamente definiti in maniea toppo simile. I pimi a mettee in luce il fatto che nell'analisi della consistenza intena gli aspetti di affidabilità e di validità sono inesticabilmente legati sono stati Campbell e Fiske nel Seguiamo il loo agionamento; essi si sono chiesti se la consistenza intena di un guppo di indicatoi fosse dovuta alla possimità semantica o piuttosto solo alla somiglianza delle loo definizioni opeative 4. Pe affontae tale poblema saebbe necessaio utilizzae tecniche di ilevazione più affinate. Relativamente ad un deteminato concetto, si dovebbeo scegliee quegli indicatoi che possano essee egistati con definizioni opeative quanto più possibile divese l'una dall'alta (fonte delle infomazioni, foma delle domande, tipo di isposte pecodificate, stumenti e situazioni in cui egistae le isposte, ecc.). Se le coelazioni ta gli indicatoi dello stesso concetto egistati con definizioni opeative divese fosseo consideevolmente più alte delle coelazioni ta gli indicatoi di concetti divesi egistati con definizioni opeative simili, il poblema saebbe isolto. Si ealizzeebbe in questo modo una validazione convegente peché indicatoi fomalmente simili ma legati semanticamente a concetti divesi isulteebbeo scasamente conguenti ta loo. Quindi il equisito necessaio pe veificae la conguenza ta indicatoi deve deivae dalla loo vicinanza semantica e non dalla somiglianza ta le elative definizioni opeative. Tale appoccio mette in cisi la capacità delle scienze sociali di conoscee il popio oggetto senza altealo; la definizione opeative appae più che un modo pe egistae gli stati degli oggetti su una ceta popietà, un meccanismo che contibuisce a ceae gli stati che egista. Tale appoccio ha condotto a ad un geneale adeguamento alla ichiesta di dae definizioni opeative quanto più diffeenti degli indicatoi dello stesso concetto; tale adeguamento ichiede spesso una ceta ceatività metodologica e pone poblemi patici non sempe supeabili. 4 Ciò si pone pe esempio quando in questionaio le domande sono poposte in successione dallo stesso intevistatoe e l'intevistato deve scegliee pe ciascuna domanda una isposta in un limitato aco di altenative pe-codificate, favoendo il pesentasi del esponse-set. 38

7 4. Affidabilità e validità Il metodo poposto da Campbell e Fiske Come si è già detto, quello della validità appesenta il poblema più citico nella iceca empiica 5 e iguada il poblema di come gli indicatoi misuino il concetto astatto deivato dalla teoia; tale poblema non consente di avee sicuezze e imane in un qualche modo discutibile e inceto. Secondo Campbell e Fiske è possibile confidae sulle caatteistiche delle misue di cui si dispone e su come esse coelano ta loo. Se si misua un ceto tatto, o concetto astatto, con divese metodologie ta loo molte divese e se tali divese pocedue poducono isultati che sono abbastanza simili, è possibile confidae nella validità delle misue, potendo affemae, in modo agionevole e convincente, che ciascuno dei metodi poduce una misua valida della caatteistica in questione. Con l'appoccio definito da Campbell e Fiske i concetti di affidabilità e di validità tovano la seguente nuova definizione: L'affidabilità appesenta l'accodo ta due tentativi di misuae lo stesso tatto attaveso metodi ta loo il più possibile simili. La validità è appesentata dall'accodo ta due tentativi di misuae lo stesso tatto attaveso metodi ta loo il più possibile divesi. Tale definizione contiene le basi logiche della metodologia da loo poposta. Nella teoia classica della misuazione, come abbiamo visto, si fa distinzione ta punteggi vei e punteggi ossevati; sulla base degli assunti iguadanti tali punteggi è definito un coefficiente di affidabilità. Pe pote calcolae i coefficienti basati sui metodi tadizionali è necessaio, come sappiamo, pote dispoe di almeno due misuazioni; in alte paole la valutazione dell'affidabilità di una misua è ealizzabile attaveso divesi schemi speimentali che alla base pesentano la nozione di ipetibilità ovveo di applicazione di metodi ta loo il più possibile simili. Con l'appoccio poposto da Campbell e Fiske ci si sposta dalla nozione di pua affidabilità (attaveso metodi il più possibile simili ta loo) alla nozione di validità (metodi il più possibile divesi ta loo). Pe pote definie l'affidabilità e la validità, i due autoi hanno idefinito le nozioni di validità convegente e disciminante: - metodi divesi di misuazione possono convegee veso la misuazione dello stesso tatto (validità convegente); - stessi metodi di misuazione possono non coelae peché misuano tatti divesi (validità disciminante). Il metodo da loo poposto può essee fomalmente così pesentato. Il valoe y dell'indicatoe i-esimo accolto con il metodo j-esimo può essee decomposto in due componenti: - una stabile ( T ), coispondente al punteggio veo nella teoia classica, - una casuale ( e ). La isposta e le sue due componenti si legano ta loo nel modo seguente: y = h T + e dove h livello di elazione ta componente stabile (punteggio veo) e isposta. Il punteggio veo può essee ulteiomente decomposto in te componenti: - una che appesenta il punteggio sulla vaiabile che inteessa F i, - una dovuta al metodo utilizzato M j, - una dovuta alla combinazione di metodo e tatto u ; 5 In un ceto senso tale poblema è simile a quello dell'attibuzione di una etichetta a ciascun fattoe nell'analisi fattoiale. 39

8 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE dopo la standadizzazione ciò conduce alla seguente equazione: T = b F + g M + u dove b g livello di elazione ta la vaiabile latente di inteesse e il punteggio veo effetto della componente metodo sul punteggio veo i Sapendo che tutte le vaiabili, eccetto i temini di distubo, sono standadizzate e che il metodo e i fattoi non sono coelati, i coefficiente h, b e g indicano la foza delle elazioni ta le vaiabili nel modello; a tali coefficienti è stata data una speciale intepetazione: - h è chiamato coefficiente di affidabilità; il quadato di tale coefficiente appesenta una stima dell'affidabilità (test-etest nel senso della teoia classica); - b è chiamato coefficiente di validità del punteggio veo in quanto il quadato di tale coefficiente appesenta la vaianza spiegata nel punteggio veo attibuita alla vaiabile cui siamo inteessati; - g è chiamato effetto del metodo in quanto il quadato di tale coefficiente appesenta la vaianza la vaianza spiegata nel punteggio veo attibuita al metodo usato; 2 - la vaianza di u più g a volta è chiamata invalidità in quanto è la vaianza spiegata nel punteggio veo che non è dovuta alla vaiabile di inteesse. j La matice Multi-Tait Multi-Method Pe pote stimae l'eoe di misuazione come è stato definito qui è necessaio misuae almeno te tatti con te divesi metodi. Tale disegno, intodotto da Campbell e Fiske, è chiamato MultiTait- MultiMethod (MTMM) in quanto ciascun tatto di un numeo di tatti (costutti) è misuato con un numeo di metodi diffeenti. Pe analizzae i dati tatti dal disegno speimentale MTMM è stato definito un modello causale. Olte la distinzione ta punteggi vei e punteggi ossevati, sono intodotti fattoi latenti sia pe il fattoe "tatto" che pe il fattoe "metodo". Si assume che - i fattoi "tatto" siano ta loo coelati ( ho ( F 1 F 2 )), - i fattoi "metodo" non siano coelati ta loo, - i fattoi "metodo" non siano coelati con i fattoi "tatto". Il equisito pincipale pe pote applicae la matice multitait-multimethod (MTMM) è quello di pote dispoe di almeno di te diffeenti caatteistiche, ciascuna delle quali misuata con metodi ta loo molto divesi 6. Pe pote pocedee occoe quindi innanzi tutto identificae i tatti e i metodi. La costuzione della matice Identificazione dei tatti: supponiamo di vole studiae le valutazioni individuali iguado ai due patiti politici misuando i seguenti tatti: a. valutazione del patito, b. ideologia politica (pe esempio libeale-modeata-consevatice), c. livello di coinvolgimento politico. Identificazione dei metodi: pe misuae ciascuno dei tatti individuati è possibile utilizzae i medesimi te metodi: 1. scala di atteggiamento o questionaio; 2. ossevazione patecipata, ealizzata tascoendo due o te gioni con ciascun soggetto 6 Come pe alti appocci qui poposti, le caatteistiche da misuae possono essee appesentate da atteggiamenti, compotamenti e possono iguadae sia individui che aggegazioni quali istituzioni, oganizzazioni, città, nazioni, ecc. 40

9 4. Affidabilità e validità duante una campagna elettoale, egistando fedelmente qualsiasi accenno ad uno dei patiti; successivamente saà possibile egistae il numeo di affemazioni positive e negative date da ciascun soggetto e diette a ciascun patito; 3. utilizzazione degli infomatoi che consiste nel chiedee ad amici e a paenti quali sono secondo loo le valutazioni iguadanti ciascun soggetto. Tale quado legittima l'utilizzo dell'appoccio MTMM. Il pimo passaggio dell'analisi finalizzata a stimae l'affidabilità, la validità e gli effetti dei metodi è quello di calcolae la matice di coelazione 7 pe le misue utilizzate. Tale matice MTMM potebbe essee appesentata nel modo seguente: METODO METODO TRATTI A A 1 A1 B B 1 A1 C C 1 A1 A A 2 A1 B B 2 A1 C C 2 A1 A A 3 A1 B B 3 A1 C C 3 A1 A B C A B C A B C B 1 B 1 C 1 B 1 A 2 B 1 B 2 B 1 C 2 B 1 A 3 B 1 B 3 B 1 C 3 B 1 C 1 C 1 A 2 C 1 B 2 C 1 C 2 C 1 A 3 C 1 B 3 C 1 C 3 C 1 A 2 A 2 B 2 A 2 C 2 A 2 A 3 A 2 B 3 A 2 C 3 A 2 B 2 B 2 C 2 B 2 A 3 B 2 B 3 B 2 C 3 B 2 C 2 C 2 A 3 C 2 B 3 C 2 C 3 C 2 A 3 A 3 B 3 A 3 C 3 A 3 B 3 B 3 C 3 B 3 C 3 C 3 I valoi della matice appesentano coefficienti di coelazione; l'analisi di tale matice ichiede, a causa del diveso significato che le coelazioni assumono, la suddivisione delle coelazioni in quatto divesi agguppamenti: A. Diagonale di affidabilità: same-tait same-method, composto dalle coelazioni ta due tentativi di misuae la stessa caatteistica utilizzando lo stesso metodo; all'inteno della matice esse coispondono ai valoi A 1 A1, B 1 B, 1 C 1 C, 1 A 2 A, 2 B 2 B, 2 C 2 C, 2 A 3 A, 3 B 3 B, 3 C 3 C3 (valoi su sfondo blu); tali coelazioni possono essee intepetate come coefficienti di affidabilità 8. B. Diagonali di validità: same-tait diffeent-method, composto dalle coelazioni ta la stessa caatteistica misuata con metodi divesi; all'inteno della matice esse coispondono ai valoi di A 2 A, 1 B 2 B, 1 C 2 C, 1 A 3 A, 1 A 3 A, 2 B 3 B, 1 B 3 B, 2 C 3 C, 1 C 3 C (valoi in diagonale su sfondo vede) e 2 che possono essee intepetati come coefficienti di validità convegente in quanto appesentano le coelazioni ta le stesse caatteistiche misuate attaveso metodi ta loo molto divesi, coeentemente con la concettualizzazione di validità fatta da Campbell e Fisse: se si misua una paticolae caatteistica, coettamente concettualizzata, in modi divesi e si ottengono gli stessi isultati, le pocedue di misuazione isultano pobabilmente valide. Tali 7 Il tipo di coelazione scelta può influenzae i isultati; nel caso di vaiabili categoiche si suggeisce di utilizzae, pe evitae gandi bias, le coelazioni policoiche e poliseiali. 8 Tali valoi possono essee podotti da metodi quali il test-etest o lo split-half (v. I modelli di scaling, n. 2 della seie AstRiS). 41

10 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE valoi dovebbeo essee statisticamente ilevanti e di gande dimensione. Pe ciascun metodo il valoe della validità dovebbe essee maggioe di qualsiasi alto valoe nella iga e nella colonna coispondenti; in alte paole due misue dello stesso costutto dovebbeo avee coelazioni più stette ta loo che con le misue di alti costutti. C. Tiangoli Diffeent-tait same-method, composto dalle coelazioni ta divese caatteistiche misuate con lo stesso metodo; all'inteno della matice esse coispondono ai valoi di B 1 A, 1 C 1 A 1, C 1 B, 1 B 2 A, 2 C 2 A, 2 C 2 B, 2 B 3 A, 3 C 3 A, 3 C 3 B (tiangolo con sfondo osso). Campbell e Fiske 3 chiamano tali tiangoli heteotait-monomethod. L'odine di gandezza di tali coelazione (all'inteno dei tiangoli) dovebbe essee lo stesso. D. Tiangoli Diffeent-tait diffeent-method, composto dalle coelazioni ta caatteistiche divese misuate con metodi diffeenti; all'inteno della matice esse coispondono ai valoi A 2 B 1, A 2 C, 1 B 2 A, 1 B 2 C, 1 C 2 A, 1 C 2 B, 1 A 3 B, 1 A 3 C, 1 A 3 B, 2 A 3 C, 2 B 3 A, 1 B 3 C, 1 B 3 A, 2 B 3 C, 2 C 3 A, 1 C 3 B, 1 C 3 A 2, C 3 B (sfondo fucsia). 2 Ricapitolando, le categoie possono essee visualizzate nella matice nel modo seguente: a. same-tait same-method (sfondo blu); b. same-tait diffeent-method (sfondo vede); c. diffeent-tait same-method (sfondo osso); d. diffeent-tait diffeent-method: (sfondo fucsia). L'intepetazione della matice: i citei Pe pote intepetae i valoi all'inteno della matice MTMM, Campbell e Fiske hanno individuato quatto citei: A. I coefficienti di affidabilità dovebbeo appesentae i valoi più alti della matice. B. I coefficienti di validità dovebbeo essee significativamente divesi da 0 e sufficientemente gandi da incoaggiae ulteioi analisi di validità. Nella matice dell'esempio i valoi di tali coefficienti vanno da.39 a.68; applicando un semplice test di significatività a tali coelazione dovebbe essee possibile accetasi del livello di significatività loo associato. Una volta ossevato un livello soddisfacente di significatività saà possibile esploae gli alti citei. C. Ciascun coefficiente di validità dovebbe essee maggioe di tutte le coelazioni diffeent-tait diffeent-method pesenti nella stessa iga o nella stessa colonna del coefficiente di validità. Nella matice dell'esempio il valoe del coefficiente di validità pe A1-A2 è.51. Il confonto ilevante è quindi ta.51 e i coefficienti che sono nella stessa iga o colonna del valoe.51 nei due tiangoli adiacenti. Tali quatto coefficienti sono.32,.29,.31 e.30, tutti più piccoli del coefficienti di validità ilevante. D. Ciascun coefficiente di validità dovebbe essee maggioe del coispondente coefficiente diffeent-tait same-method. La motivazione di tale citeio è data dal fatto che, peché delle misue siano valide vi deve essee più vaianza di tatto che vaianza di metodo: se le caatteistiche sono ta loo veamente distinte a livello concettuale alloa la maggio pate della vaianza condivisa dovebbe iflettee la vaianza metodologica 9. La stessa caatteistica misuata con metodi divesi dovebbe iflettee pincipalmente la vaianza di tatto che dovebbe essee maggioe della vaianza di metodi delle coelazioni diffeent tait-same method. Nella matice dell'esempio il valoe del coefficiente di validità pe la caatteistica A ovveo A1-9 Stettamente palando, le coelazioni diffeent tait-same method dovebbeo compendee più della vaianza metodologica. Anche se i tatti possono essee concettualmente distinti, vi può essee ta loo pobabilmente qualche elazione causale. In genee, si dovebbe utilizzae l'appoccio M-M con vaiabili che siano entambe concettualmente distinte e che hanno ta loo solamente connessioni causali minoi e non diette. Se ciò isultasse veo, la vaianza comune ta lo stesso concetto misuato attaveso divesi metodi dovebbe essee maggioe della vaianza comune ta concetti divesi misuati attaveso lo stesso metodo. 42

11 4. Affidabilità e validità A2 è uguale a.51; tale valoe dovebbe essee maggioe delle coelazioni che coinvolgono A1 o A2 con alte caatteistiche ma con lo stesso metodo. Quindi.51 viene confontato con le coelazioni ta A1 e B1, A1 e C1, A2 e B2 e A2 e C2, ispettivamente.42,.38,.44 e.38: il citeio può disi soddisfatto. E. Si dovebbe ossevae lo stesso modello di coelazioni all'inteno di ciascun tiangolo, o sia quelli con gli elementi che pesentano coelazioni ta tatti divesi che utilizzano metodi divesi, o sia quelli che iflettono coelazioni ta tatti divesi utilizzando lo stesso metodo. Nella matice dell'esempio nel tiangolo in alto (che chiameemo tiangolo 1-1) il modello, in odine inveso di gandezza di coelazione, è A1-B1 (.42), A1-C1 (.38) e B1-C1 (.33). Tale modello di coelazioni dovebbe iflettee le vaie connessioni causali ta i tatti A, B e C. Tutte le coelazioni dovebbeo iflettee una pate della vaianza comune di metodi, in tale tiangolo, ma il modello di ineguaglianza dovebbe iflettee anche la foza delle connessioni causali ta i tatti. Secondo il modello del tiangolo 1-1 la coelazione ta A e B dovebbeo essee maggioe che non ta A e C o ta B e C. Vediamo un esempio 10 : METODO METODO TRATTI A (082) A B C A B C A B C B 0.42 (0.79) C (0.74) A (0.69) B (0.84) C (0.65) A (0.89) B (0.75) C (0.68) A. La coelazione più bassa nella diagonale di validità è statisticamente significativa a livello B. I valoi di tali coefficienti vanno da 0.39 a 0.68; applicando un semplice test di significatività a tali coelazione dovebbe essee possibile accetasi del livello di significatività loo associato. Una volta ossevato un livello soddisfacente di significatività saà possibile esploae gli alti citei. C. Il valoe del coefficiente di validità A 1 A2 è Il confonto ilevante è quindi ta 0.51 e i coefficienti che sono nella stessa iga o colonna del valoe 0.51 nei due tiangoli adiacenti. Tali quatto coefficienti sono 0.32, 0.29, 0.31 e 0.30, tutti più piccoli del coefficienti di validità ilevante. D. Il valoe del coefficiente di validità pe la caatteistica A ( A 1 A ) è uguale a 0.51; tale valoe 2 dovebbe essee maggioe delle coelazioni che coinvolgono pe la caatteistica A i metodi 1 e 2 con alte caatteistiche ma con lo stesso metodo. Quindi 0.51 viene confontato con le coelazioni A 1 B, 1 A 1 C, 1 A 2 B e 2 A 2 C, ispettivamente 0.42, 0.38, 0.44 e 0.38: il citeio può disi 2 soddisfatto. E. Nella matice dell'esempio nel tiangolo in alto (che chiameemo tiangolo 1-1) il modello, in 10 I dati nella tabella non coispondono ai dati ottenuti a patie da uno studio eale e sono pesentati sono a titolo illustativo. 43

12 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE odine inveso di gandezza di coelazione, è A 1 B 1 (.42), A 1 C (.38) e 1 B 1 C (.33). 1 Tale modello di coelazioni dovebbe iflettee le vaie connessioni causali ta i tatti A, B e C. Tutte le coelazioni dovebbeo iflettee una pate della vaianza comune di metodi, in tale tiangolo, ma il modello di ineguaglianza dovebbe iflettee anche la foza delle connessioni causali ta i tatti. Secondo il modello del tiangolo 1-1 la coelazione ta A e B dovebbeo essee maggioe che non ta A e C o ta B e C. Si può die che i dati pesentati nell'esempio soddisfano tutti i citei. In paticolae, i confonti da effettuae pe veificae i citei B e C sono pesentati nella seguente tabella; essendo il valoe del coefficiente di validità sempe maggioe di tutti i confonti ilevanti diffeent-tait, diffeent-method e diffeent-tait, same-method, i citei B e C sono stati soddisfatti in tutti i casi. All'inteno di tutti i tiangoli pesenti nella tabella iniziale il modello è esattamente lo stesso: A e B evidenziano le coelazioni maggioi, successivamente A e C mente B e C pesentano le coelazioni più basse. Essendo ciò veo indipendentemente dalla combinazione dei metodi coinvolti nel confonto, è stato veificato anche il citeio D. Coefficienti di validità Confonti pe il citeio B Confonti pe il citeio C A 2 A B 2 B , C 2 C A. Citei B e C A 3 A B 3 B C 3 C A 3 A B 3 B C 3 C B. Citeio D Tiangolo top 1-2 bottom 1-3 top 1-3 bottom 2-3 top 2-3 bottom Odine B 1 A 1 C 1 A 1 B 2 A 2 C 2 A 2 B 3 A 3 C 3 A 3 A 2 B 1 A 2 C 1 B 2 A 1 C 2 A 1 A 3 B 1 A 3 C 1 B 3 A 1 C 3 A 1 A 3 B 2 A 3 C 2 B 3 A 2 C 3 A 2 C 1 B 1 C 2 B 2 C 3 B 3 B 2 C 1 C 2 B 1 B 3 C 1 C 3 B 1 B 3 C 2 C 3 B 2 A conclusione di tale analisi, e sulla base di tali isultati, è possibile affemae che le pocedue di misuazione utilizzate sono molto pobabilmente valide e che misuano pobabilmente ciò che si è 44

13 4. Affidabilità e validità cecato di misuae. Natualmente in molte situazioni empiiche non tutte le veifiche effettuate e pesentate nell'ultima tabella sono soddisfatte dai dati, pu disponendo di misue valide. Ciò può dipendee da molti fattoi quali l'ossevazione di livelli divesi di affidabilità e validità a causa di fluttuazioni casuali nel campionamento degli indicatoi e dei soggetti. Campbell e Fiske non hanno peò definito dei paameti di ifeimento su cui basasi pe stabilie se i dati si avvicinano ai citei poposti. Secondo alcuni tale modello può essee applicato anche al caso in cui i metodi non sono molto diffeenti ta loo come nel seguente esempio in cui si studia la validità di una nuova misua del livello di soddisfazione del lavoo confontandola con uno standad esistente. Il Job Satisfaction Suvey è uno stumento suddiviso in nove sottoscale ideato pe valutae individualmente il livello di soddisfazione e gli atteggiamenti veso vai aspetti del lavoo. E' stato sviluppato specificamente pe essee impiegato su lavoatoi dipendenti nelle oganizzazioni di sevizi (ospedali, centi di igiene mentale, sevizi sociali, ecc.). Nell'ambito della misuazione della soddisfazione del lavoo esiste una scala ben validata e lagamente utilizzata chiamata Job Desciptive Index (JDI); cinque delle sottoscale di JSS (metodo 2) sono compese anche nella JDI (metodo 1). Dopo ave somministato entambe le scale ad un centinaio di soggetti, e disponendo di dati ilevati con due scale consideate metodi distinti, è stato possibile applicae il modello di analisi MTMM. Nella seguente matice MTMM sono pesentati i isultati ottenuti pe te sottoscale: soddisfazione ispetto a natua dei compiti (A), etibuzione (B) e supevisione (C). La matice contiene le coelazioni ta i 6 punteggi. METODO METODO JDI JSS TRATTI A B C A B C A ( ) JDI B.27 ( ) C ( ) A ( ) JSS B ( ) C ( ) I valoi che isultano nell'esempio ivelano buone validità convegenti e disciminanti pe la JSS. I valoi di validità in diagonale sono tutti piuttosto alti (da.62 a.80) e sono i maggioi valoi dell'intea matice. I valoi delle coispondenti coelazioni all'inteno di ciascun tiangolo sono abbastanza simili e sono piuttosto modesti e vanno da.22 a.34. Tali valoi piuttosto bassi suggeiscono che le sottoscale valutano costutti divesi Un esempio di applicazione del metodo Anche se secondo molti icecatoi l'achievement (endimento, ealizzazione) appesenta un concetto unidimensionale, alcuni hanno sottoposto tale assunto a veifica attaveso la matice MTMM. Tale applicazione non è molto otodossa in quanto non sono stati selezionati tatti che a pioi si ipotizzavano non coelati (o solamente molto coelati) ma si è cecato di specificae molti tipi divesi di un unico tatto (achievement motivation), che possono o non possono essee molto coelati. Sono stati definiti sei tipi divesi di achievement e sono state individuate cinque divese stategie di misuazione. A scopo illustativo qui ne sono pesentate solo te. I te tipi di achievement selezionati: 1. status with expet, impegno e accettazione di peizie e giudizi di espeti; 2. tendenza ad accumulae, che compende icompense mateiali come motivazione pimaia all'achievement; 3. inteesse pe la pefezione, che compende alti standad di achievement intellettuale e cultuale. I te metodi selezionati sono: 45

14 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE A. self-ating, in cui ciascun soggetto doveva valutae se stesso ispetto ad una seie di aggettivi polaizzati (te pe ogni tatto); B. simulation ole selection: dopo avee descitto dei uoli, uno pe ciascun tatto, veniva chiesto ai soggetti, di selezionane uno pe la simulazione; il titolo e la descizione dei uoli sono stati fatti in modo accuato in modo che ciascuno iflettesse solamente uno dei tatti; C. pesonality inventoy che compendeva 38 item pe ciascun tatto. Nella seguente tabella sono pesentate le coelazioni ta tatti e metodi: METODO METODO TRATTI A B C A B C A B C A (1.0 ) 1 B -.16 (1.0 ) C (1.0 ) A (1.0 ) 2 B (1.0) C (1.0) A (1.0) 3 B (1.0) C (1.0) I metodi sono piuttosto divesi, ma non è possibile stabilie se i tatti siano abbastanza diffeenti da validae le pocedue di misuazione. Infatti non è stata utilizzata la matice MTMM pe validae le misue ma piuttosto pe veificae l'unidimensionalità della motivazione all'achievement. Lo studio si conclude con una isposta negativa. Vediamo la tabella iguadante la veifica dei citei 2, 3 e 4. Coefficienti di validità Confonti pe il citeio B Confonti pe il citeio C A 2 A * B 2 B C 2 C *.42* A. Citei B e C A 3 A * B 3 B * C 3 C * *.19* *.22* A 3 A B 3 B C 3 C

15 4. Affidabilità e validità B. Citeio D Tiangolo top 1-2 bottom 1-3 top 1-3 bottom 2-3 top 2-3 bottom Odine C 1 A 1 C 1 B1 C 2 A 2 C 2 B 2 C 3 A 3 C 3 B 3 B 2 C 1 A 2 C 1 C 2 A 1 B 2 A 1 A 3 C 1 B 3 C 1 C 3 A 1 C 3 B 1 A 3 B 2 A 3 C 2 C 3 B 2 C 3 A 2 B 1 A 1 B 2 A 2 B 3 A 3 A 2 B 1 ** C 2 B 1 ** A 3 B 1 B 3 A 1 B 3 C 2 ** B 3 A 2 ** I valoi egistati dai coefficienti di validità, che in tale tabella coispondono alle coelazioni ta same-tait diffeent-method, vanno da.18 a.69. Qui, con N=155, essi sono isultati tutti statisticamente significativi, anche se notiamo come il secondo metodo (selezione del uolo di simulazione) isulta avee i coefficienti di validità più bassi degli alti due metodi. Ciò è dovuto al fatto che si tatta del metodo che più si diffeenzia dagli alti, in quanto mente il self-ating e il pesonality inventoy appesentano delle auto-descizioni, la selezione del uolo è in un ceto qual modo più di una misua di compotamento. Il secondo citeio 11 è soddisfatto in modo soddisfacente in quanto ben 33 dei 36 confonti sono ientati nel citeio con solamente te coelazioni diffeent-tait diffeent-method più gandi dei loo coispondenti coefficienti di validità; come si può notae le te eccezioni coinvolgono il metodo 2. Il tezo citeio 12 è soddisfatto solo in 31 dei 36 confonti; le cinque violazioni hanno coinvolto il metodo 2, paticolamente con i metodi 2 e 3 che misuano il tatto C. Quindi due delle te violazioni del secondo citeio e te delle sei violazioni del tezo citeio coinvolgono il metodo 2 che può essee legittimamente sospettato di non essee valido in paticolae quando è ifeito al tatto C. Relativamente al quato citeio 13 notiamo come pe cinque dei nove tiangoli, i tatti A e C coelano molto ta loo, poi i tatti B e C, e i tatti A e B coelano molto debolmente. Le invesioni suggeiscono l'esistenza di una qualche inteazione ta metodi e tatti ivelando che alcuni metodi possano essee miglioi misue di alcuni tatti. Con tali isultati, i icecatoi possono concludee che, dati gli eoi di misuazione e di campionamento, le misue sono genealmente valide e che possono essee utilizzate pe ulteioi analisi. Il metodo messo a punto da Campbell e Fiske pe la valutazione della matice funziona abbastanza bene in cicostanze come quelle pesentate, in cui la validità pe tutti i metodi è abbastanza netta. In 11 Ciascun coefficiente di validità dovebbe essee maggioe di tutte le coelazioni diffeent-tait diffeent-method che sono nella stessa iga o colonna del coefficiente di validità, nei tiangoli composti dai valoi in cosivo. 12 Ciascun coefficiente di validità dovebbe essee maggioe delle coelazioni diffeent-tait same-method che coinvolgono la stessa vaiabile come coefficiente di validità. 13 Lo stesso modello di coelazioni dovebbe essee evidenziato all'inteno di ciascuno dei tiangoli. 47

16 AStRiS 1 LA MISURAZIONE NELLA RICERCA SOCIALE alti casi le deviazioni dal caso ideale lo endono piuttosto difficile da applicae e intepetae. Sono disponibili pochi metodi statistici pe la valutazione delle matici MTMM. Quello diventato ecentemente più popolae è quello che utilizza il modello delle equazioni stuttuali. Tale tecnica può essee abbastanza utile ma pesenta alcuni sei limiti. Il ecente sviluppo di modelli diect poduct si pesentano pomettenti, sebbene si ossevino poche applicazioni. Dovendo sviluppae misue, comunque, l'analisi della matice di pe sé può dae delle inteessanti tacce sull'esistenza o meno di poblemi di validità potenziale in alcune scale. Pe esploae l'utilità di tale appoccio in maggioe dettaglio, consideando il modello sottostante la matice MTMM è possibile utilizzae la tecnica degli indicatoi multipli pe - appesentae le divese misue e le vaiabili astatte; - esaminae la stuttua delle elazioni così podotte ovveo è possibile applicae i pincipi della path analysis. Ciò consente di esaminae simultaneamente gli assunti sottostanti e di illustae l'estensione dei modelli con indicatoi multipli a situazioni più complesse. Mente Campbell e Fiske pesentavano l'utilizzo degli indicatoi multipli pe valutae la validità, Costne nel 1969 pesentava un appoccio alla valutazione dell'affidabilità che utilizza gli indicatoi multipli, ponendo l'attenzione sulla questione dell'eoe di misuazione Vantaggi e svantaggi dell appoccio MTMM Indubbiamente tale appoccio fonisce una metodologia opeativa pe la valutazione della validità. In un unica matice è paticamente possibile esaminae simultaneamente sia la validità convegente che la validità disciminante. Nel cecae di includee metodi e tatti su un unico piano, i due ideatoi hanno accentuato l impotanza della iceca degli effetti del metodo di misuazione in aggiunta al contenuto della misuazione. In questo senso il MTMM fonisce una stuttua igoosa pe valutae la validità. Pe molte agioni, peò, nonostante tali vantaggi, il multitait-multimethod non ha tovato gandi applicazioni. Innanzitutto è necessaio dispoe di un disegno speimentale di iceca piuttosto complesso ed esteso (misuazione di più tatti attaveso divese metodologie) non sempe pienamente ealizzabile. Le decisioni finali, iguadanti la validità, sono sempe legate ad un giudizio individuale del icecatoe: ciò non sempe è appezzato da chi itiene che tale decisione sia pesa oggettivamente pe mezzo di un unico coefficiente statistico. 48