────────── Aprobate de Hotărârea nr. 3 din 24 noiembrie 2018, publicat în Monitorul Oficial al României, Partea I, nr. 203 din 14 martie 2019.────────── Introducere Scopul principal al Proiectului de modificare a normelor de avizare a metodelor şi tehnicilor de evaluare şi asistenţă psihologică este de a oferi o descriere şi o evaluare detaliată şi riguroasă a testelor, scalelor şi chestionarelor de evaluare psihologică utilizate în psihologia aplicată în domeniile muncii, educaţiei, sănătăţii şi în alte concepte. Acest model va fi disponibil utilizatorilor de teste şi profesioniştilor, în scopul optimizării activităţii de testare psihologică şi oferirii de suport în a lua deciziile de evaluare corecte. Proiectul este fundamentat pe standardul EFPA în domeniu. Urmând Standardele pentru Testarea educaţională şi Psihologică, eticheta de test este utilizată pentru orice "instrument evaluativ sau procedură în care un eşantion al comportamentului examinatului într-un domeniu specific este obţinut şi apoi evaluat şi scorat utilizând un proces standardizat" (American Educaţional Research Association, American Psychological Association, & Naţional Council on Measurement in Education, 1999, p. 3). Astfel, acest model de evaluare se aplică tuturor instrumentelor acoperite sub această definiţie, indiferent dacă sunt denumite scale, chestionare, tehnici proiective, sau în alt mod. Versiunea originală a modelului de evaluare a testelor EFPA a fost bazată pe o serie de surse, incluzând: BPS Test Review Evaluation Form (dezvoltat de Newland Park Associates Limited, NPAL, iar apoi adoptat de BPS Steering Committee on Test Standards); chestionarul spaniol pentru evaluarea testelor psihometrice (dezvoltat de Asociaţia Spaniolă de Psihologie) şi sistemul de evaluare a calităţii testului elaborat de Comitetul Olandez de Teste şi Testare al Asociaţiei Psihologilor din Olanda). O mare parte din conţinut a fost adaptat cu permisiunea proformei de revizuire elaborată iniţial în 1989 de către Newland Park Associates Ltd., pentru o analiză a testelor utilizate de agenţii de formare în Marea Britanie (vezi Bartram, Lindley & Foster, 1990). Aceasta a fost utilizată şi dezvoltată ulterior pentru o serie de revizuiri BPS ale instrumentelor utilizate în evaluarea ocupaţională (de exemplu, Bartram, Lindley, & Foster, 1992; Lindley et al., 2001). Prima versiune a modelului de evaluare EFPA a fost compilată şi editată de Dave Bartram (Bartram, 2002a, 2002b) în urma unui atelier iniţial EFPA din martie 2000 şi a următoarelor runde de consultare. O actualizare majoră şi o revizuire a fost efectuată de Patricia Lindley, Dave Bartram şi Natalie Kennedy pentru utilizarea în sistemul de revizuire BPS (Lindley et al, 2004). Acest model a fost adoptat ulterior de EFPA în 2005 (Lindley et al., 2005), cu revizuiri minore în 2008 (Lindley et al., 2008). Versiunea actuală a modelului a fost pregătită de către un grup operativ al Comitetului de evaluare EFPA, al cărui membri sunt Arne Evers (preşedinte, Olanda), Carmen Hagemeister (Germania), Andreas Hostmtelingen (Norvegia), Patricia Lindley (Marea Britanie) Jose Muniz (Spania) şi Anders Sjoberg (Suedia). În această versiune au fost integrate notele şi lista de verificări pentru testele traduse şi adaptate produse de Pat Lindley şi Editorii Consultanţi de Recenzare a Testelor din UK (Lindley, 2009). Textele unor pasaje majore actualizate se bazează pe sistemul revizuit de evaluare al Olandei pentru calitatea testului (Evers, Lucassen, Meijer, & Sijtsma, 2010; Evers, Sijtsma, Lucassen. & Meijer, 2010). Proiectul de modificare a normelor de avizare a metodelor şi tehnicilor de evaluare şi asistenţă psihologică este structurat în două părţi principale. În prima parte (Descrierea instrumentului), toate caracteristicile testului evaluat sunt descrise în detaliu. În a doua parte (Evaluarea instrumentului), sunt evaluate proprietăţile fundamentale ale testului: materiale de testare, norme, fidelitate, validitate şi rapoarte generate de calculator, inclusiv o evaluare finală globală. Acest model este destinat utilizării de către doi evaluatori independenţi, într-un proces de evaluare per review, similar cu evaluarea obişnuită a lucrărilor ştiinţifice şi a proiectelor. Preşedintele Comisiei Metodologice va superviza evaluările şi poate apela la un al treilea evaluator, dacă se vor găsi discrepanţe semnificative între cele două evaluări. Se recomandă ca evaluările să fie îndreptate către practicienii calificaţi, deşi ar trebui să fie de interes şi pentru cadre universitare, autori de testare şi specialişti în psihometrie şi teste psihologice. O altă problemă-cheie este publicarea rezultatelor evaluării unui test. Rezultatele trebuie să fie disponibile pentru toţi profesioniştii şi utilizatorii, pe site-ul Colegiului Psihologilor din România, şi ar putea fi publicate şi de terţe părţi sau prin intermediul altor canale de mass-media, cum ar fi reviste de specialitate sau cărţi. În cazul metodelor de asistenţă psihologică, evaluarea se realizează prin analiza dovezilor ştiinţifice invocate. Obiectivul fundamental al elaborării acestui document îl constituie armonizarea procedurilor şi criteriilor de analiză şi evaluare a metodelor şi tehnicilor de evaluare şi asistenţă psihologică, în conformitate cu standardele europene în domeniu. PARTEA 1 DESCRIEREA INSTRUMENTULUI 1. Descrierea generală Această secţiune are scopul menirea de a oferi informaţii de bază, utile pentru identificarea instrumentului şi a modalităţii prin care acesta poate fi obţinut. Trebuie să conţină titlul instrumentului, editorul/editura sau distribuitorul, autorii, data primei publicări şi data versiunii supuse evaluării. Întrebările 1.1.1 - 1.7.3 trebuie să fie formulate clar. Ele fac referire la informaţii faptice, însă pentru a completa câmpurile despre domeniile de conţinut este nevoie de anumite evaluări.
┌──────┬──────────────────────────────┬┐
│ │Evaluator*1 ││
├──────┼──────────────────────────────┼┤
│ │Data evaluării ││
├──────┼──────────────────────────────┼┤
│ │Data evaluării anterioare ││
│ │(dacă se aplică)*2 ││
├──────┼──────────────────────────────┼┤
│1.1.1.│Denumirea testului (versiunea ││
│ │locală) ││
├──────┼──────────────────────────────┼┤
│1.1.2.│Denumirea prescurtată a ││
│ │testului (dacă se aplică) ││
├──────┼──────────────────────────────┼┤
│ │Denumirea originală a testului││
│1.2. │(dacă versiunea locală este o ││
│ │adaptare) ││
├──────┼──────────────────────────────┼┤
│1.3. │Autorii testului original ││
├──────┼──────────────────────────────┼┤
│1.4. │Autorii adaptării locale ││
├──────┼──────────────────────────────┼┤
│1.5. │Distribuitorul/editorul local ││
├──────┼──────────────────────────────┼┤
│ │Editura unde a fost publicată ││
│ │versiunea originală a testului││
│1.6. │(dacă aceasta diferă de cea ││
│ │actuală sau de distribuitorul ││
│ │actual) ││
├──────┼──────────────────────────────┼┤
│1.7.1.│Data publicării actualei ││
│ │revizuiri sau ediţii ││
├──────┼──────────────────────────────┼┤
│1.7.2.│Data publicării versiunii ││
│ │adaptate pentru uz local ││
├──────┼──────────────────────────────┼┤
│1.7.3.│Data publicării testului ││
│ │original ││
├──────┴──────────────────────────────┴┤
│Descrierea generală a instrumentului │
│Scurtă descriere non-evaluativă, │
│cuprinzătoare (200-600 de cuvinte) │
│În acest câmp trebuie oferită o │
│descriere concisă, non-evaluativă a │
│instrumentului. Descrierea trebuie să │
│confere cititorului o idee clară │
│despre elementele definitorii ale │
│instrumentului - ce conţine, scalele │
│din care se compune, ce variabile │
│pretinde că măsoară etc. Formularea ar│
│trebui să fie cât mai neutră posibil. │
│Ar trebui menţionat şi scopul pentru │
│care a fost conceput instrumentul, │
│accesibilitatea şi caracteristicile │
│grupurilor pe care poate fi aplicat │
│instrumentul, etaloanele, dar şi alte │
│aspecte de interes, caracteristici │
│speciale ale instrumentului sau orice │
│informaţii relevante din istoricul │
│dezvoltării instrumentului. Această │
│descriere poate fi succintă (200-300 │
│de │
│cuvinte). Totuşi, pentru unele │
│instrumente mai complexe, formate din │
│mai multe scale, e nevoie ca │
│descrierea să fie mai lungă (300-600 │
│de cuvinte). Textul ar trebui scris în│
│aşa fel încât să poată constitui o │
│descriere de sine stătătoare a │
│instrumentului. Descrierea ar trebui │
│să evidenţieze toate versiunile │
│disponibile ale instrumentului, despre│
│care au fost făcute referiri şi în │
│alte pagini ale acestui formular. │
│Răspunsul la acest item trebuie │
│formulat pe baza informaţiilor oferite│
│de autor/editor, iar acurateţea sa │
│trebuie verificată de către evaluator.│
├──────────────────────────────────────┤
│ │
└──────────────────────────────────────┘
Notă: *1 Numele evaluatorului poate să nu fie făcut public. *2 Această informaţie este furnizată de editorul testului. 2. Clasificare
┌─────┬───────────────────┬────────────────┐
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Generală │
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Abilităţi │
│ │ │manuale/ │
│ │ │dexteritate │
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Mecanică │
│ │ │□ Aptitudine/ │
│ │ │Abilitate - De │
│ │ │învăţare/memorie│
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Non-verbală/ │
│ │ │abstractă/ │
│ │ │inductivă │
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Numerică │
│ │ │□ Aptitudine/ │
│ │ │Abilitate - │
│ │ │Viteză │
│ │ │perceptivă/de │
│ │Domenii de conţinut│verificare │
│ │(selectaţi toate │□ Aptitudine./ │
│ │variantele care se │Abilitate - │
│ │aplică) │Senzorio-motorie│
│ │Trebuie │□ Aptitudine / │
│ │identificate │Abilitate - │
│ │domeniile de │Spaţială/vizuală│
│ │conţinut │□ Aptitudine / │
│ │specificate de │Abilitate - │
│ │autor/editor. Dacă │Verbală │
│ │acestea nu sunt │□ Atenţie/ │
│ │clare, acest lucru │concentrare │
│ │trebuie menţionat, │□ Credinţe │
│2.1. │iar răspunsurile │□ Stiluri │
│ │cele mai potrivite │cognitive │
│ │pentru itemii din │□ Tulburare şi │
│ │secţiunea 2.1 │patologie │
│ │trebuie estimate pe│□ Funcţionare │
│ │baza informaţiilor │familială │
│ │regăsite în │□ Funcţionare în│
│ │manualul │grup │
│ │instrumentului │□ Interese │
│ │(eşantioanele │□ Motivaţie │
│ │folosite pentru │□ Funcţionare │
│ │standardizare, │organizaţională,│
│ │aplicaţii, validare│măsurători │
│ │etc.). │agregate, │
│ │ │climat, etc. │
│ │ │□ Personalitate │
│ │ │- Trăsătură │
│ │ │□ Personalitate │
│ │ │- Tip │
│ │ │□ Personalitate │
│ │ │- Stare │
│ │ │□ Calitatea │
│ │ │vieţii │
│ │ │□ Performanţă │
│ │ │şcolară/ │
│ │ │academică (test │
│ │ │educaţional) │
│ │ │□ Funcţionare │
│ │ │şcolară sau │
│ │ │educaţională │
│ │ │□ Judecată │
│ │ │situaţională │
│ │ │□ Stres/burnout │
│ │ │□ Rezultate │
│ │ │terapeutice │
│ │ │□ Valori │
│ │ │□ Stare de bine │
│ │ │□ Altele (vă │
│ │ │rugăm să │
│ │ │descrieţi): │
├─────┼───────────────────┼────────────────┤
│ │Arii de │ │
│ │aplicabilitate │ │
│ │principale sau │ │
│ │dorite (vă rugăm să│ │
│ │le selectaţi pe │ │
│ │acelea care se │ │
│ │aplică) │□ Clinică │
│ │Trebuie │□ Consiliere şi │
│ │identificate ariile│orientare în │
│ │de aplicabilitate │alegerea │
│ │pentru care a fost │carierei │
│ │conceput │□ Domeniul │
│ │instrumentul, │judiciar │
│ │specificate de │□ Sănătate │
│ │autor/editor. Dacă │generală, viaţă │
│2.2. │acestea nu sunt │şi starea de │
│ │clare, acest lucru │bine │
│ │trebuie menţionat, │□ Domeniul │
│ │iar răspunsurile │neurologic │
│ │cele mai potrivite │□ Sport şi timp │
│ │pentru itemii din │liber │
│ │secţiunea 2.2 │□ Muncă şi │
│ │trebuie estimate pe│ocupaţie │
│ │baza informaţiilor │□ Altele (vă │
│ │regăsite în │rugăm să │
│ │manualul │descrieţi): │
│ │instrumentului │ │
│ │(eşantioanele │ │
│ │folosite pentru │ │
│ │standardizare, │ │
│ │aplicaţii, validare│ │
│ │etc.). │ │
├─────┼───────────────────┼────────────────┤
│ │Descrierea │ │
│ │populaţiilor pentru│ │
│ │care a fost │ │
│ │conceput testul │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. Pentru │ │
│ │unele teste, aceste│ │
│ │informaţii pot fi │ │
│ │foarte generale (de│ │
│ │ex., „adulţi”). │ │
│ │Pentru altele pot │ │
│ │fi mai specifice │ │
│2.3. │(de ex., │ │
│ │„muncitorii care │ │
│ │lucrează manual”, │ │
│ │sau „băieţi cu │ │
│ │vârsta cuprinsă │ │
│ │între 10 şi 14 ani”│ │
│ │); │ │
│ │Doar populaţiile │ │
│ │menţionate pot fi │ │
│ │notate aici. Dacă │ │
│ │acest lucru pare │ │
│ │nepotrivit, trebuie│ │
│ │adăugat un │ │
│ │comentariu în acest│ │
│ │sens la acţiunea │ │
│ │„Evaluare” a │ │
│ │acestui formular. │ │
├─────┼───────────────────┼────────────────┤
│ │Numărul scalelor şi│ │
│ │o scurtă descriere │ │
│ │a variabilei/ │ │
│ │variabilelor │ │
│ │măsurate cu │ │
│ │ajutorul │ │
│ │instrumentului │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. Vă rugăm să│ │
│ │precizaţi numărul │ │
│ │de scale (dacă sunt│ │
│ │cel puţin două) şi │ │
│ │să oferiţi o scurtă│ │
│ │descriere a │ │
│ │fiecărei scale, │ │
│ │dacă denumirile nu │ │
│ │sunt │ │
│ │auto-explicative. │ │
│ │Prezentarea │ │
│2.4. │instrumentului ar │ │
│ │trebui să includă │ │
│ │şi o discuţie │ │
│ │despre alte scoruri│ │
│ │derivate, dacă │ │
│ │aceste scoruri sunt│ │
│ │folosite frecvent │ │
│ │şi dacă sunt │ │
│ │descrise în │ │
│ │documentaţia │ │
│ │standard - de ex., │ │
│ │scoruri pentru │ │
│ │trăsături primare │ │
│ │şi scoruri pentru │ │
│ │trăsături Big Five │ │
│ │secundare pentru un│ │
│ │instrument │ │
│ │multidimensional de│ │
│ │evaluare a │ │
│ │personalităţii; sau│ │
│ │un subtest, factor │ │
│ │sau scoruri totale │ │
│ │la un test de │ │
│ │inteligenţă. │ │
├─────┼───────────────────┼────────────────┤
│ │Modalitatea de │ │
│ │răspuns │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. Orice alt │ │
│ │echipament necesar,│ │
│ │diferit de ceea ce │ │
│ │apare în lista de │ │
│ │opţiuni (de ex., │ │
│ │reportofon) trebuie│□ Interviu oral │
│ │descris aici. De │□ Creion-hârtie │
│ │asemenea, orice │□ Operaţiuni │
│ │condiţii speciale │manuale (fizice)│
│2.5. │de testare trebuie │□ Observaţie │
│ │descrise. Se │directă │
│ │presupune că există│□ Calculator │
│ │„condiţii standard │□ Altele │
│ │de testare” pentru │(indicaţi): │
│ │o evaluare │ │
│ │supravegheată/ │ │
│ │supervizată. │ │
│ │Acestea ar include │ │
│ │linişte, o cameră │ │
│ │bine iluminată şi │ │
│ │bine ventilată, │ │
│ │precum şi un spaţiu│ │
│ │adecvat dotat cu │ │
│ │birouri şi scaune │ │
│ │pentru evaluator/i │ │
│ │şi candidat/ │ │
│ │candidaţi. │ │
├─────┼───────────────────┼────────────────┤
│ │Criterii pentru │ │
│ │persoana căreia i │ │
│ │se aplică testul │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │Capacităţi │
│ │furnizate de autor/│manuale │
│ │editor. Ce │(selectaţi una) │
│ │capacităţi şi │□ irelevant / │
│ │abilităţi e necesar│ne-necesar │
│ │ca persoana │□ informaţii │
│ │evaluată să deţină │necesare oferite│
│ │pentru ca aceasta │□ informaţii │
│ │să efectueze testul│lipsă │
│ │aşa cum s-a │Neîndemânare │
│ │intenţionat şi │(selectaţi una) │
│ │pentru ca │□ irelevant / │
│ │interpretarea │ne-necesar │
│ │rezultatului la │□ informaţii │
│ │test să poată fi │necesare oferite│
│ │făcută corect? De │□ informaţii │
│ │regulă, este clar │lipsă │
│ │dacă absenţa unor │Vedere │
│ │prerechizite face │(selectaţi una) │
│ │imposibilă │□ irelevant / │
│ │completarea │ne-necesar │
│ │testului (de ex., o│□ informaţii │
│ │persoană │necesare oferite│
│ │nevăzătoare nu │□ informaţii │
│ │poate primi un test│lipsă │
│ │creion-hârtie │Auz (selectaţi │
│ │tipic), însă │una) │
│ │cerinţele necesare │□ irelevant / │
│ │trebuie clasificate│ne-necesar │
│ │după cum urmează: │□ informaţii │
│2.6. │● „Irelevant/ │necesare oferite│
│ │ne-necesar”, │□ informaţii │
│ │înseamnă că această│lipsă │
│ │abilitate nu este │Comenzile date │
│ │necesară deloc (de │de limbajul │
│ │ex., capacităţi │testului │
│ │manuale pentru a │(înţelegerea │
│ │răspunde verbal la │vorbirii) │
│ │întrebări orale). │(selectaţi una) │
│ │● „Informaţii │□ irelevant / │
│ │necesare oferite”, │ne-necesar │
│ │înseamnă că se │□ informaţii │
│ │menţionează │necesare oferite│
│ │limitările │□ informaţii │
│ │posibile. │lipsă │
│ │● „Informaţii │Citit (selectaţi│
│ │lipsă”, înseamnă că│una) │
│ │ar putea fi unele │□ irelevant / │
│ │limitări pentru │ne-necesar │
│ │utilizatorii care │□ informaţii │
│ │nu deţin o anumită │necesare oferite│
│ │capacitate sau │□ informaţii │
│ │abilitate (aşa cum │lipsă │
│ │se cunoaşte din │Scris (selectaţi│
│ │teorie sau pe baza │una) │
│ │rezultatelor │□ irelevant / │
│ │empirice), dar că │ne-necesar │
│ │acest lucru nu │□ informaţii │
│ │rezultă clar din │necesare oferite│
│ │informaţiile │□ informaţii │
│ │oferite de autor/ │lipsă │
│ │editor (de ex., │ │
│ │dacă testul este │ │
│ │conceput într-o │ │
│ │limbă diferită de │ │
│ │limba natală a │ │
│ │persoanei testate).│ │
├─────┼───────────────────┼────────────────┤
│ │Formatul itemilor │ │
│ │(selectaţi una) │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. │ │
│ │Se diferenţiază │ │
│ │două tipuri de │ │
│ │răspunsuri │ │
│ │multiple. Primul │ │
│ │tip este valabil │ │
│ │pentru testele în │ │
│ │care respondentul │ │
│ │trebuie să aleagă │ │
│ │răspunsul corect │ │
│ │din mai multe │ │
│ │alternative, aşa │ │
│ │cum se întâmplă în │ │
│ │cazul testelor de │ │
│ │abilităţi (de ex. │ │
│ │un test de │ │
│ │raţionament bazat │ │
│ │pe imagini). Al │ │
│ │doilea tip se │ │
│ │referă la │ │
│ │chestionarele în │ │
│ │care nu există clar│ │
│ │un răspuns corect. │ │
│ │Acest format le │ │
│ │solicită │ │
│ │respondenţilor să │ │
│ │facă alegeri pe │ │
│ │baza unor seturi de│ │
│ │doi sau mai mulţi │ │
│ │itemi proveniţi din│ │
│ │scale diferite (de │ │
│ │ex., scalele │□ Răspuns │
│ │dintr-un inventar │multiplu │
│ │de interese │(testarea │
│ │vocaţionale sau │abilităţilor, │
│ │dintr-un chestionar│sau corect/ │
│ │de personalitate). │greşit) Numărul │
│ │Acest format mai │alternativelor: │
│ │este numit şi │.... │
│ │„multidimensional”,│□ Răspuns │
│ │pentru că │multiplu │
│ │alternativele │(alternative tip│
│ │aparţin unor scale │scală mixtă) │
│2.7. │sau dimensiuni │Numărul │
│ │diferite. În acest │alternativelor: │
│ │caz este posibil ca│.... │
│ │răspunsurile să │□ Scală tip │
│ │necesite o │Likert │
│ │ierarhizare sau să │Numărul │
│ │fie nevoie de o │alternativelor: │
│ │selecţie a unor │.... │
│ │opţiuni de tipul │□ Răspuns │
│ │„mă reprezintă cel │deschis │
│ │mai mult” - „mă │□ Altele (vă │
│ │reprezintă cel mai │rugăm să │
│ │puţin”. Acest │descrieţi) │
│ │format poate să │ │
│ │ducă la scale │ │
│ │ipsative (vezi │ │
│ │întrebarea 2.8). │ │
│ │Cotările pe o scală│ │
│ │Likert presupun de │ │
│ │asemenea ca │ │
│ │persoana evaluată │ │
│ │să aleagă dintr-un │ │
│ │număr de │ │
│ │alternative, însă │ │
│ │diferenţa esenţială│ │
│ │faţă de formatul │ │
│ │răspunsuri multiple│ │
│ │este că scalele │ │
│ │utilizate sunt │ │
│ │unidimensionale (de│ │
│ │ex., variază între │ │
│ │„niciodată” şi │ │
│ │„întotdeauna” sau │ │
│ │între „foarte │ │
│ │improbabil” şi │ │
│ │„foarte probabil”),│ │
│ │iar persoana │ │
│ │evaluată nu trebuie│ │
│ │să aleagă între │ │
│ │alternative │ │
│ │provenite din │ │
│ │diferite │ │
│ │dimensiuni. 0 scală│ │
│ │este considerată │ │
│ │tip Likert şi dacă │ │
│ │presupune doar două│ │
│ │alternative pe o │ │
│ │dimensiune (de ex.,│ │
│ │da/nu sau │ │
│ │întotdeauna/ │ │
│ │niciodată). │ │
├─────┼───────────────────┼────────────────┤
│ │Caracter ipsativ │ │
│ │Aşa cum a fost │ │
│ │menţionat la │ │
│ │secţiunea 2.7, │ │
│ │alternativele │ │
│ │corespunzătoare │ │
│ │formatului răspuns │ │
│ │multiplu scale │ │
│ │mixte pot duce la │□ Da, răspunsuri│
│ │scoruri ipsative. │multiple tip │
│ │Specificul │scale mixte ce │
│ │scorurilor ipsative│duc la scoruri │
│ │este că scorul la │ipsative parţial│
│ │fiecare scală sau │sau total. │
│ │dimensiune depinde │□ Da, alte │
│ │de scorurile la │tipuri de itemi,│
│ │alte scale sau │ce presupun │
│ │dimensiuni. În │proceduri de │
│2.8. │cazul │scorare ce duc │
│ │instrumentelor │la scoruri │
│ │ipsative în │ipsative parţial│
│ │totalitate, suma │sau total. │
│ │scorurilor la │□ Nu, răspunsuri│
│ │fiecare scală este │multiple tip │
│ │constantă pentru │scale mixte care│
│ │fiecare persoană. │NU duc la │
│ │Alte proceduri de │scoruri ipsative│
│ │scorare pot │□ Nu este │
│ │determina │relevant │
│ │caracterul ipsativ │ │
│ │(de ex., scăderea │ │
│ │mediei generale │ │
│ │obţinute de o │ │
│ │persoană, din │ │
│ │scorurile sale │ │
│ │pentru a fiecare │ │
│ │scală). │ │
├─────┼───────────────────┼────────────────┤
│ │Numărul total de │ │
│ │itemi şi numărul │ │
│ │itemilor pe scală │ │
│ │sau subtest │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. Dacă │ │
│ │instrumentul are │ │
│ │mai multe scale sau│ │
│2.9. │subteste, indicaţi │ │
│ │numărul total al │ │
│ │itemilor şi numărul│ │
│ │itemilor │ │
│ │corespunzători │ │
│ │fiecărei scale sau │ │
│ │subtest. Dacă │ │
│ │există itemi care │ │
│ │fac parte din │ │
│ │compoziţia mai │ │
│ │multor scale, acest│ │
│ │detaliu trebuie │ │
│ │documentat. │ │
├─────┼───────────────────┼────────────────┤
│ │ │□ Modul deschis:│
│ │ │Sesiunea de │
│ │ │evaluare nu este│
│ │ │supravegheată │
│ │ │direct de către │
│ │ │o persoană. De │
│ │ │aceea, nu există│
│ │ │o modalitate de │
│ │ │autentificare a │
│ │ │identăţii │
│ │ │persoanei │
│ │ │evaluate. │
│ │ │Testele │
│ │ │realizate pe │
│ │ │internet, care │
│ │ │nu solicită │
│ │ │înregistrarea │
│ │ │utilizatorilor, │
│ │ │pot fi │
│ │ │considerate un │
│ │ │exemplu pentru │
│ │ │acest mod de │
│ │ │administrare. │
│ │ │□ Modul │
│ │ │controlat. │
│ │ │Sesiunea de │
│ │ │evaluare nu este│
│ │ │supravegheată │
│ │ │direct de către │
│ │ │o persoană, însă│
│ │ │testul este │
│ │ │disponibil doar │
│ │Modul de utilizare │pentru │
│ │recomandat │utilizatori │
│ │(condiţiile în care│cunoscuţi. │
│ │instrumentul a fost│Testele aplicate│
│ │dezvoltat şi │pe internet vor │
│ │validat) (selectaţi│solicita │
│ │tot ce se aplică) │utilizatorilor │
│ │Acest item are │un username şi o│
│ │scopul de a │parolă. De │
│ │identifica dacă │regulă, aceste │
│ │instrumentul a fost│teste sunt │
│ │proiectat cu │proiectate să │
│ │intenţia de a fi │poată fi │
│ │utilizat în │accesate doar o │
│ │condiţii de │singură dată. │
│ │administrare │□ Modul │
│ │nesupravegheată sau│supervizat │
│ │necontrolată. │(monitorizat): │
│ │Ţineţi cont de │Condiţiile în │
│ │faptul că modurile │care este │
│ │de utilizare pot │administrat │
│2.10.│varia de la o │testul sunt │
│ │versiune la alta a │supravegheate │
│ │instrumentului. │într-o anumită │
│ │Răspunsul la acest │măsură de o │
│ │item trebuie │persoană. În │
│ │formulat pe baza │acest mod, │
│ │informaţiilor │identitatea │
│ │furnizate de autor/│persoanelor │
│ │editor, iar │evaluate poate │
│ │acurateţea sa │fi │
│ │trebuie verificată.│autentificată, │
│ │Notă. Cele patru │în cazul │
│ │moduri sunt │testelor │
│ │definite în │aplicate pe │
│ │International │internet, este │
│ │Guidelines on │nevoie ca un │
│ │Computer- Based and│administrator să│
│ │Internet Delivered │logheze un │
│ │Testing │candidat şi să │
│ │(International Test│confirme că │
│ │Commission, 200j │testul a fost │
│ │pp. 5-6). │administrat şi │
│ │ │completat │
│ │ │adecvat. │
│ │ │□ Modul dirijat │
│ │ │(managed mode): │
│ │ │Există un nivel │
│ │ │ridicat de │
│ │ │supraveghere şi │
│ │ │control asupra │
│ │ │mediului în care│
│ │ │se desfăşoară │
│ │ │testarea. În │
│ │ │testarea │
│ │ │computerizată │
│ │ │(TC), acest │
│ │ │nivel ridicat de│
│ │ │control este de │
│ │ │regulă atins │
│ │ │prin faptul că │
│ │ │se utilizează │
│ │ │centre speciale │
│ │ │de testare, unde│
│ │ │accesul este │
│ │ │controlat │
│ │ │strict, │
│ │ │securitatea este│
│ │ │ridicată, există│
│ │ │echipament şi │
│ │ │dotări de înaltă│
│ │ │calitate, iar │
│ │ │personalul care │
│ │ │se ocupă de │
│ │ │testare este │
│ │ │calificat. │
├─────┼───────────────────┼────────────────┤
│ │Modul/modurile de │ │
│ │administrare │ │
│ │(selectaţi tot ce │ │
│ │se aplică) │ │
│ │Răspunsul la acest │ │
│ │item trebuie │□ Administrare │
│ │formulat pe baza │individuală │
│ │informaţiilor │interactivă │
│ │furnizate de autor/│□ Administrare │
│ │editor. │supervizată de │
│ │Orice alt │grup │
│ │echipament necesar,│□ Aplicaţie │
│ │diferit de ce apare│computerizată │
│ │în lista de opţiuni│instalată local │
│ │(de ex., │- supervizată/ │
│ │reportofon) trebuie│monitorizată │
│ │descris aici. De │□ Aplicaţie web │
│ │asemenea, orice │pe calculator │
│2.11.│condiţii speciale │-supervizată/ │
│ │de testare trebuie │monitorizată │
│ │descrise. Se │□ Aplicaţie │
│ │presupune că există│computerizată │
│ │„condiţii standard │instalată local │
│ │de testare” pentru │-supervizată/ │
│ │o evaluare │monitorizată │
│ │supravegheată/ │□ Aplicaţie web │
│ │supervizată. │pe calculator │
│ │Acestea ar include │- nesupervizată/│
│ │linişte, o cameră │autoevaluare │
│ │bine iluminată şi │□ Altceva │
│ │bine ventilată, │(indicaţi): │
│ │precum şi un spaţiu│ │
│ │adecvat dotat cu │ │
│ │birouri şi scaune │ │
│ │pentru evaluator/i │ │
│ │şi candidat/ │ │
│ │candidaţi. │ │
├─────┼───────────────────┼────────────────┤
│ │Timpul necesar │ │
│ │pentru │ │
│ │administrarea │ │
│ │instrumentului │ │
│ │(specificaţi pentru│ │
│ │fiecare mod de │ │
│ │administrare) │ │
│ │Răspunsul la acest │ │
│ │item trebuie │ │
│ │formulat pe baza │ │
│ │informaţiilor │ │
│ │furnizate de autor/│ │
│ │editor. │ │
│ │Răspunsul la acest │ │
│ │element poate fi │ │
│ │împărţit în mai │ │
│ │multe componente. │ │
│ │În majoritatea │ │
│ │cazurilor, vor fi │ │
│ │posibile mai │ │
│ │degrabă estimări │ │
│ │generale ale │ │
│ │duratei, nu │ │
│ │răspunsuri precise.│ │
│ │Scopul este acela │ │
│ │de a oferi │ │
│ │potenţialului │ │
│ │utilizator o idee │ │
│ │despre investiţia │ │
│ │de timp asociată cu│ │
│ │utilizarea │ │
│ │instrumentului. Nu │ │
│ │includeţi şi timpul│ │
│ │neccsar pentru │ │
│ │familiarizarea cu │ │
│ │instrumentul în │ │
│ │sine. Presupuneţi │ │
│ │că utilizatorul │ │
│ │este experimentat │ │
│ │şi calificat. │ │
│ │● Timpul de │ │
│ │pregătire (timpul │ │
│ │de care are nevoie │ │
│ │persoana care │ │
│ │administrează │ │
│ │testul pentru a │ │
│ │pregăti materialele│ │
│ │necesare într-o │ │
│ │sesiune de │ │
│ │evaluare; timpul de│ │
│ │acces şi de logare │ │
│ │pentru o │ │
│ │administrare │ │
│ │online). │ │
│ │● Timpul de │Pregătirea: │
│ │administrare pe │Administrarea: │
│2.12.│sesiune: acesta │Scorarea: │
│ │include timpul │Analiza: │
│ │necesar pentru │Feedbackul: │
│ │completarea tuturor│ │
│ │itemilor şi o │ │
│ │estimare a timpului│ │
│ │necesar pentru │ │
│ │instrucţiuni, │ │
│ │parcurgerea unor │ │
│ │itemi exemplu şi │ │
│ │discutarea oricăror│ │
│ │comentarii la │ │
│ │finalul sesiunii. │ │
│ │● Scorarea: timpul │ │
│ │necesar pentru a │ │
│ │obţine scorurile │ │
│ │brute. În multe │ │
│ │cazuri scorarea │ │
│ │poate fi automată. │ │
│ │● Analiza: timpul │ │
│ │necesar pentru │ │
│ │realizarea unor │ │
│ │prelucrări asupra │ │
│ │scorurilor brute, │ │
│ │pentru a obţine │ │
│ │alte măsurători şi │ │
│ │pentru a produce o │ │
│ │interpretare │ │
│ │suficient de │ │
│ │cuprinzătoare │ │
│ │(presupunând că │ │
│ │evaluatorul este │ │
│ │familiar cu │ │
│ │instrumentul). Din │ │
│ │nou, această etapă │ │
│ │poate fi automată. │ │
│ │● Feedbackul: │ │
│ │timpul necesar │ │
│ │pentru a pregăti şi│ │
│ │a oferi feedback │ │
│ │persoanei testate │ │
│ │şi altor părţi │ │
│ │interesate. │ │
│ │Este cunoscut │ │
│ │faptul că timpul │ │
│ │necesar pentru │ │
│ │ultimele două │ │
│ │componente poate │ │
│ │varia enorm, în │ │
│ │funcţie de │ │
│ │contextul în care │ │
│ │este folosit │ │
│ │instrumentul. │ │
│ │Totuşi, unele │ │
│ │indicaţii şi │ │
│ │comentarii vor fi │ │
│ │de ajutor. │ │
├─────┼───────────────────┼────────────────┤
│ │Indicaţi dacă sunt │ │
│ │disponibile │ │
│ │versiuni diferite │ │
│ │ale instrumentului │ │
│ │şi ce versiune/ │ │
│ │versiuni este/sunt │ │
│ │supusă/e acestei │ │
│ │evaluări │ │
│ │Precizaţi dacă │ │
│ │există sau nu │ │
│ │versiuni │ │
│ │alternative ale │ │
│ │instrumentului │ │
│ │disponibil (forme │ │
│ │autentice paralele │ │
│ │sau │ │
│ │pseudo-paralele, │ │
│ │versiuni scurte, │ │
│ │versiuni │ │
│ │computerizate etc.)│ │
│ │şi descrieţi │ │
│ │aplicabilitatea │ │
│ │fiecărei versiuni │ │
│ │pentru diferite │ │
│ │grupuri de │ │
│ │persoane. În unele │ │
│ │cazuri, diferite │ │
│ │versiuni ale unui │ │
│ │instrument sunt │ │
│ │menite să fie │ │
│ │echivalente una cu │ │
│ │cealaltă - i.e. │ │
│ │forme alternative. │ │
│ │În alte cazuri, pot│ │
│ │exista versiuni │ │
│2.13.│diferite pentru │ │
│ │grupuri diferite │ │
│ │(de ex., o versiune│ │
│ │pentru copii şi o │ │
│ │versiune pentru │ │
│ │adulţi). În cazul │ │
│ │în care există mai │ │
│ │multe versiuni, │ │
│ │indicaţi dacă │ │
│ │acestea sunt │ │
│ │echivalente/ │ │
│ │alternative sau │ │
│ │dacă sunt concepute│ │
│ │pentru a servi unor│ │
│ │scopuri diferite - │ │
│ │de ex. versiune │ │
│ │scurtă şi lungă; │ │
│ │versiune ipsativă │ │
│ │şi normativă. │ │
│ │De asemenea, │ │
│ │indicaţi dacă pot │ │
│ │fi folosite sau nu │ │
│ │părţi ale testului │ │
│ │în locul întregului│ │
│ │instrument. Dacă │ │
│ │există versiuni │ │
│ │computerizate, │ │
│ │descrieţi pe scurt │ │
│ │cerinţele de │ │
│ │software şi │ │
│ │hardware. │ │
│ │Reţineţi că dacă │ │
│ │sunt disponibile │ │
│ │teste computerizate│ │
│ │(TC) şi pachete │ │
│ │online, ele trebuie│ │
│ │menţionate. │ │
└─────┴───────────────────┴────────────────┘
3. Mâsurare şi scorare
┌────┬─────────────────┬───────────────┐
│ │ │□ Scorare │
│ │ │computerizată, │
│ │Procedura de │cu introducerea│
│ │scorare a │directă a │
│ │testului │răspunsurilor │
│ │(selectaţi tot ce│de către │
│ │se aplică) │persoana │
│ │Acest item │evaluată │
│ │trebuie completat│□ Scorare │
│ │pe baza │computerizată, │
│ │informaţiilor │cu ajutorul │
│ │oferite de autor/│unui Optical │
│ │editor şi a │Mark Reader │
│ │manualelor şi │utilizat pentru│
│ │documentaţiei │formulare de │
│ │testului. │răspuns în │
│ │Serviciile de │format hârtie │
│ │consultanţă │□ Scorare │
│ │(bureau services)│computerizată, │
│ │sunt servicii │cu introducerea│
│ │oferite de │manuală a │
│ │furnizor - sau de│răspunsurilor │
│3.1.│un agent al │din formularul │
│ │furnizorului - │de răspuns în │
│ │pentru scorare şi│format hârtie. │
│ │interpretare. În │□ Scorare │
│ │general, acestea │manuală simplă │
│ │sunt servicii │- sunt necesare│
│ │opţionale. Dacă │numai abilităţi│
│ │scorarea şi/sau │administrative │
│ │interpretarea pot│□ Scorare │
│ │fi efectuate │manuală │
│ │numai prin │complexă - │
│ │intermediul unui │necesită │
│ │astfel de │training │
│ │serviciu, atunci │prealabil │
│ │acest lucru ar │□ Servicii de │
│ │trebui menţionat,│consultanţă - │
│ │iar costurile │de ex., scorare│
│ │aferente incluse │realizată de │
│ │la itemul privind│compania care │
│ │costurile │vinde │
│ │periodice. │instrumentul │
│ │ │□ Alt răspuns │
│ │ │(vă rugăm să │
│ │ │descrieţi): │
├────┼─────────────────┼───────────────┤
│ │Scorurile │ │
│ │Acest item │ │
│ │trebuie completat│ │
│ │pe baza │ │
│ │informaţiilor │ │
│ │oferite de autor/│ │
│ │editor şi a │ │
│ │manualelor şi │ │
│ │documentaţiei │ │
│ │testului. │ │
│ │Scurtă descriere │ │
│3.2.│a sistemului de │ │
│ │scorare pentru │ │
│ │obţinerea │ │
│ │scorurilor │ │
│ │globale şi │ │
│ │parţiale, │ │
│ │realizarea │ │
│ │corecţiei pentru │ │
│ │ghicitul │ │
│ │răspunsurilor, │ │
│ │generarea unei │ │
│ │interpretări │ │
│ │calitative etc. │ │
├────┼─────────────────┼───────────────┤
│ │ │Scoruri bazate │
│ │ │pe percentile │
│ │ │□ Centile │
│ │ │□ Clasificare │
│ │ │în 5 trepte: │
│ │ │împărţirea │
│ │ │centilelor │
│ │ │conform regulii│
│ │ │10:20:40:20:10 │
│ │ │□ Decile │
│ │ │□ Alt răspuns │
│ │ │(vă rugăm │
│ │ │descrieţi): │
│ │ │Scoruri │
│ │ │standard │
│ │ │□ Scoruri Z │
│ │ │□ Indicatori │
│ │ │statistici │
│ │ │pentru IQ, etc.│
│ │Scalele utilizate│(de ex., M= │
│ │(selectaţi tot ce│100, SD=15 │
│ │se aplică) │pentru Wechsler│
│ │Acest item │sau 16 pentru │
│ │trebuie completat│Stanford-Binet)│
│ │pe baza │□ Repere pentru│
│3.3.│informaţiilor │testări │
│ │oferite de autor/│educaţionale │
│ │editor şi a │standardizate │
│ │manualelor şi │(de ex., M=500,│
│ │documentaţiei │SD=100 pentru │
│ │testului. │SAT) │
│ │ │□ Stanine │
│ │ │□ Stanine, │
│ │ │scoruri C │
│ │ │□ Scoruri T │
│ │ │□ Alt răspuns │
│ │ │(vă rugăm să │
│ │ │descrieţi): │
│ │ │□ Scoruri │
│ │ │critice, │
│ │ │scoruri │
│ │ │aşteptate sau │
│ │ │alţi indicatori│
│ │ │decizionali │
│ │ │specifici │
│ │ │□ Se utilizează│
│ │ │doar scorul │
│ │ │brut │
│ │ │□ Alt răspuns │
│ │ │(vă rugăm să │
│ │ │descrieţi): │
├────┼─────────────────┼───────────────┤
│ │ │□ Normalizate -│
│ │ │scoruri │
│ │ │standard │
│ │ │obţinute pe │
│ │ │baza unor │
│ │ │tabele de │
│ │Transformarea │normalizare │
│3.4.│scorurilor în │□ │
│ │scoruri standard │Ne-normalizate │
│ │ │- scoruri │
│ │ │standard │
│ │ │obţinute prin │
│ │ │transformări │
│ │ │liniare │
│ │ │□ Nu se aplică │
└────┴─────────────────┴───────────────┘
4. Rapoarte generate pe calculator Această secţiune este pur descriptivă. Evaluarea rapoartelor trebuie realizată la secţiunea "Evaluare" a acestui formular. Pentru situaţiile în care sunt disponibile mai multe rapoarte generate, completaţi itemii 4.2 - 4.13 pentru fiecare raport sau secţiune individuală dintr-un raport. Acest sistem de clasificare poate fi utilizat pentru a descrie două rapoarte generate de un sistem - de exemplu. Raportul 1 poate fi destinat persoanelor evaluate sau altor utilizatori fără pregătire, în timp ce Raportul 2 poate fi destinat utilizatorilor cu pregătire, ce au competenţă în utilizarea instrumentului şi înţeleg cum să interpreteze rezultatele.
┌─────┬────────────────┬───────────────┐
│ │Pentru acest │ │
│ │instrument este │ │
│ │posibilă │ │
│ │generarea unor │ │
│ │rapoarte │ │
│ │computerizate? │ │
│ │Dacă răspunsul │ │
│ │la întrebare │□ Da │
│ │este "DA", │(completaţi │
│ │atunci se aplică│itemii de mai │
│ │următoarea │jos) │
│ │clasificare a │□ Nu (mergeţi │
│4.1. │tipurilor de │la itemul 1 din│
│ │rapoarte │secţiunea │
│ │disponibile. În │Condiţii şi │
│ │cazul multor │costuri de │
│ │instrumente este│livrare) │
│ │există o gamă │ │
│ │variată de │ │
│ │rapoarte. Vă │ │
│ │rugăm să │ │
│ │completaţi un │ │
│ │formular │ │
│ │separate pentru │ │
│ │fiecare raport. │ │
├─────┼────────────────┼───────────────┤
│ │Denumirea sau │ │
│ │descrierea │ │
│ │raportului │ │
│4.2. │(vedeţi │ │
│ │introducerea la │ │
│ │această │ │
│ │secţiune) │ │
├─────┼────────────────┼───────────────┤
│ │Conţinut │ │
│ │(selectaţi tot │ │
│ │ce se aplică) │ │
│ │Rapoartele pot │ │
│ │conţine în │ │
│ │întregime doar │ │
│ │text sau text şi│ │
│ │reprezentări │□ Doar text │
│ │grafice sau │□ Text şi │
│ │tabele cu │reprezentări │
│ │scoruri. În │grafice │
│ │cazul în care │necorelate │
│4.3. │există atât │□ Atât text cât│
│ │text, cât şi │şi reprezentări│
│ │date, cele două │grafice │
│ │tipuri de │□ Doar │
│ │conţinut pot fi │reprezentări │
│ │prezentate fie │grafice │
│ │în paralel, fie │ │
│ │grupate, în aşa │ │
│ │fel încât │ │
│ │legătura dintre │ │
│ │afirmaţiile text│ │
│ │şi scoruri să │ │
│ │fie clară. │ │
├─────┼────────────────┼───────────────┤
│ │Complexitate │ │
│ │(selectaţi o │ │
│ │variantă) │ │
│ │Unele rapoarte │□ Simplu (de │
│ │sunt foarte │ex., o listă cu│
│ │simple, de │descrieri ale │
│ │exemplu presupun│scalelor) │
│ │doar înlocuirea │□ Mediu (un │
│ │unui scor sten │amestec între │
│ │(standard tens) │descrieri │
│ │cu o unitate de │simple şi │
│ │text, pentru │anumite │
│ │fiecare scală în│descrieri │
│4.4. │parte. Altele │bazate pe │
│ │sunt mai │configuraţii) │
│ │complexe şi │□ Complex │
│ │implică unităţi │(conţine │
│ │de text care │descrieri ale │
│ │corespund unor │tiparelor şi │
│ │tipare sau │configuraţiilor│
│ │configuraţii la │de la nivelul │
│ │nivelul │scorurilor şi │
│ │scorurilor şi │se ţine cont de│
│ │care iau în │interacţiunile │
│ │considerare │dintre scale) │
│ │efecte de │ │
│ │interacţiune │ │
│ │între scale. │ │
├─────┼────────────────┼───────────────┤
│ │ │□ La nivel de │
│ │ │scale - │
│ │ │raportul este │
│ │ │construit în │
│ │ │jurul scalelor │
│ │ │individuale │
│ │ │□ La nivel │
│ │ │factorial - │
│ │ │raportul este │
│ │ │construit în │
│ │ │jurul │
│ │ │factorilor de │
│ │ │ordin înalt - │
│ │ │precum 'Big │
│ │ │Five' pentru │
│ │ │evaluarea │
│ │ │personalităţii.│
│ │ │□ La nivel de │
│ │ │construct - │
│ │ │raportul este │
│ │ │construit în │
│ │ │jurul unuia sau│
│ │ │a mai multor │
│ │ │seturi de │
│ │ │legate de │
│ │ │scorurile │
│ │ │originale pe │
│ │ │scale (de ex.. │
│ │Structura │în mediul │
│ │raportului │organizaţional,│
│ │(selectaţi o │ar putea fi │
│4.5. │variantă) │vorba despre │
│ │Structura │tipuri de │
│ │depinde de │echipe, stiluri│
│ │complexitate. │de leadership, │
│ │ │sau toleranţa │
│ │ │la stres; în │
│ │ │mediul clinic, │
│ │ │acestea ar │
│ │ │putea fi │
│ │ │diferite tipuri│
│ │ │de │
│ │ │psihopatologie │
│ │ │etc.) │
│ │ │□ Bazate pe │
│ │ │criteriu - │
│ │ │raportul este │
│ │ │focalizat pe │
│ │ │legătura cu │
│ │ │rezultate │
│ │ │empirice (de │
│ │ │ex., │
│ │ │performanţa │
│ │ │şcolară, │
│ │ │rezultatele │
│ │ │terapeutice, │
│ │ │performanţa la │
│ │ │locul de muncă,│
│ │ │absenteism │
│ │ │etc.) │
│ │ │□ Alt răspuns │
│ │ │(vă rugăm să │
│ │ │descrieţi): │
├─────┼────────────────┼───────────────┤
│ │Sensibilitatea │ │
│ │la context │ │
│ │(selectaţi o │ │
│ │variantă) │ │
│ │Oamenii │ │
│ │elaborează │ │
│ │rapoarte │ │
│ │adaptând │ │
│ │limbajul, forma │ │
│ │şi conţinutul │ │
│ │acestora în │ │
│ │funcţie de │ │
│ │persoana care le│ │
│ │va citi şi ţin │ │
│ │cont de scopul │ │
│ │evaluării şi de │ │
│ │contextul în │ │
│ │care evaluarea │ │
│ │are loc. Într-un│ │
│ │context │ │
│ │organizaţional │ │
│ │de muncă, un │ │
│ │raport generat │ │
│ │pentru selecţia │ │
│ │de personal va │ │
│ │fi diferit de un│ │
│ │raport pentru │ │
│ │orientare si │ │
│ │dezvoltare; un │ │
│ │raport pentru un│ │
│ │manager de │ │
│ │vârstă mijlocie │ │
│ │va fi diferit de│ │
│ │un raport pentru│ │
│ │o persoană │ │
│ │tânără aflată la│ │
│ │începutul unui │ │
│ │training, şi aşa│ │
│ │mai departe. │ │
│ │Într-un context │ │
│ │educaţional, un │ │
│ │raport pentru │ │
│ │evaluarea │ │
│ │abilităţii │ │
│ │generale de │□ O singură │
│ │învăţare şi de │versiune pentru│
│ │funcţionare │toate │
│ │într-un mediu de│contextele │
│ │învăţare a │□ Versiuni │
│ │studenţilor va │pre-definite în│
│ │fi diferit de un│funcţie de │
│ │raport pentru │context; │
│4.6. │evaluarea │numărul │
│ │măsurii în care │contextelor: │
│ │un student are │.... │
│ │sau nu o │□ Contexte │
│ │tulburare de │definite de │
│ │învăţare. Un │utilizator şi │
│ │raport │rapoarte │
│ │direcţionat │editabile │
│ │către alţi │ │
│ │profesionişti cu│ │
│ │scopul de a │ │
│ │sugera obiective│ │
│ │de învăţare şi │ │
│ │modalităţi de │ │
│ │intervenţie va │ │
│ │fi diferit de un│ │
│ │raport dedicat │ │
│ │părinţilor, prin│ │
│ │care aceştia │ │
│ │sunt informaţi │ │
│ │în legătura cu │ │
│ │punctele forte │ │
│ │şi cele slabe │ │
│ │ale copiilor │ │
│ │lor. Într-un │ │
│ │context clinic, │ │
│ │un raport produs│ │
│ │în scop │ │
│ │diagnostic va fi│ │
│ │diferit de un │ │
│ │raport în care │ │
│ │se evaluează │ │
│ │potenţialul unui│ │
│ │pacient de a │ │
│ │adopta │ │
│ │comportamente │ │
│ │riscante. Un │ │
│ │raport produs cu│ │
│ │scopul de a │ │
│ │oferi feedback │ │
│ │pacienţilor va │ │
│ │fi diferit de un│ │
│ │raport produs cu│ │
│ │scopul de a │ │
│ │informa │ │
│ │autorităţile cu │ │
│ │privire la │ │
│ │măsura în care │ │
│ │este sigur ca un│ │
│ │pacient să fie │ │
│ │scos de la │ │
│ │tratament │ │
│ │involuntar. │ │
├─────┼────────────────┼───────────────┤
│ │Raportul │ │
│ │clinic-actuarial│ │
│ │(selectaţi tot │ │
│ │ce se aplică) │ │
│ │Majoritatea │ │
│ │sistemelor de │ │
│ │raportare se │ │
│ │bazează pe │ │
│ │judecata │ │
│ │clinică. Aceasta│ │
│ │se referă la │ │
│ │faptul că unul │ │
│ │sau mai mulţi │ │
│ │oameni │ │
│ │consideraţi │□ Bazat pe │
│ │„utilizatori │judecata │
│ │experimentaţi” │clinică a unui │
│ │ai │expert │
│ │instrumentului │□ Bazat pe │
│ │vor scrie │judecata │
│4.7. │unităţile de │clinică a unui │
│ │text. Astfel, │grup de experţi│
│ │rapoartele vor │□ Bazat pe │
│ │încorpora │relaţii │
│ │interpretările │empirice/ │
│ │lor specifice. │statistice │
│ │Unele sisteme │(actuariale) │
│ │includ rapoarte │ │
│ │actuariale - │ │
│ │acestea se │ │
│ │referă la faptul│ │
│ │că afirmaţiile │ │
│ │sunt bazate pe │ │
│ │studii empirice │ │
│ │dc validare ce │ │
│ │corelează │ │
│ │scorurile la │ │
│ │scale cu │ │
│ │variabile precum│ │
│ │performanţa la │ │
│ │locul dc muncă │ │
│ │etc. │ │
├─────┼────────────────┼───────────────┤
│ │ │□ Nemodificabil│
│ │ │(output fix ce │
│ │ │permite doar │
│ │ │printarea) │
│ │ │□ Modificare │
│ │ │limitată │
│ │ │(limitată la │
│ │Posibilitatea de│anumite părţi, │
│ │modificare │de ex., pot fi │
│ │(selectaţi o │editate doar │
│ │variantă) │câmpurile cu │
│ │Raportul generat│date biologice)│
│ │este adesea fix,│□ Modificare │
│ │însă unele │nelimitată (de │
│ │sisteme pot │ex., accesând │
│ │genera un output│varianta Word a│
│ │sub forma unui │raportului) │
│4.8. │fişier ce poate │□ Raport │
│ │fi procesat de │interactiv ce │
│ │utilizator. │oferă persoanei│
│ │Altele pot oferi│evaluate │
│ │acces la o │posibilitatea │
│ │variantă online │de a insera │
│ │interactivă atât│comentarii sau │
│ │pentru │de a face │
│ │utilizator, cât │aprecieri cu │
│ │şi pentru │privire la │
│ │persoana │acurateţea │
│ │evaluată. │conţinutului │
│ │ │(de ex., prin │
│ │ │oferirea │
│ │ │accesului │
│ │ │online la un │
│ │ │motor │
│ │ │interactiv de │
│ │ │raportare) │
├─────┼────────────────┼───────────────┤
│ │Stadiul de │ │
│ │finalizare │ │
│ │(selectaţi o │ │
│ │variantă) │ │
│ │Măsura în care │ │
│ │sistemul este │ │
│ │conceput pentru │□ Pentru │
│4.9. │a genera un text│publicare │
│ │integrat - sub │□ Schiţă / │
│ │forma unui │draft │
│ │raport gata de a│ │
│ │fi utilizat - │ │
│ │sau o serie de │ │
│ │"note", │ │
│ │comentarii, │ │
│ │ipoteze etc. │ │
├─────┼────────────────┼───────────────┤
│ │Transparenţă │ │
│ │(selectaţi o │ │
│ │variantă) │ │
│ │Sistemele diferă│ │
│ │în ceea ce │ │
│ │priveşte │ │
│ │deschiderea sau │ │
│ │transparenţa │ │
│ │faţă de │ │
│ │utilizator. Un │ │
│ │sistem deschis │ │
│ │este unul în │□ Conexiune │
│ │care legătura │clară între │
│ │dintre scorul la│constructe, │
│ │scală şi text │scoruri şi text│
│ │este neambiguă. │□ Legătură │
│ │O astfel de │ascunsă între │
│4.10.│deschidere este │constructe, │
│ │posibilă doar │scoruri şi text│
│ │dacă atât textul│□ Amestec de │
│ │cât şi scorurile│legături clare/│
│ │sunt prezentate,│ascunse între │
│ │şi dacă │constructe, │
│ │legăturile │scoruri şi text│
│ │dintre ele sunt │ │
│ │explicite. Alte │ │
│ │sisteme │ │
│ │funcţionează ca │ │
│ │nişte „cutii │ │
│ │negre”, făcând │ │
│ │dificil pentru │ │
│ │utilizator să │ │
│ │stabilească o │ │
│ │relaţie între │ │
│ │scoruri şi text.│ │
├─────┼────────────────┼───────────────┤
│ │Stil şi ton │ │
│ │(selectaţi o │ │
│ │variantă) │ │
│ │De asemenea │ │
│ │sistemele diferă│ │
│ │din punct de │ │
│ │vedere al │ │
│ │măsurii în care │ │
│ │oferă ghidare şi│ │
│ │direcţie │ │
│ │persoanei care │ │
│ │citeşte │ │
│ │raportul, în │ │
│ │context │ │
│ │organizaţional, │ │
│ │o afirmaţie │ │
│ │precum „Domnul X│ │
│ │este foarte │ │
│ │timid şi nu ar │ │
│ │fi un bun agent │ │
│ │de vânzări...” │ │
│ │este fermă, în │ │
│ │timp ce alte │ │
│ │afirmaţii sunt │ │
│ │proiectate să │ │
│ │sugereze ipoteze│ │
│ │sau să ridice │ │
│ │întrebări precum│ │
│ │„Pe baza │ │
│ │scorurilor │ │
│ │înregistrate la │ │
│ │scala Y, domnul │ │
│ │X pare să fie o │ │
│ │persoană foarte │ │
│ │timidă │ │
│ │comparativ cu un│ │
│ │grup de │ │
│ │referinţă format│ │
│ │din agenţi de │ │
│ │vânzări. Dacă │ │
│ │este corect, ar │ │
│ │putea să i se │ │
│ │pară dificil să │ │
│ │lucreze într-un │ │
│ │mediu axat pe │ │
│ │vânzări. Acest │ │
│ │aspect trebuie │ │
│ │explorat mai în │ │
│ │profunzime │ │
│ │împreună cu │ │
│ │dânsul.” Într-un│ │
│ │context │ │
│ │educaţional, o │ │
│ │afirmaţie fermă │ │
│ │ar putea fi: │ │
│ │„Rezultatele │ │
│ │arată că │ │
│ │abilităţile │ │
│ │matematice ale │ │
│ │lui X sunt cu │ │
│ │doi ani mai jos │□ Directiv/ferm│
│ │decât media │□ Îndrumare/ │
│ │colegilor săi”, │sugerează │
│4.11.│în timp ce o │ipoteze │
│ │afirmaţie │□ Alt răspuns │
│ │proiectată să │(vă rugăm │
│ │sugereze ipoteze│descrieţi): │
│ │ar putea fi: │ │
│ │„Aceste │ │
│ │rezultate indică│ │
│ │faptul că X este│ │
│ │devine distras │ │
│ │uşor de stimuli │ │
│ │externi în timp │ │
│ │ce rezolvă o │ │
│ │sarcină. │ │
│ │Observaţiile │ │
│ │comportamentale │ │
│ │din timpul │ │
│ │testării susţin │ │
│ │această │ │
│ │posibilitate. │ │
│ │Acest lucru ar │ │
│ │trebui luat în │ │
│ │considerare │ │
│ │pentru │ │
│ │proiectarea unui│ │
│ │mediu de │ │
│ │învăţare │ │
│ │potrivit pentru │ │
│ │X”. Într-un │ │
│ │context clinic, │ │
│ │o afirmaţie │ │
│ │fermă ar putea │ │
│ │fi: „Scorurile │ │
│ │la test indică │ │
│ │faptul că │ │
│ │pacientul │ │
│ │manifestă │ │
│ │neglijenţă │ │
│ │vizuală severă │ │
│ │şi nu poate fi │ │
│ │capabil să │ │
│ │opereze în │ │
│ │siguranţă un │ │
│ │vehicul cu │ │
│ │motor”, în timp │ │
│ │ce o afirmaţie │ │
│ │proiectată să │ │
│ │sugereze ipoteze│ │
│ │ar putea fi: │ │
│ │„Scorurile la │ │
│ │test obţinute de│ │
│ │domnul X indică │ │
│ │faptul că ar │ │
│ │putea avea │ │
│ │probleme în │ │
│ │stabilirea │ │
│ │relaţiilor │ │
│ │emoţionale. │ │
│ │Această │ │
│ │posibilitate ar │ │
│ │trebui explorată│ │
│ │mai mult înainte│ │
│ │de a formula o │ │
│ │concluzie │ │
│ │privind │ │
│ │diagnosticul”. │ │
├─────┼────────────────┼───────────────┤
│ │Utilizatori │ │
│ │(selectaţi tot │ │
│ │ce se aplică ) │ │
│ │În general, │ │
│ │rapoartele sunt │ │
│ │proiectate │ │
│ │pentru a veni în│ │
│ │întânpinarea │ │
│ │nevoilor uneia │ │
│ │sau mai multor │ │
│ │categorii de │ │
│ │utilizatori. │ │
│ │Utilizatorii pot│ │
│ │fi împărţiţi în │ │
│ │patru grupuri │ │
│ │principale: │ │
│ │a) Utilizatori │ │
│ │de test │ │
│ │calificaţi. Sunt│ │
│ │persoane care │ │
│ │deţin suficiente│ │
│ │cunoştinţe şi │ │
│ │abilităţi pentru│ │
│ │a produce │ │
│ │propriile │ │
│ │rapoarte bazate │ │
│ │pe scorurile la │ │
│ │scale. Ar trebui│ │
│ │să fie capabili │ │
│ │să folosească │ │
│ │rapoarte ce │ │
│ │conţin │ │
│ │terminologie │ │
│ │tehnică din │ │
│ │domeniul │ │
│ │psihometriei şi │ │
│ │să realizeze │ │
│ │conexiuni │ │
│ │explicite între │ │
│ │scale şi │ │
│ │descrieri. De │ │
│ │asemenea, ar │ │
│ │trebui să poată │ │
│ │să personalizeze│ │
│ │şi să modifice │ │
│ │rapoartele. │ │
│ │b) Utilizatori │ │
│ │de sistem │ │
│ │calificaţi. Deşi│ │
│ │nu pot să │ │
│ │genereze │ │
│ │propriile │ │
│ │rapoarte pe baza│ │
│ │unui set de │ │
│ │scoruri, │ │
│ │persoanele din │ │
│ │această │ │
│ │categorie deţin │ │
│ │competenţa de a │ │
│ │se folosi de │ │
│ │outputurile │ │
│ │emise de sistem.│ │
│ │Nivelul │ │
│ │trainingului │ │
│ │necesar pentru │ │
│ │atingerea │ │
│ │acestei │ │
│ │competenţe va │ │
│ │varia │ │
│ │considerabil în │□ Utilizatori │
│ │funcţie de │de test │
│ │natura │calificaţi │
│ │rapoartelor │□ Utilizatori │
│4.12.│computerizate │de sistem │
│ │(de ex., bazate │calificaţi │
│ │pe trăsătură vs.│□ Persoane │
│ │bazate pe │evaluate │
│ │competenţă, │□ Terţi │
│ │simple sau │ │
│ │complexe) şi de │ │
│ │modul în care │ │
│ │aceste rapoarte │ │
│ │vor fi utilizate│ │
│ │(daca mizele │ │
│ │sunt mici sau │ │
│ │mari). │ │
│ │c) Persoane │ │
│ │evaluate. │ │
│ │Persoanele care │ │
│ │completează │ │
│ │testul, în │ │
│ │general, nu au │ │
│ │cunoştinţe │ │
│ │anterioare nici │ │
│ │despre │ │
│ │instrument, nici│ │
│ │despre tipul │ │
│ │raportului │ │
│ │generat de │ │
│ │sistem. Va fi │ │
│ │nevoie ca │ │
│ │rapoartele │ │
│ │pentru astfel de│ │
│ │persoane să fie │ │
│ │scrise într-un │ │
│ │limbaj ce nu │ │
│ │necesită │ │
│ │cunoştinţe de │ │
│ │psihometrie sau │ │
│ │despre │ │
│ │instrument. │ │
│ │d) Terţi. │ │
│ │Această │ │
│ │categorie │ │
│ │include persoane│ │
│ │- altele decât │ │
│ │candidatul - │ │
│ │faţă de care │ │
│ │informaţii │ │
│ │prezentate în │ │
│ │raport trebuie │ │
│ │să rămână │ │
│ │ascunse, sau │ │
│ │care pot primi o│ │
│ │copie a │ │
│ │raportului. Pot │ │
│ │fi potenţiali │ │
│ │angajatori, │ │
│ │şeful persoanei │ │
│ │evaluate, sau │ │
│ │supervizorul ori│ │
│ │părintele unui │ │
│ │tânăr care │ │
│ │primeşte │ │
│ │consiliere în │ │
│ │carieră. │ │
│ │Limbajul necesar│ │
│ │pentru │ │
│ │persoanele din │ │
│ │această │ │
│ │categorie va fi │ │
│ │similar cu cel │ │
│ │necesar pentru │ │
│ │rapoartele │ │
│ │destinate │ │
│ │persoanelor │ │
│ │evaluate. │ │
├─────┼────────────────┼───────────────┤
│ │Distribuitorii │ │
│ │oferă servicii │ │
│ │de modificare a │ │
│ │rapoartelor sau │ │
│4.13.│de elaborare a │□ Da │
│ │unor rapoarte │□ Nu │
│ │computerizate │ │
│ │personalizate? │ │
│ │(selectaţi o │ │
│ │variantă) │ │
└─────┴────────────────┴───────────────┘
5. Condiţii şi costuri de livrare Această secţiune defineşte ce va livra autorul/editorul, cui, în ce condiţii şi cu ce costuri. Defineşte condiţiile impuse de furnizor cu privire la cine poate sau nu poate să obţină materialele instrumentului. Dacă una dintre opţiuni nu este potrivită cu condiţiile de livrare, oferiţi o descriere a condiţiilor relevante.
┌─────┬───────────────┬────────────────┐
│ │ │□ Manual de │
│ │ │utilizare │
│ │ │□ Manual tehnic │
│ │Documentaţia │(psihometric) │
│ │furnizată de │□ Informaţii │
│ │distribuitor ca│tehnice │
│ │parte a │suplimentare şi │
│5.1. │pachetului │actualizări (de │
│ │testului │ex., etaloanele │
│ │(selectaţi tot │locale, studii │
│ │ce se aplică) │locale de │
│ │ │validare etc.) │
│ │ │□ Cărţi şi │
│ │ │articole de │
│ │ │interes │
├─────┼───────────────┼────────────────┤
│ │Forma │ │
│ │publicării │ │
│ │(selectaţi tot │ │
│ │ce se aplică) │ │
│ │De exemplu, │ │
│ │manualele │ │
│ │tehnice pot fi │□ Hârtie │
│ │actualizate şi │□ CD sau DVD │
│5.2. │disponibile │□ Download de pe│
│ │pentru │internet │
│ │descărcare de │□ Altele │
│ │pe Internet, în│(specificaţi): │
│ │timp ce │ │
│ │manualele de │ │
│ │utilizare sunt │ │
│ │oferite în │ │
│ │format hârtie │ │
│ │sau pe CD/DVD. │ │
├─────┴───────────────┴────────────────┤
│Itemii 5.3 - 5.5 se referă la costuri.│
│Este foarte probabil ca aceste │
│informaţii să îşi piardă cel mai rapid│
│actualitatea. Se recomandă ca │
│furnizorul sau autorul/editorul să fie│
│contactaţi cât mai aproape posibil de │
│momentul publicării evaluării, astfel │
│încât răspunsurile la aceşti itemi să │
│conţină informaţii cât mai actuale. │
├─────┬───────────────┬────────────────┤
│ │Costuri de │ │
│ │început │ │
│ │Preţul unui set│ │
│ │complet de │ │
│ │materiale │ │
│ │(toate │ │
│ │manualele şi │ │
│ │alte materiale │ │
│ │suficiente │ │
│ │pentru cel │ │
│ │puţin o │ │
│ │administrare) │ │
│ │Specificaţi │ │
│ │numărul │ │
│ │persoanelor │ │
│ │care pot fi │ │
│ │evaluate cu │ │
│ │materialele │ │
│ │achiziţionate │ │
│ │în contul │ │
│ │costurilor de │ │
│ │început şi dacă│ │
│ │aceste costuri │ │
│ │includ şi │ │
│ │materiale │ │
│ │pentru o │ │
│ │evaluare │ │
│ │repetată. │ │
│ │Acest item are │ │
│ │menirea de a │ │
│ │identifica │ │
│ │costul iniţial,│ │
│ │de bază. Acesta│ │
│ │se referă la │ │
│ │costurile │ │
│ │necesare pentru│ │
│ │obţinerea unui │ │
│ │set complet de │ │
│ │materiale de │ │
│ │referinţă, chei│ │
│ │de scorare şi │ │
│ │aşa mai │ │
│ │departe. Sunt │ │
│ │incluse │ │
│ │costurile de │ │
│ │training dacă │ │
│ │instrumentul │ │
│ │este unul │ │
│ │„închis” - │ │
│ │adică necesită │ │
│5.3.1│un cost de │ │
│ │training de │ │
│ │neevitat, │ │
│ │indiferent de │ │
│ │nivelul │ │
│ │anterior de │ │
│ │calificare al │ │
│ │utilizatorului.│ │
│ │În astfel de │ │
│ │cazuri, │ │
│ │includerea │ │
│ │trainingului în│ │
│ │costul de bază │ │
│ │trebuie │ │
│ │menţionată │ │
│ │explicit. │ │
│ │Costurile │ │
│ │iniţiale NU │ │
│ │includ │ │
│ │costurile │ │
│ │pentru │ │
│ │echipament de │ │
│ │uz general, │ │
│ │precum │ │
│ │calculatoare, │ │
│ │DVD player ş.a.│ │
│ │Totuşi, │ │
│ │necesitatea de │ │
│ │a avea un │ │
│ │astfel de │ │
│ │echipament ar │ │
│ │trebui │ │
│ │menţionată. În │ │
│ │general, │ │
│ │definiţi: orice│ │
│ │costuri │ │
│ │speciale pentru│ │
│ │training; │ │
│ │costurile │ │
│ │pentru manualul│ │
│ │de utilizare; │ │
│ │manualul/ │ │
│ │manualele │ │
│ │tehnice; │ │
│ │exemplarul sau │ │
│ │setul de │ │
│ │materiale de │ │
│ │referinţă; │ │
│ │costurile │ │
│ │iniţiale de │ │
│ │software etc. │ │
├─────┼───────────────┼────────────────┤
│ │Costuri │ │
│ │periodice │ │
│ │Specificaţi, │ │
│ │dacă este │ │
│ │cazul, │ │
│ │costurile │ │
│ │recurente de │ │
│ │administrare şi│ │
│ │scorare separat│ │
│ │de costurile de│ │
│ │interpretare (a│ │
│ │se vedea │ │
│ │secţiunile │ │
│ │5.4.1 - 5.5). │ │
│ │Acest item se │ │
│ │referă la │ │
│ │costul continuu│ │
│ │de utilizare a │ │
│ │instrumentului.│ │
│ │Acesta include │ │
│ │costul │ │
│ │materialelor │ │
│ │specifice │ │
│ │instrumentului │ │
│ │(foi de │ │
│ │răspuns, foi dc│ │
│ │întrebări de │ │
│ │unică folosinţă│ │
│ │sau │ │
│ │reutilizabile, │ │
│ │foi pentru │ │
│ │prezentarea │ │
│ │profilului, │ │
│ │coduri pentru │ │
│ │aplicarea │ │
│ │computerizată │ │
│ │etc.) pe │ │
│5.3.2│persoană pe │ │
│ │administrare. │ │
│ │În majoritatea │ │
│ │cazurilor, │ │
│ │pentru │ │
│ │administrarea │ │
│ │în format │ │
│ │hârtie, astfel │ │
│ │de materiale nu│ │
│ │sunt │ │
│ │disponibile │ │
│ │într-un singur │ │
│ │exemplar, ci │ │
│ │tind să fie │ │
│ │livrate în │ │
│ │seturi de 10, │ │
│ │25 sau 50. │ │
│ │Indicaţi taxele│ │
│ │de licenţă │ │
│ │anuale sau pe │ │
│ │persoană │ │
│ │(inclusiv │ │
│ │codurile de │ │
│ │utilizare a │ │
│ │software-ului, │ │
│ │dacă este │ │
│ │cazul), │ │
│ │costurile │ │
│ │achiziţiilor │ │
│ │sau a │ │
│ │materialelor │ │
│ │reutilizabile │ │
│ │pentru │ │
│ │închiriere şi │ │
│ │costurile │ │
│ │materialelor de│ │
│ │unică folosinţă│ │
│ │necesare per │ │
│ │candidat. │ │
├─────┼───────────────┼────────────────┤
│ │Preţurile │ │
│ │pentru │ │
│ │rapoartele │ │
│5.4.1│generate de │ │
│ │softwareul │ │
│ │instalat de │ │
│ │utilizator │ │
├─────┼───────────────┼────────────────┤
│ │Preţurile │ │
│ │pentru │ │
│5.4.2│rapoartele │ │
│ │generate de │ │
│ │serviciul prin │ │
│ │poştă/fax │ │
├─────┼───────────────┼────────────────┤
│ │Preţurile │ │
│ │pentru │ │
│5.4.3│rapoartele │ │
│ │generate de │ │
│ │serviciul prin │ │
│ │Internet │ │
├─────┼───────────────┼────────────────┤
│ │Preţurile │ │
│ │pentru alte │ │
│ │servicii de │ │
│5.5. │birou: │ │
│ │corectarea sau │ │
│ │elaborarea │ │
│ │rapoartelor │ │
│ │automate │ │
├─────┼───────────────┼────────────────┤
│ │Calificările │ │
│ │necesare pentru│ │
│ │utilizarea │ │
│ │testului, │□ Nicio │
│ │solicitate de │calificare │
│ │furnizorul │□ Acreditare │
│ │testului │specifică │
│ │(selectaţi tot │testului │
│ │ce se aplică) │□ Acreditare │
│ │Acest item se │pentru testarea │
│ │referă la │generală a │
│ │calificările pe│performanţei: │
│ │care │măsurarea │
│ │utilizatorul │performanţei │
│ │trebuie să le │maxime de │
│ │aibă, conform │însuşire a unor │
│ │cerinţelor │cunoştinţe sau │
│ │furnizorului. │abilităţi │
│ │Pentru acest │(echivalent cu │
│ │item, în cazul │Nivelul 2 EFPA) │
│ │în care autorul│□ Acreditare │
│ │/editorul a │pentru testarea │
│ │oferit │generală │
│ │informaţii │abilităţilor şi │
│ │privind │aptitudinilor: │
│5.6. │calificarea │măsurarea │
│ │utilizatorului,│performanţei │
│ │acestea trebuie│maxime în │
│ │marcate conform│relaţie cu │
│ │categoriilor │potenţialul de │
│ │alăturate. În │atingere │
│ │cazul în care │(echivalent cu │
│ │cerinţele de │Nivelul 2 EFPA) │
│ │calificare nu │□ Acreditare în │
│ │sunt clare, │evaluarea │
│ │acest lucru ar │personalităţii │
│ │trebui │şi în evaluare │
│ │menţionat în │generală: │
│ │rubrica │măsurarea │
│ │„Altele”, nu la│comportamentelor│
│ │„Nicio │tipice, a │
│ │calificare”. │atitudinilor şi │
│ │„Nicio │a preferinţelor │
│ │calificare” │(echivalent cu │
│ │înseamnă că │Nivelul 2 EFPA) │
│ │există o │□ Altele │
│ │afirmaţie │(specificaţi): │
│ │explicită │ │
│ │privind lipsa │ │
│ │nevoii de │ │
│ │calificare. │ │
├─────┼───────────────┼────────────────┤
│ │Calificările │ │
│ │profesionale │ │
│ │necesare pentru│ │
│ │utilizarea │ │
│ │instrumentului │□ Nicio │
│ │(selectaţi tot │calificare │
│ │ce se aplică) │□ Psiholog │
│ │Acest item se │practician, │
│ │referă la │specializat în │
│ │calificările pe│domeniul de │
│ │care │aplicabilitate │
│ │utilizatorul │specific │
│ │trebuie să le │testului │
│ │aibă, conform │□ Psiholog │
│ │cerinţelor │practician │
│ │furnizorului. │□ Psiholog │
│ │Pentru acest │cercetător │
│ │item, în cazul │□ Orice │
│ │în care autorul│cercetător care │
│ │/editorul a │lucrează în │
│ │oferit │mediul academic │
│ │informaţii │□ Practician │
│ │privind │care activează │
│ │calificarea │în profesii │
│ │utilizatorului,│asociate │
│ │acestea trebuie│relevante │
│ │marcate conform│(terapie, │
│ │categoriilor │medicină, │
│ │alăturate. În │consiliere, │
│5.7. │cazul în care │educaţie, │
│ │cerinţele de │resurse umane │
│ │calificare nu │etc.). │
│ │sunt clare, │□ Specificaţi: │
│ │acest lucru ar │□ Nivelul 1 EFPA│
│ │trebui │pentru │
│ │menţionat în │utilizatorii de │
│ │rubrica │teste sau │
│ │„Altele”, nu la│echivalentul │
│ │„Nicio │naţional │
│ │calificare”. │□ Nivelul 2 EFPA│
│ │„Nicio │pentru │
│ │calificare” │utilizatorii de │
│ │înseamnă că │teste sau │
│ │există o │echivalentul │
│ │afirmaţie │naţional │
│ │explicită │□ Calificare de │
│ │privind lipsa │specialist, │
│ │nevoi de │echivalentă cu │
│ │calificare. │standardele │
│ │Pentru detalii │aferente │
│ │privind │Nivelului 3 EFPA│
│ │standardele │pentru │
│ │EFPA de │utilizatorii de │
│ │utilizare, │teste. │
│ │consultaţi │□ Altele │
│ │ultima versiune│(indicaţi): │
│ │a acestora │ │
│ │regăsite pe │ │
│ │pagina web a │ │
│ │EFPA. │ │
└─────┴───────────────┴────────────────┘
PARTEA 2 EVALUAREA INSTRUMENTULUI Sursele de informare Există patru surse potenţiale de informare, ce pot fi consultate pentru realizarea acestei evaluări: 1. Manualul şi/sau rapoartele oferite de autor/editor utilizatorului: Acestea sunt întotdeauna livrate de autor/editor/distribuitor înainte ca instrumentul să fie avizat de organizaţia care îl evaluează, şi alcătuiesc materialele supuse evaluării. 2. Informaţiile accesibile în literatura de specialitate sau în alte surse: În general, aceste informaţii sunt identificate de către evaluator, iar acesta se poate folosi de ele în momentul evaluării. Instrumentul poate fi evaluat din punct de vedere ai măsurii în care manualul include aceste informaţii. 3. Informaţii deţinute de autor/editor şi care nu sunt publicate oficial sau distribuite: Distribuitorul/editorul/editura poate face ca aceste informaţii să fie disponibile încă de la început sau le poate trimite în momentul în care primeşte înapoi evaluarea, pentru verificarea acurateţei anumitor afirmaţii sau fapte. Evaluatorul ar trebui să folosească aceste informaţii, dar să noteze foarte clar la începutul comentariilor referitoare la informaţiile tehnice că "notele oferite în această evaluare se referă la materiale deţinute de autor/editor/distribuitor, materiale ce [în mod normal] nu sunt furnizate utilizatorilor testului". Dacă aceste materiale conţin informaţii valoroase, evaluarea generală ar trebui să conţină recomandarea ca autorul/editorul să publice aceste rapoarte şi/sau să le pună la dispoziţia cumpărătorilor testului. 4. Informaţii confidenţiale în scop comercial: În unele cazuri, editorii/editurile pot avea materiale importante din punct de vedere tehnic, dar pe care, din motive comerciale, nu doresc să le facă publice. În practică, sunt disponibile puţine modalităţi de protecţie a proprietăţii intelectuale a dezvoltatorilor de teste (ex. legea drepturilor de autor). Astfel de informaţii pot include rapoarte despre dezvoltarea unor algoritmi speciali de scorare, proceduri de generare a unor probe sau itemi, sau detalii despre tehnologia de generare a rapoartelor. În cazul în care conţinutul acestor rapoarte este important pentru realizarea evaluării, asociaţia sau organizaţia responsabilă de evaluare ar putea să propună autorului/editorului întocmirea unui contract de confidenţialitate. Acest contract ar fi încheiat între evaluatori şi autor/editor. Apoi evaluatorul ar putea să evalueze şi aceste informaţii confidenţiale, să comenteze aspectele tehnice şi să includă în evaluarea generală o precizare de tipul "notele marcate cu steluţă se referă la materiale deţinute de autor/editor sau de distribuitor, ce au fost examinate de evaluatori în baza unui acord de confidenţialitate în scop comercial. Aceste informaţii nu sunt accesibile utilizatorilor". Explicaţii privind notarea Toate secţiunile sunt notate folosind sistemul de notare următor (consultaţi tabelul de pe pagina următoare). Sunt oferite descrieri detaliate pentru fiecare punctaj reper pentru evaluare. Atunci când este oferită nota [0] sau [1] pentru o caracteristică a instrumentului considerată esenţială pentru o utilizare sigură a acestuia, recomandarea va fi ca instrumentul să fie utilizat doar în circumstanţe excepţionale, de către experţi înalt calificaţi, sau în scop de cercetare. În cadrul evaluării, trebuie indicat care sunt calităţile tehnice esenţiale ale instrumentului, ţinând cont de natura instrumentului şi scopul pentru care a fost construit. Convenţia recomandată este ca evaluările acestor calităţi esenţiale să fie scrise cu caractere îngroşate (bold). În secţiunile următoare, notele globale sau gradul de adecvare a informaţiilor relevante pentru validitate, fidelitate şi etaloane sunt marcate implicit cu caractere îngroşate (bold). Orice instrument notat cu unu sau mai multe note de [0] sau [1] pentru caracteristici considerate esenţiale pentru utilizarea sigură a instrumentului, ar trebui considerat sub standardele minime acceptate.
┌────┬─────────────────────────────────┐
│Notă│Explicaţie* │
├────┼─────────────────────────────────┤
│[n/ │Această caracteristică nu se │
│a] │aplică instrumentului de faţă │
├────┼─────────────────────────────────┤
│ │Evaluarea nu poate fi încadrată │
│0 │la "NU" / absenţa caracteristicii│
│ │sau nu sunt oferite suficiente │
│ │informaţii │
├────┼─────────────────────────────────┤
│1 │Neadecvat │
├────┼─────────────────────────────────┤
│2 │Adecvat │
├────┼─────────────────────────────────┤
│3 │Bine │
├────┼─────────────────────────────────┤
│4 │Excelent │
└────┴─────────────────────────────────┘
* EFPA defineşte o scală în cinci trepte, însă fiecare utilizator poate îmbina punctajele (de ex., să combine notele 3 şi 4 într-o singură notă). Singura restricţie este aceea de a stabili o distincţie între neadecvat (sau prost) pe de o parte, şi adecvat (sau bun) pe de altă parte. În cazul în care scala în cinci trepte este înlocuită sau personalizată, utilizatorul trebuie să stabilească o modalitate de legătură între punctaje/terminologie şi scala în cinci trepte definită de EFPA. 6. Calitatea justificării utilităţii instrumentului, a modalităţii de prezentare şi a informaţiilor oferite În această secţiune, este necesar să se acorde o serie de note pentru diferite aspecte sau caracteristici ale documentaţiei care însoţeşte instrumentul (sau pachetul). Termenul "documentaţie" este folosit pentru a acoperi toate materialele furnizate sau disponibile uşor utilizatorilor calificaţi: de ex., manualul de administrare; manualele tehnice; broşurile cu etaloane; suplimentele la manual; actualizările realizate de autor/editor sau de furnizor etc. Furnizorii sunt rugaţi să ofere câte un set complet cu aceste materiale pentru fiecare Evaluator. 6.1. Calitatea explicării utilităţii instrumentului Dacă instrumentul este un test computerizat adaptiv (computer-adaptive test), trebuie acordată atenţie deosebită itemilor 6.1.1 -6.1.6.
┌──────────────────────────┬───────────┐
│Itemii ce trebuie cotaţi │Notarea │
│cu n/a sau cu 0 - 4 │ │
├─────┬────────────────────┼─┬─┬─┬─┬─┬─┤
│ │Fundamentarea │n│ │ │ │ │ │
│6.1.1│teoretică a │/│0│1│2│3│4│
│ │constructelor │a│ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Procedura de │ │ │ │ │ │ │
│ │dezvoltare a │n│ │ │ │ │ │
│6.1.2│testului (şi/sau de │/│0│1│2│3│4│
│ │traducere şi │a│ │ │ │ │ │
│ │adaptare) │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Rigurozitatea │n│ │ │ │ │ │
│6.1.3│analizei itemilor şi│/│0│1│2│3│4│
│ │modelul de analiză a│a│ │ │ │ │ │
│ │itemilor │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Prezentarea │n│ │ │ │ │ │
│6.1.4│validităţii de │/│0│1│2│3│4│
│ │conţinut │a│ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Sinteza cercetărilor│n│ │ │ │ │ │
│6.1.5│relevante │/│0│1│2│3│4│
│ │ │a│ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Evaluarea globală a │ │ │ │ │ │ │
│ │calităţii explicării│ │ │ │ │ │ │
│ │utilităţii testului │ │ │ │ │ │ │
│ │Această evaluare │n│ │ │ │ │ │
│6.1.6│globală se obţine │/│0│1│2│3│4│
│ │analizând notele │a│ │ │ │ │ │
│ │oferite pentru │ │ │ │ │ │ │
│ │itemii 6.1.1 - │ │ │ │ │ │ │
│ │6.1.5. │ │ │ │ │ │ │
└─────┴────────────────────┴─┴─┴─┴─┴─┴─┘
6.2. Adecvarea documentaţiei disponibile utilizatorilor (manuale de utilizare şi tehnice, etaloanele etc.) Focusul acestei secţiuni este calitatea conţinutului documentaţiei accesibile utilizatorilor calificaţi. Subsecţiunea 2 se referă la complexitatea şi claritatea documentaţiei disponibile utilizatorilor (manualele de utilizare şi cele tehnice, etaloanele etc.) ţinând cont de informaţiile acoperite şi de explicaţii. Aspecte privind calitatea instrumentului reflectată de documentaţie sunt detaliate la: 6.1, 6.3, 9, 10 şi 11.
┌────────────────────────────┬──────────┬┐
│Itemii ce trebuie cotaţi cu │ ││
│n/a sau 0-4; pentru │Notarea ││
│calificativul „excelent” (4)│ ││
│sunt oferite repere. │ ││
├───────┬────────────────────┼─┬─┬─┬─┬─┬┴┤
│ │Justificarea │ │ │ │ │ │ │
│ │utilităţii │ │ │ │ │ │ │
│ │(consultaţi notarea │ │ │ │ │ │ │
│ │de la 6.1.6) │ │ │ │ │ │ │
│ │Excelent: Există o │ │ │ │ │ │ │
│ │descriere clară şi │n│ │ │ │ │ │
│6.2.1 │logică a ceea ce │/│0│1│2│3│4│
│ │instrumentul ar │a│ │ │ │ │ │
│ │trebui să măsoare şi│ │ │ │ │ │ │
│ │a motivelor pentru │ │ │ │ │ │ │
│ │care a fost │ │ │ │ │ │ │
│ │proiectat în felul │ │ │ │ │ │ │
│ │în care a fost │ │ │ │ │ │ │
│ │proiectat. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Dezvoltarea │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite detalii │ │ │ │ │ │ │
│ │privind sursa │ │ │ │ │ │ │
│ │itemilor, │ │ │ │ │ │ │
│ │dezvoltarea │ │ │ │ │ │ │
│ │materialului stimul │ │ │ │ │ │ │
│ │în conformitate cu │ │ │ │ │ │ │
│ │recomandările │ │ │ │ │ │ │
│ │acceptate (de ex., │n│ │ │ │ │ │
│6.2.2.1│Haladyna, Downing, &│/│0│1│2│3│4│
│ │Rodriguez, 2002; │a│ │ │ │ │ │
│ │Moreno, Martinez, & │ │ │ │ │ │ │
│ │Mufiiz, 2006), │ │ │ │ │ │ │
│ │testarea pilot, │ │ │ │ │ │ │
│ │analiza itemilor │ │ │ │ │ │ │
│ │studiile comparative│ │ │ │ │ │ │
│ │şi modificările │ │ │ │ │ │ │
│ │făcute în timpul │ │ │ │ │ │ │
│ │cercetărilor din │ │ │ │ │ │ │
│ │etapa de dezvoltare.│ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Dezvoltarea testului│ │ │ │ │ │ │
│ │prin traducere/ │ │ │ │ │ │ │
│ │adaptare │ │ │ │ │ │ │
│ │Excelent: │ │ │ │ │ │ │
│ │Informaţiile din │ │ │ │ │ │ │
│ │manual evidernţiază │ │ │ │ │ │ │
│ │faptul că procesul │ │ │ │ │ │ │
│ │de traducere/ │ │ │ │ │ │ │
│ │adaptare a fost │ │ │ │ │ │ │
│ │realizat în │ │ │ │ │ │ │
│ │conformitate cu │ │ │ │ │ │ │
│ │recomandările │ │ │ │ │ │ │
│ │internaţionale (ITC,│ │ │ │ │ │ │
│ │2000) şi a inclus │n│ │ │ │ │ │
│6.2.2.2│● Contribuţia │/│0│1│2│3│4│
│ │vorbitorilor nativi │a│ │ │ │ │ │
│ │ai noii limbi │ │ │ │ │ │ │
│ │● Revizuiri multiple│ │ │ │ │ │ │
│ │făcute de persoane │ │ │ │ │ │ │
│ │experte atât în │ │ │ │ │ │ │
│ │limba, cât şi în │ │ │ │ │ │ │
│ │conţinutul testului.│ │ │ │ │ │ │
│ │● Traducere inversă │ │ │ │ │ │ │
│ │din noua limbă în │ │ │ │ │ │ │
│ │limba originală │ │ │ │ │ │ │
│ │● Luarea în │ │ │ │ │ │ │
│ │considerare a │ │ │ │ │ │ │
│ │diferenţelor │ │ │ │ │ │ │
│ │culturale şi │ │ │ │ │ │ │
│ │lingvistice. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Standardizarea │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite informaţii │ │ │ │ │ │ │
│ │clare şi detaliate │n│ │ │ │ │ │
│6.2.3 │privind dimensiunea │/│0│1│2│3│4│
│ │şi provenienţa │a│ │ │ │ │ │
│ │eşantionului de │ │ │ │ │ │ │
│ │standardizare şi │ │ │ │ │ │ │
│ │procedura de │ │ │ │ │ │ │
│ │standardizare. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Etaloanele │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite informaţii │ │ │ │ │ │ │
│ │clare şi detaliate │ │ │ │ │ │ │
│ │privind dimensiunea │n│ │ │ │ │ │
│6.2.4 │şi provenienţa │/│0│1│2│3│4│
│ │grupurilor │a│ │ │ │ │ │
│ │normative, │ │ │ │ │ │ │
│ │reprezentativitatea,│ │ │ │ │ │ │
│ │condiţiile de │ │ │ │ │ │ │
│ │evaluare etc. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Fidelitatea │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite explicaţii │ │ │ │ │ │ │
│ │excelente privind │ │ │ │ │ │ │
│ │fidelitatea şi │ │ │ │ │ │ │
│ │eroarea standard de │ │ │ │ │ │ │
│ │măsurare (SEM). De │ │ │ │ │ │ │
│ │asemenea, au fost │ │ │ │ │ │ │
│ │testate consistenţa │ │ │ │ │ │ │
│ │internă, fidelitatea│ │ │ │ │ │ │
│ │test-retest şi/sau │n│ │ │ │ │ │
│6.2.5 │fidelitatea formelor│/│0│1│2│3│4│
│ │paralele şi/sau │a│ │ │ │ │ │
│ │fidelitatea │ │ │ │ │ │ │
│ │inter-evaluator, iar│ │ │ │ │ │ │
│ │erorile standard de │ │ │ │ │ │ │
│ │măsurare obţinute │ │ │ │ │ │ │
│ │sunt însoţite de │ │ │ │ │ │ │
│ │explicaţii privind │ │ │ │ │ │ │
│ │relevanţa lor şi │ │ │ │ │ │ │
│ │măsura în care │ │ │ │ │ │ │
│ │instrumentul de │ │ │ │ │ │ │
│ │evaluare este │ │ │ │ │ │ │
│ │generalizabil. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Validitatea de │ │ │ │ │ │ │
│ │construct │ │ │ │ │ │ │
│ │Excelent: │ │ │ │ │ │ │
│ │Validitatea de │n│ │ │ │ │ │
│6.2.6 │construct este │/│0│1│2│3│4│
│ │explicată excelent, │a│ │ │ │ │ │
│ │facându-se referire │ │ │ │ │ │ │
│ │la o gama largă de │ │ │ │ │ │ │
│ │studii descrise clar│ │ │ │ │ │ │
│ │şi corect. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Validitatea de │ │ │ │ │ │ │
│ │criteriu │ │ │ │ │ │ │
│ │Excelent: │ │ │ │ │ │ │
│ │Validitatea de │n│ │ │ │ │ │
│6.2.7 │criteriu este │/│0│1│2│3│4│
│ │explicată excelent, │a│ │ │ │ │ │
│ │facându-se referire │ │ │ │ │ │ │
│ │la o gama largă de │ │ │ │ │ │ │
│ │studii descrise clar│ │ │ │ │ │ │
│ │şi corect. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Rapoartele generate │ │ │ │ │ │ │
│ │de calculator │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite informaţii │ │ │ │ │ │ │
│6.2.8 │clare şi detaliate │ │ │ │ │ │ │
│ │privind formatul, │ │ │ │ │ │ │
│ │scopul, fidelitatea │ │ │ │ │ │ │
│ │şi validitatea │ │ │ │ │ │ │
│ │rapoartelor generate│ │ │ │ │ │ │
│ │de calculator. │ │ │ │ │ │ │
├───────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Gradul de adecvare a│ │ │ │ │ │ │
│ │documentaţiei │ │ │ │ │ │ │
│ │disponibile pentru │ │ │ │ │ │ │
│ │utilizator (manualul│ │ │ │ │ │ │
│ │de utilizare şi │ │ │ │ │ │ │
│ │tehnice, │n│ │ │ │ │ │
│6.2.9 │suplimentele cu │/│0│1│2│3│4│
│ │etaloane etc.) │a│ │ │ │ │ │
│ │Această evaluare se │ │ │ │ │ │ │
│ │obţine analizând │ │ │ │ │ │ │
│ │notele oferite │ │ │ │ │ │ │
│ │pentru itemii 6.2.1 │ │ │ │ │ │ │
│ │-6.2.8. │ │ │ │ │ │ │
└───────┴────────────────────┴─┴─┴─┴─┴─┴─┘
6.3. Calitatea instrucţiunilor procedurale oferite utilizatorilor
┌──────────────────────────┬───────────┐
│Itemii ce trebuie cotaţi │ │
│cu n/a sau 0-4; pentru │Notarea │
│calificativul „excelent” │ │
│(4) sunt oferite repere. │ │
├──────┬───────────────────┼─┬─┬─┬─┬─┬─┤
│ │Pentru │ │ │ │ │ │ │
│ │administrarea │ │ │ │ │ │ │
│ │testului │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite explicaţii │ │ │ │ │ │ │
│ │şi instrucţiuni │ │ │ │ │ │ │
│ │procedurale clare │ │ │ │ │ │ │
│ │şi detaliate, │n│ │ │ │ │ │
│6.3.1 │împreună cu │/│0│1│2│3│4│
│ │recomandări │a│ │ │ │ │ │
│ │consistente şi │ │ │ │ │ │ │
│ │detaliate privind │ │ │ │ │ │ │
│ │gestionarea │ │ │ │ │ │ │
│ │întrebărilor │ │ │ │ │ │ │
│ │candidaţilor şi │ │ │ │ │ │ │
│ │situaţiile │ │ │ │ │ │ │
│ │problemă. │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Pentru scorarea │ │ │ │ │ │ │
│ │testului │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite informaţii │ │ │ │ │ │ │
│ │clare şi detaliate,│ │ │ │ │ │ │
│ │împreună cu │ │ │ │ │ │ │
│ │descrieri ale │ │ │ │ │ │ │
│ │verificărilor │n│ │ │ │ │ │
│6.3.2 │necesare pentru │/│0│1│2│3│4│
│ │gestionarea │a│ │ │ │ │ │
│ │posibilelor erori │ │ │ │ │ │ │
│ │de scorare. │ │ │ │ │ │ │
│ │Dacă scorarea este │ │ │ │ │ │ │
│ │făcută de │ │ │ │ │ │ │
│ │calculator, se │ │ │ │ │ │ │
│ │poate stabili dacă │ │ │ │ │ │ │
│ │aceasta este │ │ │ │ │ │ │
│ │corectă? │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Pentru etalonare │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite informaţii │ │ │ │ │ │ │
│ │clare şi detaliate,│ │ │ │ │ │ │
│ │împreună cu │ │ │ │ │ │ │
│ │descrieri ale │ │ │ │ │ │ │
│ │verificărilor │ │ │ │ │ │ │
│ │necesare pentru │ │ │ │ │ │ │
│ │gestionarea │n│ │ │ │ │ │
│6.3.3 │posibilelor erori │/│0│1│2│3│4│
│ │de etalonare. │a│ │ │ │ │ │
│ │Dacă etalonarea │ │ │ │ │ │ │
│ │este făcută de │ │ │ │ │ │ │
│ │calculator, există │ │ │ │ │ │ │
│ │dovezi cum că │ │ │ │ │ │ │
│ │transformarea este │ │ │ │ │ │ │
│ │corectă şi că a │ │ │ │ │ │ │
│ │fost folosit │ │ │ │ │ │ │
│ │eşantionul normativ│ │ │ │ │ │ │
│ │corect? │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Pentru interpretare│ │ │ │ │ │ │
│ │şi raportare │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite recomandări│ │ │ │ │ │ │
│ │detaliate privind │ │ │ │ │ │ │
│ │interpretarea unor │ │ │ │ │ │ │
│ │scoruri diverse, │ │ │ │ │ │ │
│ │înţelegerea │ │ │ │ │ │ │
│ │măsurătorilor │ │ │ │ │ │ │
│ │normative şi │ │ │ │ │ │ │
│ │gestionarea │ │ │ │ │ │ │
│ │relaţiilor dintre │n│ │ │ │ │ │
│6.3.4 │diferite scale, │/│0│1│2│3│4│
│ │împreună cu exemple│a│ │ │ │ │ │
│ │ilustrative şi │ │ │ │ │ │ │
│ │studii de caz; de │ │ │ │ │ │ │
│ │asemenea, sunt │ │ │ │ │ │ │
│ │oferite recomandări│ │ │ │ │ │ │
│ │privind gestionarea│ │ │ │ │ │ │
│ │efectului pe care │ │ │ │ │ │ │
│ │inconsistenţa │ │ │ │ │ │ │
│ │răspunsurilor, │ │ │ │ │ │ │
│ │stilurile de │ │ │ │ │ │ │
│ │răspuns, falsitatea│ │ │ │ │ │ │
│ │etc. ar putea să îl│ │ │ │ │ │ │
│ │aibă. │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Pentru feedback şi │ │ │ │ │ │ │
│ │debriefing dedicat │ │ │ │ │ │ │
│ │persoanelor │ │ │ │ │ │ │
│ │evaluate şi altor │ │ │ │ │ │ │
│ │persoane implicate │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite recomandări│ │ │ │ │ │ │
│ │detaliate privind │n│ │ │ │ │ │
│6.3.5 │modul de a oferi │/│0│1│2│3│4│
│ │feedback │a│ │ │ │ │ │
│ │candidaţilor; este │ │ │ │ │ │ │
│ │inclusă utilizarea │ │ │ │ │ │ │
│ │rapoartelor │ │ │ │ │ │ │
│ │generate de │ │ │ │ │ │ │
│ │calculator (dacă │ │ │ │ │ │ │
│ │acestea sunt │ │ │ │ │ │ │
│ │disponibile). │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Pentru o bună │ │ │ │ │ │ │
│ │practică din punct │ │ │ │ │ │ │
│ │de vedere al │ │ │ │ │ │ │
│ │corectitudinii şi │ │ │ │ │ │ │
│ │erorilor sociale │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │prezentare │ │ │ │ │ │ │
│ │informaţii │ │ │ │ │ │ │
│ │detaliate în │n│ │ │ │ │ │
│6.3.6 │legătură cu │/│0│1│2│3│4│
│ │studiile privind │a│ │ │ │ │ │
│ │erorile cauzate de │ │ │ │ │ │ │
│ │diferenţele etnice │ │ │ │ │ │ │
│ │şi de gen, împreună│ │ │ │ │ │ │
│ │cu atenţionări │ │ │ │ │ │ │
│ │relevante privind │ │ │ │ │ │ │
│ │utilizarea şi │ │ │ │ │ │ │
│ │generalizarea │ │ │ │ │ │ │
│ │elementelor valide.│ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Restricţii privind │ │ │ │ │ │ │
│ │utilizarea │ │ │ │ │ │ │
│ │Excelent: Sunt │ │ │ │ │ │ │
│ │oferite descrieri │ │ │ │ │ │ │
│ │clare despre cine │ │ │ │ │ │ │
│ │ar trebui şi cine │ │ │ │ │ │ │
│ │nu ar trebui să fie│n│ │ │ │ │ │
│6.3.7 │evaluat, împreună │/│0│1│2│3│4│
│ │cu justificări bine│a│ │ │ │ │ │
│ │explicate pentru │ │ │ │ │ │ │
│ │restricţii (de │ │ │ │ │ │ │
│ │exemplu, tipurile │ │ │ │ │ │ │
│ │de dizabilităţi, │ │ │ │ │ │ │
│ │nivelurile de │ │ │ │ │ │ │
│ │alfabetizare │ │ │ │ │ │ │
│ │necesare etc.) │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Suport tehnic şi │ │ │ │ │ │ │
│ │software │ │ │ │ │ │ │
│ │Excelent: în cazul │ │ │ │ │ │ │
│ │testării │ │ │ │ │ │ │
│ │computerizate (TC) │ │ │ │ │ │ │
│ │sau a testării web │ │ │ │ │ │ │
│ │(Tw), sunt oferite │ │ │ │ │ │ │
│ │informaţii complete│ │ │ │ │ │ │
│ │privind cerinţele │ │ │ │ │ │ │
│ │de browser, │n│ │ │ │ │ │
│6.3.8 │instalarea oricărui│/│0│1│2│3│4│
│ │software necesar şi│a│ │ │ │ │ │
│ │utilizarea acestuia│ │ │ │ │ │ │
│ │- de asemenea, sunt│ │ │ │ │ │ │
│ │acoperite │ │ │ │ │ │ │
│ │posibilele erori şi│ │ │ │ │ │ │
│ │diferenţe de sistem│ │ │ │ │ │ │
│ │iar │ │ │ │ │ │ │
│ │disponibilitatea │ │ │ │ │ │ │
│ │suportului tehnic │ │ │ │ │ │ │
│ │este descrisă clar.│ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Referinţe şi │ │ │ │ │ │ │
│ │matinale suport │ │ │ │ │ │ │
│ │Excelent: Se fac │ │ │ │ │ │ │
│ │referiri detaliate │ │ │ │ │ │ │
│ │la publicaţii │ │ │ │ │ │ │
│ │relevante din │n│ │ │ │ │ │
│6.3.9 │literatura de │/│0│1│2│3│4│
│ │specialitate şi │a│ │ │ │ │ │
│ │sunt utilizate │ │ │ │ │ │ │
│ │cros-referinţe la │ │ │ │ │ │ │
│ │alte materiale │ │ │ │ │ │ │
│ │legate de │ │ │ │ │ │ │
│ │instrumentul de │ │ │ │ │ │ │
│ │evaluare. │ │ │ │ │ │ │
├──────┼───────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea │ │ │ │ │ │ │
│ │instrucţiunilor │ │ │ │ │ │ │
│ │procedurale oferite│ │ │ │ │ │ │
│ │utilizatorilor │n│ │ │ │ │ │
│6.3.10│Această evaluare se│/│0│1│2│3│4│
│ │obţine analizând │a│ │ │ │ │ │
│ │notele oferite │ │ │ │ │ │ │
│ │pentru itemii 6.3.1│ │ │ │ │ │ │
│ │- 6.3.9. │ │ │ │ │ │ │
├──────┴───────────────────┴─┴─┴─┴─┴─┴─┤
│Comentariile evaluatorilor pentru │
│documentaţie: (comentarii privind │
│justificarea utilităţii │
│instrumentului, calitatea prezentării │
│şi a informaţiilor oferite) │
├──────────────────────────────────────┤
└──────────────────────────────────────┘
7. Calitatea materialelor de testare 7.1. Calitatea materialelor aferente testelor creion-hârtie (această secţiune poate fi sărită dacă nu se aplică)
┌──────────────────────────┬───────────┐
│Itemii ce trebuie cotaţi │Notarea │
│cu n/a sau 0-4 │ │
├─────┬────────────────────┼─┬─┬─┬─┬─┬─┤
│ │Calitatea generală a│ │ │ │ │ │ │
│ │materialor de │n│ │ │ │ │ │
│7.1.1│testare (broşurile │/│0│1│2│3│4│
│ │de testare, foi de │a│ │ │ │ │ │
│ │răspuns, obiectele │ │ │ │ │ │ │
│ │de testare, etc.) │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Uşurinţa cu care │n│ │ │ │ │ │
│7.1.2│persoana evaluată │/│0│1│2│3│4│
│ │poate să înţeleagă │a│ │ │ │ │ │
│ │sarcina de testare. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Claritatea şi │ │ │ │ │ │ │
│ │consistenţa │ │ │ │ │ │ │
│ │instructajului │n│ │ │ │ │ │
│7.1.3│persoanelor evaluate│/│0│1│2│3│4│
│ │(inclusiv itemi │a│ │ │ │ │ │
│ │exemplu şi exerciţii│ │ │ │ │ │ │
│ │de antrenament). │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Uşurinţa cu care │ │ │ │ │ │ │
│ │persoanele evaluate │n│ │ │ │ │ │
│7.1.4│pot oferi │/│0│1│2│3│4│
│ │răspunsurile la │a│ │ │ │ │ │
│ │test. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea formulării│ │ │ │ │ │ │
│ │itemilor şi │n│ │ │ │ │ │
│7.1.5│claritatea │/│0│1│2│3│4│
│ │conţinutului grafic │a│ │ │ │ │ │
│ │în cazul itemilor │ │ │ │ │ │ │
│ │non-verbali. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea │n│ │ │ │ │ │
│7.1.6│materialelor │/│0│1│2│3│4│
│ │aferente testelor │a│ │ │ │ │ │
│ │creion- hârtie │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Această evaluare se │ │ │ │ │ │ │
│ │obţine analizând │ │ │ │ │ │ │
│ │notele oferite │ │ │ │ │ │ │
│ │pentru itemii 7.1.1 │ │ │ │ │ │ │
│ │- 7.1.5. │ │ │ │ │ │ │
└─────┴────────────────────┴─┴─┴─┴─┴─┴─┘
7.2. Calitatea materialelor aferente testării computerizate (TC) şi a celei web (TW) (această secţiune poate fi sărită dacă nu se aplică)
┌──────────────────────────┬───────────┐
│Itemii ce trebuie cotaţi │Notarea │
│cu n/a sau 0-4 │ │
├─────┬────────────────────┼─┬─┬─┬─┬─┬─┤
│ │Calitatea modului în│ │ │ │ │ │ │
│ │care este proiectat │ │ │ │ │ │ │
│ │softwareul (de ex. │ │ │ │ │ │ │
│ │robusteţea din punct│ │ │ │ │ │ │
│ │de vedere al │n│ │ │ │ │ │
│7.2.1│operării în momentul│/│0│1│2│3│4│
│ │în sunt apăsate │a│ │ │ │ │ │
│ │taste greşite, sau │ │ │ │ │ │ │
│ │atunci când │ │ │ │ │ │ │
│ │conexiunea la │ │ │ │ │ │ │
│ │internet se │ │ │ │ │ │ │
│ │întrerupe etc.). │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Uşurinţa cu care │n│ │ │ │ │ │
│7.2.2│persoana evaluată │/│0│1│2│3│4│
│ │poate să înţeleagă │a│ │ │ │ │ │
│ │sarcina de testare. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Claritatea şi │ │ │ │ │ │ │
│ │consistenţa │ │ │ │ │ │ │
│ │instructajului │ │ │ │ │ │ │
│ │oferit persoanelor │ │ │ │ │ │ │
│ │evaluate (inclusiv │ │ │ │ │ │ │
│ │itemi exemplu şi │ │ │ │ │ │ │
│ │exerciţii de │n│ │ │ │ │ │
│7.2.3│antrenament), şi │/│0│1│2│3│4│
│ │calitatea │a│ │ │ │ │ │
│ │explicaţiilor │ │ │ │ │ │ │
│ │privind utilizarea │ │ │ │ │ │ │
│ │softwareului şi │ │ │ │ │ │ │
│ │modalitatea de │ │ │ │ │ │ │
│ │răspuns dacă testul │ │ │ │ │ │ │
│ │este administrat de │ │ │ │ │ │ │
│ │calculator. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Uşurinţa cu care │ │ │ │ │ │ │
│ │persoanele evaluate │n│ │ │ │ │ │
│7.2.4│pot oferi │/│0│1│2│3│4│
│ │răspunsurile la │a│ │ │ │ │ │
│ │test. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea interfaţei│n│ │ │ │ │ │
│7.2.5│pentru utilizatori. │/│0│1│2│3│4│
│ │ │a│ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Securitatea testului│ │ │ │ │ │ │
│ │din punct de vedere │n│ │ │ │ │ │
│7.2.6│al accesului │/│0│1│2│3│4│
│ │neautorizat la itemi│a│ │ │ │ │ │
│ │sau la răspunsuri. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea formulării│ │ │ │ │ │ │
│ │itemilor şi │n│ │ │ │ │ │
│7.2.7│claritatea │/│0│1│2│3│4│
│ │conţinutului grafic │a│ │ │ │ │ │
│ │în cazul itemilor │ │ │ │ │ │ │
│ │non-verbali. │ │ │ │ │ │ │
├─────┼────────────────────┼─┼─┼─┼─┼─┼─┤
│ │Calitatea │ │ │ │ │ │ │
│ │materialelor │ │ │ │ │ │ │
│ │aferente testării │ │ │ │ │ │ │
│ │computerizate (TC) │n│ │ │ │ │ │
│7.2.8│şi a celei web (TW) │/│0│1│2│3│4│
│ │Această evaluare se │a│ │ │ │ │ │
│ │obţine analizând │ │ │ │ │ │ │
│ │notele oferite │ │ │ │ │ │ │
│ │pentru itemii 7.2.1 │ │ │ │ │ │ │
│ │- 7.2.7. │ │ │ │ │ │ │
├─────┴────────────────────┴─┴─┴─┴─┴─┴─┤
│Comentariile evaluatorilor privind │
│calitatea materialelor │
├──────────────────────────────────────┤
└──────────────────────────────────────┘
8. Etaloanele Instrucţiuni generale privind notarea acestei secţiuni Stabilirea criteriilor pentru evaluarea calităţii tehnice a unui instrument este greu de făcut. Acest paragraf oferă câteva repere privind modul în care pot fi atribuite valori calificativelor "neadecvat", "adecvat", "bun", "excelent". Însă natura instrumentului, domeniul în care este aplicat, calitatea datelor pe care se bazează etaloanele, precum şi tipul deciziilor pentru care etaloanele vor fi folosite, ar trebui să influenţele modul în care sunt acordate notele. Pentru a da sens scorurilor brute obţinute la test, se pot diferenţia două modalităţi de scalare sau categorisire a lor (American Educaţional Research Association, American Psychological Association, & Naţional Council on Measurement in Education, 1999). O primă modalitate este de a deriva o serie de scoruri scalate/etaloane pe baza distribuţiei scorurilor brute ale unui eşantion de referinţă (interpretare bazată pe norme) (consultaţi secţiunea 8.1). A doua modalitate constă în derivarea unor standarde dintr-o gamă de competenţe aparţinând unui domeniu sau pe baza unor aspecte ce trebuie stăpânite (interpretare bazată pe domeniu) sau pot fi stabilite scoruri prag pe baza unor cercetări de validitate empirică (interpretare bazată pe criteriu) (consultaţi sub-secţiunea 8.2). Aplicând ultimele două variante, scorurile brute sunt categorisite în două sau mai multe intervale (de ex., repartizarea pacienţilor în diferite grupuri de tratament în funcţie de intervalele în care se încadrează scorurile lor; aplicarea unui program educaţional corectiv elevilor cu scoruri mai mici de o anumită valoare critică; acceptarea sau respingerea candidaţilor în procesul de selecţie de personal). 8.1. Interpretarea bazată pe norme (Această subsecţiune poate fi sărită dacă nu se aplică) Puncte esenţiale privind normele internaţionale Trebuie să se acorde o atenţie deosebită gradului de adecvare a normelor internaţionale (aceeaşi limbă). În cazul în care acestea au fost atent stabilite pe baza unor eşantioane extrase de la nivelul mai multor ţări, acestea ar trebui să fie evaluate la fel ca grupurile normative naţionale (o singură limbă). În cazul în care este dată o normă non-locală, trebuie să fie oferite dovezi puternice atât pentru echivalenţa celor două versiuni ale testului, cât şi pentru justificarea utilizării acestei norme. În general, astfel de dovezi presupun studii prin care să se demonstreze echivalenţa scalară între versiunea sursă şi versiunea ţintită. Dacă astfel de detalii nu au fost raportate, atunci acest lucru ar trebui comentat în câmpul pentru comentariile evaluatorilor de la finalul secţiunii 8. O normă internaţională ar putea fi cea mai potrivită pentru aplicabilitate internaţională (i.e. compararea persoanelor care au dat testul în limbi diferite), însă pentru evaluarea acestei decizii, ar trebui luate în considerare aspectele listate mai jos. În general, pentru utilizarea unei norme internaţionale, e necesară cel puţin demonstrarea echivalenţei măsurării între versiunea sursă şi versiunea ţintită a testului. Natura eşantionului ● Omogenitatea eşantionului din punct de vedere al originii (de ex., un eşantion ce cuprinde 95% germani, 2% italieni şi 3% englezi nu este un eşantion internaţional autentic). Un eşantion poate fi calibrat în aşa fel încât să reflecte cât mai bine caracteristicile relevante. ● Omogenitatea eşantionului din punct de vedere al istoricului participanţilor şi al altor caracteristici situaţionale (ocupaţie, educaţie, circumstanţele testării etc.). Eşantioanele normative care nu pot fi evaluate din acest punct de vedere nu sunt adecvate. Tipul măsurării: ● În cazul în care măsurarea presupune puţin conţinut verbal sau absenţa unui conţinut verbal, traducerea va fi afectată foarte puţin sau deloc. Acest lucru este valabil pentru testele de performanţă şi într-o anumită măsură pentru testele de raţionament abstract şi bazate pe diagrame, pentru care impactul asupra scorurilor ar trebui să fie mai mic. Echivalenţa versiunilor testului aplicate pe eşantioane diferite din punct de vedere al limbii: ● Trebuie să existe dovezi pentru faptul că toate versiunile sunt traduse/adaptate bine. ● Există dovezi pentru faptul că unul sau mai multe grupuri au completat testul într-o limbă diferită de limba natală? Măsura în care scorurile obţinute pe eşantioane diferite sunt asemănătoare: ● Trebuie oferite date în legătură cu structura relativă a scorurilor înregistrate pe subeşantioane provenite din ţări diferite. În cazul în care sunt diferenţe mari, acestea trebuie luate în considerare, iar implicaţiile asociate trebuie discutate. De ex., dacă pe un eşantion spaniol sunt obţinute scoruri mai mari la o anumită scală comparativ cu un eşantion olandez, există vreo explicaţie despre ce înseamnă să compari membrii oricărui grup, sau un al treilea grup, cu media celor două? Există vreo interpretare pentru diferenţe? Absenţa dovezilor/datelor de acest gen trebuie comentate la secţiunea Comentariile evaluatorilor de la finalul secţiunii. Manualul instrumentului trebuie să conţină indicaţii cu privire la generalizarea etaloanelor dincolo de grupurile incluse pentru normele internaţionale: ● De ex., dacă eşantionul normativ conţine 20% germani, 20% francezi, 20% italieni, 20% englezi şi 20% olandezi, acesta poate fi folosit ca grup comparativ pentru candidaţi suedezi sau belgieni, dar nu poate fi folosit astfel pentru un grup de candidaţi chinezi.
┌─────┬───────────────────────────────────────────────────────────┐
│ │Interpretarea bazată pe norme │
│ │În cazul în care un instrument este proiectat în aşa fel │
│ │încât utilizarea lui să nu presupună raportarea la etaloane│
│ │sau la eşantioane normative (de ex. testele ipsative │
│8.1 │proiectate doar pentru comparaţii intra-individuale), │
│ │trebuie folosită categoria „nu se aplică” (şi nu cea „nu │
│ │sunt oferite informaţii”). Totuşi, evaluatorul trebuie să │
│ │evalueze dacă absenţa unor etaloane este justificată; dacă │
│ │nu, trebuie folosită categoria „nu sunt oferite │
│ │informaţii”. │
├─────┼───────────────────────────────────────────────────────────┤
│ │Adecvarea pentru uz local, indiferent dacă există etaloane │
│ │locale sau internaţionale │
│ │Ţineţi cont de faplul că, pentru testele adaptate doar │
│ │etaloanele locale (la nivel naţional) sau cele cu adevărat │
│8.1.1│internaţionale, sunt eligible pentru notele 2, 3, sau 4, │
│ │chiar dacă constructul s-a dovedit a fi echivalent │
│ │cros-cultural. În cazul în care apar probleme din punct de │
│ │vedere al invariantei măsurării ar trebui oferite etaloane │
│ │separate pentru (sub)grupuri, iar fiecare problemă trebuie │
│ │explicată. │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică. │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii. │0 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu este relevant la nivel local (de ex., eşantioane │1 │
│ │străine nepotrivite). │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion/eşantioane locale care nu se potrivesc bine cu │ │
│ │domeniul de aplicabilitate relevant, dar care pot fi │2 │
│ │folosite cu precauţie. │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantioane locale sau eşantioane internaţionale │3 │
│ │relevante pentru aplicabilitatea dorită. │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantioane locale la nivel de ţară sau eşantioane │ │
│ │internaţionale relevante extrase din populaţii │4 │
│ │bine-definite, în conformitate cu domeniul de │ │
│ │aplicabilitate relevant. │ │
├─────┼────────────────────────────────────────────────────────┴──┤
│8.1.2│Adecvarea pentru aplicaţiile dorite │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică. │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii. │0 │
│ ├────────────────────────────────────────────────────────┼──┤
│ │Etalonul sau etaloanele nu sunt adecvate pentru │1 │
│ │aplicaţiile dorite. │ │
│ ├────────────────────────────────────────────────────────┼──┤
│ │Etaloane pentru populaţia generală şi/sau tabele cu │ │
│ │intervale normative adecvate, sau etaloane adecvate │2 │
│ │pentru o parte dintre aplicaţiile dorite. │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Tabele cu intervale normative bune. │3 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │0 gamă excelentă de etaloane relevante, ce iau în │ │
│ │considerare vârsta şi genul; sunt incluse informaţii │4 │
│ │despre alte diferenţe de la nivelul grupurilor (de ex., │ │
│ │grup mixt din punct de vedere etnic). │ │
├─────┼──────────────────────────────────────┬─────────────────┼──┤
│8.1.3│Mărimea eşantioanelor (etalonarea │ │ │
│ │clasică) │ │ │
├─────┼──────────────────────────────────────┴─────────────────┴──┤
│ │Pentru majoritatea scopurilor, eşantioane mai mici de 200 │
│ │de persoane testate sunt prea mici, având în vedere că │
│ │intervalul de la extremele distribuţiei va fi mic. Eroarea │
│ │standard a mediei pentru un scor z corespunzător unui │
│ │eşantion de mărime N = 200 este 0.071 din abaterea standard│
│ │- sau doar mai bună decât un punct al unui scor T. Deşi │
│ │acest grad al lipsei de acurateţe poate avea doar │
│ │consecinţe minore la mijlocul distribuţiei, impactul asupra│
│ │extremităţilor distribuţiei poate fi destul de mare (iar │
│ │acestea ar putea fi scorurile cele mai relevante pentru │
│ │deciziile luate pe baza rezultatelor la test). În general, │
│ │dacă sunt etaloane intenţionale, din cauza eterogenităţii, │
│ │acestea trebuie să fie mai mari decât cerinţele tipice │
│ │pentru eşantioanele locale. │
├─────┼───────────────────────────────────────────────────────────┤
│ │Se folosesc diferite linii directoare atunci când mizele │
│ │sunt mici şi ridicate. În general, utilizarea ce implică │
│ │mize mari se referă la situaţia în care o decizie însemnată│
│ │se bazează cel puţin parţial pe scorul/scorurile obţinute │
│ │la test. │
├─────┼───────────────────┬──────────────────┬─────────────────┬──┤
│ │ │Utilizarea cu miză│Decizii cu miză │ │
│ │ │mică │mare │ │
├─────┼───────────────────┴──────────────────┴─────────────────┼──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii │0 │
├─────┼───────────────────┬──────────────────┬─────────────────┼──┤
│ │Mărimea │ │ │ │
│ │eşantionului │de ex. < 200 │de ex. 200-299 │1 │
│ │inadecvată │ │ │ │
├─────┼───────────────────┼──────────────────┼─────────────────┼──┤
│ │Mărimea │ │ │ │
│ │eşantionului │dc ex. 200-299 │de ex. 300-399 │2 │
│ │adecvată │ │ │ │
├─────┼───────────────────┼──────────────────┼─────────────────┼──┤
│ │Mărimea │de ex. 300-999 │de ex. 400-999 │3 │
│ │eşantionului bună │ │ │ │
├─────┼───────────────────┼──────────────────┼─────────────────┼──┤
│ │Mărimea │ │ │ │
│ │eşantionului │de ex. ≥ 1000 │de ex. ≥ 1000 │4 │
│ │excelentă │ │ │ │
├─────┼───────────────────┴──────────────────┼─────────────────┼──┤
│ │Mărimea eşantioanelor pentru etalonare│ │ │
│ │continuă │ │ │
│ ├──────────────────────────────────────┴─────────────────┴──┤
│ │Procedurile de etalonare continuă au devenit tot mai │
│ │populare. Acestea sunt folosite în special pentru testele │
│ │folosite în şcoli (de ex., clasele I-VIII) sau pentru │
│ │anumite intervale de vârstă (de ex., un test de inteligenţă│
│ │pentru vârstele de 6-16 ani). Etalonarea continuă este mai │
│ │eficientă deoarece, pentru a obţine acelaşi nivel de │
│ │acurateţe, sunt necesari mai puţin respondenţi. Bechger, │
│ │Hemker şi Maris (2009) au calculat valori ale mărimii │
│ │eşantioanelor utilizate în etalonarea continuă, în aşa fel │
│ │încât să fie asigurat acelaşi nivel de acurateţe ca în │
│ │etalonarea clasică. Atunci când sunt folosite opt │
│ │subgrupuri, N = 70 (8*70) conferă acelaşi nivel de │
│8.1.4│acurateţe ca N = 200 (8*200). În aceste situaţii, │
│ │acurateţea corespunzătoare etalonării continue este chiar │
│ │mai bună pentru grupurile din centru, dar într-o anumită │
│ │măsură mai redusă pentru grupurile din margine. Un alt │
│ │avantaj, pe lângă eficienţa mai crescută, este că valorile │
│ │pentru grupurile normative intermediare pot fi calculate pe│
│ │baza ecuaţiei de regresie. Totuşi, abordarea se bazează pe │
│ │asumpţii statistice mai degrabă stricte. Autorul testului │
│ │trebuie să arate ca aceste asumpţii au fost respectate, sau│
│ │că abaterile de la aceste asumpţii nu au consecinţe │
│ │serioase asupra acurateţei etaloanelor. │
│ │Reţineţi că în cazul în care numărul eşantioaneloi este mai│
│ │mare, numărul respondenţilor din fiecare eşantion poate fi │
│ │mai mic sau invers. Pentru deciziile cu impact mare, precum│
│ │admiterea la şcoală, numărul necesar se mută cu o treaptă │
│ │mai sus. │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii │0 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Mărimea eşantionului inadecvată (de ex., mai puţin de 8 │ │
│ │subeşantioane, maxim 69 de respondenţi în fiecare │1 │
│ │eşantion) │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Mărimea eşantionului adecvată (de ex., 8 subeşantioane, │2 │
│ │70-99 de respondenţi în fiecare eşantion) │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Mărimea eşantionului bună (de 8 subeşantioane, 100-149 │3 │
│ │respondenţi în fiecare eşantion) │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Mărimea eşantionului excelentă (de ex., 8 subeşantioane,│4 │
│ │cel puţin 150 de respondenţi în fiecare eşantion) │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│8.1.5│Proceduri pentru scîcctarea eşantionului (selectaţi una)│ │
├─────┼────────────────────────────────────────────────────────┴──┤
│ │Un eşantion normativ trebuie să fie reprezentativ pentru │
│ │grupul la care se face referire. Un eşantion poate fi │
│ │considerat reprezentativ pentru populaţia ţintită atunci │
│ │când componenţa sa este similară cu cea a populaţiei │
│ │respective, în funcţie de un număr de variabile (de ex., │
│ │vârstă, gen, educaţie), şi atunci când eşantionul este │
│ │format prin eşantionare probabilistică. Cu ajutorul acestei│
│ │modalităţi de eşantionare, şansele de includere în eşantion│
│ │sunt egale pentru fiecare membru al populaţiei. Atât în │
│ │eşantionarea probabilistică, cât şi în cea │
│ │nonprobabilistică, pot fi folosite mai multe metode. │
├─────┼───────────────────────────────────────────────────────────┤
│ │În eşantionarea probabilistică, atunci când un individ │
│ │reprezintă o unitate de selecţie, pot fi diferenţiate trei │
│ │metode: randomizare pură, selecţie sistematică (de ex., │
│ │fiecare al zecelea membru al unei populaţii) şi │
│ │stratificare (pentru unele variabile importante, precum │
│ │genul, numerele ce urmează a fi selectate sunt stabilite în│
│ │aşa fel încât să fie garantată reprezentativitatea acestor │
│ │variabile). Totuşi (de ex., din perspectiva eficienţei), │
│ │pot fi eşantionate şi grupuri de persoane (de ex, clasele │
│ │şcolare), sau se poate aplica o combinaţie între │
│ │eşantionarea la nivel de grup şi cea la nivel de individ. │
│ │În eşantionarea nonprobabilistică, pot fi diferenţiate │
│ │patru metode: eşantionare de convenienţă (se adaugă în │
│ │eşantion toate personale testate, aşa cum se procedează │
│ │pentru majoritatea eşantioanelor pentru selecţia de │
│ │personal; datele post-hoc pot fi clasificate în │
│ │subeşantioane cu sens, pe baza informaţiilor biografice şi │
│ │situaţionale), eşantionarea cotă (se procedează ca în │
│ │eşantionarea de convenienţă, cu deosebirea că se specifică │
│ │înainte numărul respondenţilor de care este nevoie în │
│ │fiecare subeşantion, aşa cum se întâmplă în cercetarea │
│ │bazată pe chestionare), eşantionarea „bulgăre de zăpadă” │
│ │(participanţii sunt prieteni/cunoştinţe, iar aceştia sunt │
│ │rugaţi să găsească la rândul lor participanţi în rândul │
│ │prietenilor/cunoştinţelor lor, etc.). şi eşantionare cu │
│ │scop (participanţii fac parte din rândul grupurilor │
│ │extreme). │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu sunt oferite informaţii │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion probabilistic randomizat │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion probabilistic - sistematic │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion probabilistic - stratificat │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion probabilistic - clusterizat │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion probabilistic - multifazic (de ex., primul │[ │
│ │cluster, urmat de randomizare la nivelul clusterelor │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion nonprobabilistic - de convenienţă │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion nonprobabilistic - cotă │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion nonprobabilivic - „bulgăre de zăpadă” │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Eşantion nonprobabilistic - cu scop │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Altul, descrieţi │[ │
│ │........................................................│] │
├─────┼────────────────────────────────────────────────────────┼──┤
│8.1.6│Reprezentativitatea eşantionului/eşantioanelor normativ │ │
│ │(e) │ │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii │0 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Reprezentativitatea nu este potrivită pentru domeniul de│ │
│ │aplicabilitate dorit sau reprezentativitatea nu poate fi│1 │
│ │stabilită adecvat pe baza informaţiilor oferite │ │
│ ├────────────────────────────────────────────────────────┼──┤
│ │Adecvată │2 │
│ ├────────────────────────────────────────────────────────┼──┤
│ │Bună │3 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Excelentă: Datele sunt colectate pe baza unei metode de │ │
│ │eşantionare probabilistică; este oferită o descriere │ │
│ │amănunţită a compoziţiei eşantionului/eşantioanelor şi a│ │
│ │populaţiei/populaţiilor, din punct de vedere al │4 │
│ │variabilelor biografice (de ex., gen, vârstă, educaţie, │ │
│ │cultură, ocupaţic); pe baza acestor variabile se poate │ │
│ │stabili o reprezentativitate bună │ │
├─────┼────────────────────────────────────────────────────────┴──┤
│8.1.7│Calitatea informaţiilor despre minoritate/diferenţe │
│ │asociate cu grupurile protejate, efectul vârstei, gen, etc.│
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii │0 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Informaţii inadecvate │1 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Informaţii generale adecvate; există o analiză minimală │2 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Descrieri şi analize bune ale grupurilor şi diferenţelor│3 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │0 gamă excelentă de analize şi discuţii privind │4 │
│ │aspectele relevante legate de utilizare şi interpretare │ │
├─────┼────────────────────────────────────────────────────────┴──┤
│8.1.8│Cât de vechi sunt studiile normative? │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii │0 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Studii inadecvate, vechi de cel puţin 20 de ani │1 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Studii adecvate, etaloanele au o vechime de 15-19 ani │2 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Studii bune, etaloanele au o vechime de 10-14 ani │3 │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Studii excelente, etaloanele au o vechime mai mică de 10│4 │
│ │ani │ │
├─────┼────────────────────────────────────────────────────────┴──┤
│8.1.9│Efectele de obişnuire/antrenament (sunt relevante doar │
│ │pentru testele de performanţă) │
├─────┼────────────────────────────────────────────────────────┬──┤
│ │Nu se aplică │n/│
│ │ │a │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Nu sunt oferite informaţii, deşi este de aşteptat să │[ │
│ │existe efecte de obişnuire/antrenament │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Sunt oferite informaţii generale │[ │
│ │ │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │Există etaloane pentru a doua aplicare a testului, după │[ │
│ │un interval test-retest obişnuit │] │
├─────┼────────────────────────────────────────────────────────┼──┤
│ │ │ │
└─────┴────────────────────────────────────────────────────────┴──┘
8.2. Interpretare bazată pe criteriu (Această subsecţiune poate fi sărită dacă nu se aplică) Pentru determinarea scorurilor critice, se pot diferenţia proceduri bazate pe judecata experţilor (aceste metode se mai numesc şi etalonare cu referire la domeniu, consultaţi subcategoria 8.2.1) şi proceduri ce presupun utilizarea datelor reale pentru a vedea relaţia dintre un rezultat la test şi un criteriu extern (numite în sens restrâns cu referire la criteriu, consultaţi subcategoria 8.2.2).
┌───────┬──────────────────────────────┐
│8.2.1 │Etalonare bazată pe domeniul │
│ │de referinţă │
├───────┼──────────────────────────────┤
│ │Dacă este folosită judecata │
│ │experţilor pentru a determina │
│ │scorul critic, sunt aceştia │
│ │selectaţi şi pregătiţi │
│ │adecvat? │
│ │Evaluatorii ar trebui să │
│ │deţină cunoştinţe privind │
│8.2.1.1│domeniul de conţinut al │
│ │testului şi ar trebui să aibă │
│ │pregătire în evaluarea │
│ │persoanelor care dau testul şi│
│ │a procedurii standard de │
│ │stabilire a scorurilor prag. │
│ │Procedura de selecţie a │
│ │evaluatorilor şi de pregătire │
│ │a lor trebuie descrisă. │
├───────┼────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
├───────┼────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
├───────┼────────────────────────────┼─┤
│ │Inadecvată │1│
├───────┼────────────────────────────┼─┤
│ │Adecvată │2│
├───────┼────────────────────────────┼─┤
│ │Bună │3│
├───────┼────────────────────────────┼─┤
│ │Excelentă │4│
├───────┼────────────────────────────┴─┤
│ │Dacă este folosită judecata │
│ │experţilor pentru a determina │
│ │scorul critic, numărul │
│ │acestora este adecvat? │
│8.2.1.2│Numărul necesar de evaluator │
│ │depinde de sarcini şi de │
│ │context. Numerele sugerate ar │
│ │trebui considerate un minim │
│ │absolut. │
├───────┼────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
├───────┼────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
├───────┼────────────────────────────┼─┤
│ │Inadecvat (mai puţin de doi │1│
│ │evaluatori) │ │
├───────┼────────────────────────────┼─┤
│ │Adecvat (doi evaluatori) │2│
├───────┼────────────────────────────┼─┤
│ │Bun (trei evaluatori) │3│
├───────┼────────────────────────────┼─┤
│ │Excelent (cel puţin patru │4│
│ │evaluatori) │ │
├───────┼────────────────────────────┴─┤
│ │Dacă este folosită judecata │
│ │experţilor pentru a determina │
│8.2.1.3│scorul critic, ce procedură │
│ │standard de stabilire a │
│ │scorurilor prag este │
│ │raportată? (selectaţi una) │
├───────┼────────────────────────────┬─┤
│ │Nedelsky │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Angoff │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Ebel │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Zieky şi Livingston (grup │[│
│ │limită) │]│
├───────┼────────────────────────────┼─┤
│ │Berk (grupuri de contrast) │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Beuk │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Hofstee │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Alta, descrieţi: │[│
│ │ │]│
├───────┼────────────────────────────┴─┤
│ │Dacă este folosită judecata │
│ │experţilor pentru a determina │
│8.2.1.4│scorul critic, ce metodă de │
│ │calculare a fidelităţii inter │
│ │evaluator este raportată? │
├───────┼────────────────────────────┬─┤
│ │Coeficientul p0 │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Coeficientul Kappa │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Coeficientul Livingston │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Coeficientul Brennan şi Kane│[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Coeficientul intra-clasă │[│
│ │ │]│
├───────┼────────────────────────────┼─┤
│ │Altul, descrieţi: │[│
│ │ │]│
├───────┼────────────────────────────┴─┤
│ │Dacă este folosită judecata │
│ │experţilor pentru a determina │
│ │scorul critic, care este │
│ │mărimea coeficienţilor de │
│8.2.1.5│fidelitate inter-evaluator (de│
│ │ex., Kappa sau ICC)? │
│ │În literatura de specialitate │
│ │ştiinţifică nu există │
│ │standarde clare pentru │
│ │interpretarea acestor │
├───────┤coeficienţi, deşi în general │
│ │valorile sub 60 sunt │
│ │considerate insuficiente. Mai │
│ │jos este urmărită clasificarea│
│ │lui Shrout (1998). │
│ │Clasificarea trebuie utilizată│
│ │cu o anumită precauţie, pentru│
│ │că prevalenţa sau rata de bază│
│ │pot afecta valoarea lui Kappa.│
│ │ │
├───────┼────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
├───────┼────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
├───────┼────────────────────────────┼─┤
│ │Inadecvată (de ex., r < │1│
│ │0.60) │ │
├───────┼────────────────────────────┼─┤
│ │Adecvată (de ex., 0.60 ≤ r <│2│
│ │0.70) │ │
├───────┼────────────────────────────┼─┤
│ │Bună (de ex., 0.70 ≤r< 0.80)│3│
├───────┼────────────────────────────┼─┤
│ │Excelentă (de ex., r ≥0.80) │4│
├───────┼────────────────────────────┴─┤
│8.2.1.6│Cât de vechi sunt studiile │
│ │normative? │
├───────┼────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
├───────┼────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
├───────┼────────────────────────────┼─┤
│ │Studii inadecvate, vechi de │1│
│ │cel puţin 20 de ani │ │
├───────┼────────────────────────────┼─┤
│ │Studii adecvate, etaloanele │2│
│ │au o vechime de 15-19 ani │ │
├───────┼────────────────────────────┼─┤
│ │Studii bune, etaloanele au o│3│
│ │vechime de 10-14 ani │ │
├───────┼────────────────────────────┼─┤
│ │Studii excelente, etaloanele│ │
│ │au o vechime mai mică de 10 │4│
│ │ani │ │
├───────┼────────────────────────────┴─┤
│ │Efecte de obişnuire/ │
│8.2.1.7│antrenament (relevant doar │
│ │pentru testele de performanţă)│
├───────┼────────────────────────────┬─┤
│ │Nu sunt oferite informaţii, │ │
│ │deşi e de aşteptat să existe│[│
│ │efecte de obişnuire/ │]│
│ │antrenament │ │
├───────┼────────────────────────────┼─┤
│ │Sunt oferite informaţii │[│
│ │generale │]│
├───────┼────────────────────────────┼─┤
│ │Există etaloane pentru a │ │
│ │doua aplicare a testului, │[│
│ │după un interval test-retest│]│
│ │obişnuit │ │
├───────┼────────────────────────────┴─┤
│8.2.2 │Etalonarea bazată pe criteriu │
├───────┼──────────────────────────────┤
│ │Dacă scorul critic se bazează │
│ │pe cercetări empirice, ce │
│ │rezultate au fost obţinute şi │
│ │care este calitatea acestor │
│ │cercetări? │
│ │Pentru a răspunde la această │
│ │întrebare, nu pot fi oferite │
│ │indicaţii explicite cu privire│
│ │la ce înseamnă o relaţie │
│ │acceptabilă. Aceasta nu doar │
│ │pentru că ceea ce e considerat│
│ │„mare” sau „mic” poate să fie │
│ │diferit pentru fiecare │
│ │criteriu prezis, dar şi pentru│
│ │că rezultatele predicţiei vor │
│ │fi influenţate de alte │
│ │variabile, precum rata de bază│
│ │sau prevalenţa. De aceea, │
│ │evaluatorul trebuie să se │
│ │bazeze pe expertiza sa. De │
│8.2.2.1│asemenea, trebuie luate în │
│ │considerare compoziţia şi │
│ │mărimea eşantionului folosit │
│ │pentru aceste cercetări (este │
│ │acest eşantion similar cu │
│ │grupul pe care îl ţinteşte │
│ │testul, este mai eterogen, sau│
│ │mai omogen?). │
│ ├────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
│ ├────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
│ ├────────────────────────────┼─┤
│ │Inadecvate │1│
│ ├────────────────────────────┼─┤
│ │Adecvate │2│
│ ├────────────────────────────┼─┤
│ │Bune │3│
│ ├────────────────────────────┼─┤
│ │Excelente │4│
├───────┼────────────────────────────┴─┤
│ │Cât de vechi sunt studiile │
│ │normative? │
│ ├────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
│ ├────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
│ ├────────────────────────────┼─┤
│ │Studii inadecvate, vechi de │1│
│8.2.2.2│cel puţin 20 de ani │ │
│ ├────────────────────────────┼─┤
│ │Studii adecvate, etaloanele │2│
│ │au o vechime de 15-19 ani │ │
│ ├────────────────────────────┼─┤
│ │Studii bune, etaloanele au o│3│
│ │vechime de 10-14 ani │ │
│ ├────────────────────────────┼─┤
│ │Studii excelente, etaloanele│ │
│ │au o vechime mai mică de 10 │4│
│ │ani │ │
├───────┼────────────────────────────┴─┤
│ │Efecte de obişnuire/ │
│ │antrenament (relevant doar │
│ │pentru testele de performanţă)│
│ ├────────────────────────────┬─┤
│ │Nu sunt oferite informaţii, │ │
│ │deşi e de aşteptat să existe│[│
│ │efecte de obişnuire/ │]│
│8.2.2.3│antrenament │ │
│ ├────────────────────────────┼─┤
│ │Sunt oferite informaţii │[│
│ │generale │]│
│ ├────────────────────────────┼─┤
│ │Există etaloane pentru a │ │
│ │doua aplicare a testului, │[│
│ │după un interval test-retest│]│
│ │obişnuit │ │
├───────┼────────────────────────────┴─┤
│ │Adecvarea generală │
│ │Această evaluare globală se │
│ │obţine analizând evaluările │
│ │oferite la itemii 8.1- │
│ │8.2.2.3. │
│ │Evaluarea generală pentru │
│ │interpretarea bazata pe │
│ │domeniu1 de referinţă nu poate│
│ │fi în niciun caz mai bună │
│ │decât evaluarea la itemul │
│ │privind mărimea eşantionului, │
│ │dar poate fi mai slabă în │
│ │funcţie de celelalte │
│ │informaţii. Dintre aceste │
│ │informaţii, sunt relevante în │
│ │special informaţiile despre │
│ │reprezentativitate şi vechimea│
│ │etaloanelor. │
│ │Dacă sunt folosite eşantionare│
│ │normative nonprobabilistice, │
│ │calitatea etaloanelor poate să│
│ │primească maxim calificativul │
│ │„adecvat", dar aceasta numai │
│ │dacă descrierea eşantionului │
│ │normativ reflecta faptul că │
│ │distribuţia variabilelor │
│ │relevante este similară cu cea│
│ │a grupului ţintă sau la care │
│ │se face referire. Evaluarea │
│ │globală ar trebui să reflecte │
│ │caracteristicile celor mai │
│ │importante norme, mai degrabă │
│ │decât media tuturor. │
│ │Evaluarea globală pentru │
│ │interpretarea bazată pe │
│8.3 │criteriu, pentru care au fost │
│ │folosiţi evaluatori pentru │
│ │determinarea scorului critic, │
│ │nu poate fi în niciun caz mai │
│ │bună decât evaluarea nivelului│
│ │de fidelitate inter-evaluator,│
│ │dar poate fi mai slabă în │
│ │funcţie de celelalte │
│ │informaţii oferite. Dintre │
│ │aceste informaţii, sunt │
│ │importante în special │
│ │aplicarea corectă a metodei în│
│ │cauză, precum şi calitatea, │
│ │pregătirea şi numărul │
│ │evaluatorilor. Dacă scorul │
│ │critic este bazat pe cercetări│
│ │empirice, evaluarea nu poate │
│ │fi în niciun caz mai bună │
│ │decât evalurea pentru itemul │
│ │8.2.2.1, dar poate fi mai │
│ │slabă, dacă studiile sunt prea│
│ │vechi. │
│ ├────────────────────────────┬─┤
│ │ │n│
│ │Nu se aplică │/│
│ │ │a│
│ ├────────────────────────────┼─┤
│ │Nu sunt oferite informaţii │0│
│ ├────────────────────────────┼─┤
│ │Inadecvat │1│
│ ├────────────────────────────┼─┤
│ │Adecvat │2│
│ ├────────────────────────────┼─┤
│ │Bine │3│
│ ├────────────────────────────┼─┤
│ │Excelent │4│
├───────┴────────────────────────────┴─┤
│Comentariile evaluatorilor cu privire │
│la etaloane: Scurt raport privind │
│etaloanele şi istoricul lor, inclusiv │
│informaţii despre dispoziţiile date de│
│editură/editor sau autor pentru │
│actualizarea etaloanelor în mod │
│frecvent. Comentariile referitoare la │
│normele non-locale ar trebui făcute │
│aici. │
└──────────────────────────────────────┘
9. Fidelitatea Instrucţiuni generale privind notarea acestei secţiuni Fidelitatea se referă la măsura în care scorurile nu prezintă varianţă a erorii de măsurare (ex., un interval de eroare de măsurare aşteptată). Pentru fidelitate, instrucţiunile sunt bazate pe nevoia de a avea o eroare standard mică a estimărilor fidelităţii. Criteriile de instructaj pentru fidelitate sunt prezentate în legătură cu două contexte separate: utilizarea instrumentelor în luarea deciziilor despre grupuri de oameni (ex., diagnoză organizaţională) şi utilizarea lor pentru realizarea evaluărilor individuale. Cerinţele fidelităţii sunt mai mari pentru cea de-a-doua situaţie, decât pentru prima. Alţi factori pot, de asemenea, afecta cerinţele fidelităţii, precum tipul de decizie luată şi dacă scalele sunt interpretate de sine stătător, sau agregate împreună cu alte scale într-o scală compozită. În cel de-al doilea caz, fidelitatea compozitului ar trebui să reprezinte focusul pentru notare, nu fidelităţile componentelor. Atunci când un instrument a fost tradus şi/sau adaptat pentru un context non-local, se pot aplica dovezi de fidelitate ale versiunii originale în sprijinul calităţii versiunii traduse/adaptate. În acest caz ar trebui propusă dovada echivalenţei măsurii într-o nouă limbă faţă de cea originală. Pentru consistenţa internă, sunt preferabile dovezi ale fidelităţii bazate pe grupuri locale, deoarece aceste tipuri de dovezi sunt mai acurate şi de obicei mai uşor de obţinut. Pentru instrucţiuni cu privire la stabilirea echivalenţei, vezi introducerea secţiunii despre Validitate. În Anexă este prezentat un ghid al punctelor critice în cazul unui instrument tradus şi/sau adaptat dintr-un context non-local. Aceste note oferă instrucţiuni legate de valorile care pot fi asociate cu o evaluare inadecvată, adecvată, bună sau excelentă, însă sunt intenţionate doar ca ghid. Natura instrumentului, zona de aplicare, calitatea datelor pe baza cărora se estimează fidelitatea şi tipurile de decizii pentru care urmează să fie folosit instrumentul ar trebui să influenţeze felul în care se realizează evaluarea. În anumite condiţii, o fidelitate de 0.70 este bună; în alte condiţii, ar fi inadecvată. Din aceste considerente, judecata şi expertiza reviewer-ului, sunt importante. Pentru a oferi o idee legat de intervalul şi distribuţia valorilor asociate cu diferitele scale care compun un instrument, se introduce numărul de scale în fiecare secţiune. Spre exemplu, dacă un instrument utilizat pentru decizii la nivel de grup ar avea 15 scale, dintre care cinci au fidelitate retest mai scăzută de 0.6, şase între 0.60 şi 0.70 şi celelalte patru în intervalul 0.70-0.80, stabilitatea mediană poate fi considerată ca fiind "adecvată" (fiind categoria în care se situează/cade valoarea mediană de 15). Dacă este vizat mai mult de un singur studiu, trebuie computată întâi valoarea mediană per scală, luând în considerare mărimile eşantionului; în anumite cazuri pot fi disponibile rezultate din meta-analize, care pot fi judecate în acelaşi fel. Acestea ar fi introduse ca:
┌─────────────────────┬─────────────┬──┐
│ │Număr de │ │
│Stabilitate │scale │M*│
│ │(dacă se │ │
│ │aplică) │ │
├─────────────────────┼─────────────┼──┤
│Nicio informaţie │[-] │0 │
│oferită │ │ │
├─────────────────────┼─────────────┼──┤
│Inadecvat (ex., r │[5] │1 │
│<0.60) │ │ │
├─────────────────────┼─────────────┼──┤
│Adecvat (ex., 0,60≤r │[6] │2 │
│<0.70) │ │ │
├─────────────────────┼─────────────┼──┤
│Bun (ex., 0.70≤r │[4] │3 │
│<0.80) │ │ │
├─────────────────────┼─────────────┼──┤
│Excelent (ex., │[0] │4 │
│r≥0.80) │ │ │
└─────────────────────┴─────────────┴──┘
Notă: * M = stabilitate mediană Pentru fiecare evaluare posibilă sunt oferite exemple de valori exclusiv ca ghid - mai ales distincţiile dintre "Adecvat", "Bun" şi "Excelent". Pentru decizii cu miză mare, precum în selecţia de personal, aceste valori oferite ca exemple vor fi cu .10 mai mari. Cu toate acestea, merită menţionat faptul că deciziile sunt deseori bazate pe scorurile scalelor agregate. Agregatele pot avea fidelităţi mult mai mari decât scalele lor componente primare. Spre exemplu, scalele primare din cadrul unui instrument multiscalar pot avea fidelităţi în jur de 0.70, în timp ce scale agregate secundare Big Five bazate pe acestea pot avea fidelităţi de 0.90. Manualele bune de test vor raporta atât fidelităţile scalelor secundare, cât şi pe cele ale celor primare. Deoarece cifrele mediane efective pot fi imposibil de calculat în multe cazuri, ceea ce se cere este cel mai bun estimat, conform informaţiei oferite în documentare. Există spaţiu pentru a adăuga comentarii. Puteţi nota aici orice preocupare aveţi legat de acurateţea estimărilor dvs. Spre exemplu, în anumite cazuri, un nivel foarte înalt de consistenţă intensă poate fi comentat ca indicând un "specific umflat".
┌─────┬────────────────────────────────┐
│9 │Fidelitate │
├─────┼────────────────────────────────┤
│9.1 │Date oferite despre fidelitate │
│ │(selectaţi două dacă se aplică) │
├─────┼───────────────────────────┬────┤
│ │Nicio informaţie oferită │[ ] │
├─────┼───────────────────────────┼────┤
│ │Doar un coeficient de │ │
│ │fidelitate oferit (pentru │[ ] │
│ │fiecare scală sau subscală)│ │
├─────┼───────────────────────────┼────┤
│ │Doar un estimat al erorii │ │
│ │standard de masurare oferit│[ ] │
│ │(pentru fiecare scală sau │ │
│ │subscală) │ │
├─────┼───────────────────────────┼────┤
│ │Coeficienţi de fidelitate │ │
│ │pentru un număr de grupuri │[ ] │
│ │diferite (pentru fiecare │ │
│ │scală sau subscală) │ │
├─────┼───────────────────────────┼────┤
│ │Eroarea standard de │ │
│ │măsurare oferită pentru un │ │
│ │număr de grupuri diferite │[ ] │
│ │(pentru fiecare scală sau │ │
│ │subscală) │ │
├─────┼───────────────────────────┼────┤
│9.2 │Consistenţa internă │ │
├─────┼───────────────────────────┴────┤
│ │Utilizarea coeficienţilor de │
│ │consistenţă internă nu este │
│ │sensibilă în evaluarea │
│ │fidelităţii testelor de viteză, │
│ │scalelor heterogene (scalele │
│ │empirice sau scalele │
│ │criteriu-cheie; Cronbach, 1970),│
│ │indicatorilor efectului │
│ │(Nunnally & Bernstein, 1994) şi │
│ │trăsăturilor emergente │
│ │(Schneider & Hough, 1995). În │
│ │aceste cazuri, toţi itemii │
│ │referitori la consistenţa │
│ │internă ar trebui marcaţi cu │
│ │"neaplicabil”. De asemenea, este│
│ │eronată ca metodă de estimare a │
│ │fidelităţii scalelor ipsative. │
│ │Forme alternative sau măsuri de │
│ │retest sunt mai potrivite pentru│
│ │aceste tipuri de scale. │
│ │Coeficienţii de consistenţă │
│ │internă oferă o estimare mai │
│ │bună a fidelităţii decât │
│ │coeficienţii half-split │
│ │corectaţi cu formula │
│ │Spearman-Brown. Aşadar, │
│ │utilizarea half-split este │
│ │justificată doar atunci când, │
│ │din diferite motive, informaţia │
│ │despre răspunsuri la itemi │
│ │individuali nu este disponibilă.│
│ │Coeficienţii half-split pot fi │
│ │raportaţi în itemul 9.7 (Alte │
│ │metode). │
├─────┼────────────────────────────────┤
│9.2.1│Mărimea eşantionului │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Un studiu inadecvat (ex., │1 │
│ │eşantion mai mic de 100) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu adecvat (ex., │2 │
│ │eşantion de 100-200) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu mare (ex., │ │
│ │eşantion mai mare de 200) │3 │
│ │sau mai mult decât adecvat │ │
│ │ca mărime │ │
├─────┼───────────────────────────┼────┤
│ │O gamă largă de studii / un│4 │
│ │număr mare de studii │ │
├─────┼───────────────────────────┴────┤
│ │Tipul de coeficienţi raportaţi │
│9.2.2│(selectaţi atâţia câţi sunt │
│ │aplicabili) │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Coeficient alpha sau KR-20 │[ ] │
├─────┼───────────────────────────┼────┤
│ │Lambda-2 │[ ] │
├─────┼───────────────────────────┼────┤
│ │Cea mai mare limită │[ ] │
│ │inferioară │ │
├─────┼───────────────────────────┼────┤
│ │Omega (analiză factorială) │[ ] │
├─────┼───────────────────────────┼────┤
│ │Theta (analiză factorială))│[ ] │
├─────┼───────────────────────────┼────┤
│ │Alţii, descrieţi: │[ ] │
│ │..................... │ │
├─────┼───────────────┬───────────┼────┤
│ │ │Numărul de │ │
│9.2.3│Mărimea │scale │M* │
│ │coeficienţilor │(dacă e │ │
│ │ │aplicabil) │ │
├─────┼───────────────┴───────────┼────┤
│ │Neaplicabil │n/a │
├─────┼───────────────┬───────────┼────┤
│ │Nicio │ │ │
│ │informaţie │[ ] │0 │
│ │oferită │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Inadecvat (ex ,│[ ] │1 │
│ │r < 0.70) │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Adecvat (ex., │ │ │
│ │0.70 ≤ r < │[ ] │2 │
│ │0.80) │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Bun (ex., 0.80 │[ ] │3 │
│ │≤r< 0.90) │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Excelent (ex., │[ ] │4 │
│ │r ≥0.90) │ │ │
├─────┼───────────────┴───────────┴────┤
│ │Coeficienţii de fidelitate sunt │
│9.2.4│raportaţi cu eşantioane care │
│ │.... (selectaţi una) │
├─────┼───────────────────────────┬────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai favorabili (ex., │ │
│ │creştere prin │ │
│ │heterogenitate artificială)│ │
├─────┼───────────────────────────┼────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │[ ] │
│ │dar efectul asupra mărimii │ │
│ │coeficienţilor este neclar │ │
│ ├───────────────────────────┼────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai puţin favorabili (ex., │ │
│ │scădere prin restricţia │ │
│ │intervalului) │ │
│ ├───────────────────────────┼────┤
│ │.... Se potrivesc cu │[ ] │
│ │subiecţii evaluaţi vizaţi │ │
│ ├───────────────────────────┼────┤
│ │Inaplicabil │n/a │
├─────┼───────────────────────────┴────┤
│ │Fidelitate test-retest - │
│ │stabilitate temporală │
│ │Test-retest se referă la │
│ │intervale relativ scurte de │
│ │timp, în timp ce stabilitatea │
│ │temporală se referă la intervale│
│ │mai lungi, în care o mai mare │
│ │schimbare este acceptabilă. Mai │
│ │ales pentru testele utilizate │
│ │pentru predicţii pe perioade │
│ │lungi de timp, ambele aspecte │
│ │sunt relevante. Pentru a evalua │
│9.3 │stabilitatea temporală, poate fi│
│ │necesar mai mult de un singur │
│ │retest. │
│ │Utilizarea unui design de tip │
│ │test-retest nu este sensibilă │
│ │pentru evaluarea fidelităţii │
│ │măsurilor de stare (de fapt un │
│ │coeficient mare de test-retest │
│ │ar invalida caracterul de stare │
│ │al testului). În acest caz, toţi│
│ │itemii referitori la fidelitatea│
│ │test-retest ar trebui marcaţi ca│
│ │”Neaplicabili” │
├─────┼────────────────────────────────┤
│ │Mărimea eşantionului │
│ ├───────────────────────────┬────┤
│ │Neaplicabil │n/a │
│ ├───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
│ ├───────────────────────────┼────┤
│ │Un studiu inadecvat (ex., │1 │
│ │eşantion mai mic de 100) │ │
│ ├───────────────────────────┼────┤
│9.3.1│Un studiu adecvat (ex., │2 │
│ │eşantion de 100-200) │ │
│ ├───────────────────────────┼────┤
│ │Un studiu mare (ex., │ │
│ │eşantion mai mare de 200) │3 │
│ │sau mai mult decât adecvat │ │
│ │ca mărime │ │
│ ├───────────────────────────┼────┤
│ │O gamă largă de studii /un │4 │
│ │număr mare de studii │ │
├─────┼───────────────┬───────────┼────┤
│ │ │Numărul de │ │
│ │Mărimea │scale │M* │
│ │coeficienţilor │(dacă e │ │
│ │ │aplicabil) │ │
│ ├───────────────┴───────────┼────┤
│ │Neaplicabil │n/a │
│ ├───────────────┬───────────┼────┤
│9.3.2│Nicio │ │ │
│ │informaţie │[ ] │0 │
│ │oferită │ │ │
│ ├───────────────┼───────────┼────┤
│ │Inadecvat (ex.,│[ ] │1 │
│ │r < 0.70) │ │ │
│ ├───────────────┼───────────┼────┤
│ │Adecvat (ex., │[ ] │2 │
│ │0.70 ≤r< 0.80) │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Bun (ex., 0.80≤│[ ] │3 │
│ │r< 0.90) │ │ │
├─────┼───────────────┼───────────┼────┤
│ │Excelcnt (ex., │[ ] │4 │
│ │r ≥ 0.90) │ │ │
├─────┼───────────────┴───────────┴────┤
│ │Date oferite despre intervalul │
│9.3.3│de test-retest interval │
│ │(selectaţi sau scrieţi │
│ │intervalul de test-retest) │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio informaţie oferită │[ ] │
├─────┼───────────────────────────┼────┤
│ │Intervalul este: │....│
├─────┼───────────────────────────┴────┤
│ │Coeficienţii de fidelitate sunt │
│9.3.4│raportaţi cu eşantioane care │
│ │........ (selectati una) │
├─────┼───────────────────────────┬────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai favorabili (ex., │ │
│ │creştere prin │ │
│ │heterogenitate artificială)│ │
├─────┼───────────────────────────┼────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │[ ] │
│ │dar efectul asupra mărimii │ │
│ │coeficienţilor este neclar │ │
├─────┼───────────────────────────┼────┤
│ │.... Nu sc potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai puţin favorabili (ex., │ │
│ │scădere prin restricţia │ │
│ │intervalului) │ │
├─────┼───────────────────────────┼────┤
│ │.... Se potrivesc cu │[ ] │
│ │subiecţii evaluaţi vizaţi │ │
├─────┼───────────────────────────┼────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Fidelitate echivalentă │ │
│9.4 │(paralelă sau forme │ │
│ │alternative) │ │
├─────┼───────────────────────────┼────┤
│9.4.1│Mărimea eşantionulu. │ │
├─────┼───────────────────────────┼────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio infomaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Un studiu inadecvat (ex., │1 │
│ │eşantion mai mic de 100) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu adecvat (ex., │2 │
│ │eşantion de 100-200) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu mare (ex., │ │
│ │eşantion mai mare de 200) │3 │
│ │sau mai mult decât adecvat │ │
│ │ca mărime │ │
├─────┼───────────────────────────┼────┤
│ │O gamă largă de studii / un│4 │
│ │număr mare de studii │ │
├─────┼───────────────────────────┴────┤
│ │Sunt îndeplinite asumpţiile │
│ │pentru paralelism* pentru │
│ │versiuni diferite ale testului │
│ │căruia i se investighează │
│9.4.2│fidelitatea echivalentă? │
│ │* Testele pot fi considerate │
│ │teste/forme paralele dacă în │
│ │cadrul aceluiaşi grup scorurile │
│ │medii, varianţele şi corelaţiile│
│ │cu alte teste sunt aceleaşi. │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Inadecvat │1 │
├─────┼───────────────────────────┼────┤
│ │Adecvat │2 │
├─────┼───────────────────────────┼────┤
│ │Bun │3 │
├─────┼───────────────────────────┼────┤
│ │Excelent │4 │
├─────┼────────────────┬──────────┼────┤
│ │ │Numărul de│ │
│9.4.3│Mărimea │scale │M* │
│ │coeficienţilor │(dacă e │ │
│ │ │aplicabil)│ │
├─────┼────────────────┴──────────┼────┤
│ │Neaplicabil │n/a │
├─────┼────────────────┬──────────┼────┤
│ │Nicio informaţie│[ ] │0 │
│ │oferită │ │ │
├─────┼────────────────┼──────────┼────┤
│ │Inadecvat (ex., │[ ] │1 │
│ │r < 0.70) │ │ │
├─────┼────────────────┼──────────┼────┤
│ │Adecvat (ex., │[ ] │2 │
│ │0.70 ≤r< 0.80) │ │ │
├─────┼────────────────┼──────────┼────┤
│ │Bun (ex., 0.80 │[ ] │3 │
│ │≤r< 0.90; │ │ │
├─────┼────────────────┼──────────┼────┤
│ │Excelent (ex., r│[ ] │4 │
│ │≥ 0.90) │ │ │
├─────┼────────────────┴──────────┴────┤
│ │Coeficienţii de finalitate sunt │
│9.4.4│raportaţi cu eşantioane care │
│ │.... (selectaţi una) │
├─────┼───────────────────────────┬────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai favorabili (ex., │ │
│ │creştere prin │ │
│ │heterogenitate artificială)│ │
├─────┼───────────────────────────┼────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │[ 1 │
│ │dar efectul asupra mărimii │ │
│ │coeficienţilor este neclar │ │
├─────┼───────────────────────────┼────┤
│ │.... Nu se potrivesc cu │ │
│ │subiecţii evaluaţi vizaţi, │ │
│ │conducând la coeficienţi │[ ] │
│ │mai puţin favorabili (ex., │ │
│ │scădere prin restricţia │ │
│ │intervalului) │ │
├─────┼───────────────────────────┼────┤
│ │.... Se potrivesc cu │[ ] │
│ │subiecţii evaluaţi vizaţi │ │
├─────┼───────────────────────────┼────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┴────┤
│9.5 │Metoda bazată pe TR1 (Teoria │
│ │răspunsului la item)*3 │
├─────┼───────────────────────────┬────┤
│9.5.1│Mărimea eşantionului │ │
├─────┼───────────────────────────┴────┤
│ │Este dificil de oferit un ghid │
│ │uniform pentru adecvarea mărimii│
│ │eşantioanelor în cazul metodelor│
│ │TRI pentru estimarea │
│ │fidelităţii, deoarece cerinţele │
│ │sunt diferite în funcţie de │
│ │formatul de răspuns la item şi │
│ │de modelul de răspuns la item. │
│ │În funcţie de modelul utilizat, │
│ │valorile minime pentru mărimi │
│ │adecvate ale eşantionului sunt │
│ │200 pentru studii cu 1 │
│ │parametru, 400 pentru studii cu │
│ │2 parametrii şi 700 pentru │
│ │studii cu 3 parametrii (conform │
│ │Parshall, Davey, Spray, & │
│ │Kalohn, 2001). Aceste valori se │
│ │aplică modelelor dihotomice, dar│
│ │pot reprezenta un ghid pentru │
│ │evaluator atunci când sunt │
│ │utilizate modele politomice, │
│ │pentru care mărimea eşantionului│
│ │poate fi mai mică. │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Un studiu inadecvat │1 │
├─────┼───────────────────────────┼────┤
│ │Un studiu adecvat │2 │
├─────┼───────────────────────────┼────┤
│ │Un studiu mare sau mai mult│3 │
│ │decât adecvat ca mărime │ │
├─────┼───────────────────────────┼────┤
│ │O gamă largă de studii / un│4 │
│ │număr mare de studii │ │
├─────┼───────────────────────────┼────┤
│ │Tipuri de coeficienţi │ │
│9.5.2│raportaţi (selectaţi pe cât│ │
│ │de mulţi aplicabili) │ │
├─────┼───────────────────────────┴────┤
│ │Prima metodă oferă fidelitatea │
│ │trăsăturii latente estimate │
│ │care, în TRI, înlocuieşte scorul│
│ │adevărat estimat, de ex., scorul│
│ │la test (vezi Embretson & Reise,│
│ │2000). A doua metodă este bazată│
│ │pe informaţie despre itemi │
│ │individuali şi oferă un estimat │
│ │al fidelităţii atunci când │
│ │cerinţele tipice petru TRI sunt │
│ │îndeplinite (Mokken, 1971). A │
│ │treia metodă oferă un estimat al│
│ │acurateţei măsurătorii în │
│ │funcţie de poziţia trăsăturii │
│ │latente. │
├─────┼───────────────────────────┬────┤
│ │Fidelitatea trăsăturii │[ ] │
│ │latente estimate │ │
├─────┼───────────────────────────┼────┤
│ │Rho │[ ] │
├─────┼───────────────────────────┼────┤
│ │Funcţia informaţiei │[ ] │
├─────┼───────────────────────────┼────┤
│ │Altele, descrieţi: │[ ] │
├─────┼───────────────────────────┼────┤
│ │Neaplicabil │n/a │
├─────┼─────────────────┬─────────┼────┤
│ │Mărimea │ │ │
│ │coeficienţilor │ │ │
│ │(bazată pe │ │ │
│ │lungimea testului│ │ │
│ │final) │ │ │
│ │Atât │ │ │
│ │instrucţiunile │ │ │
│ │pentru │ │ │
│ │coeficienţii de │ │ │
│ │fidelitate │ │ │
│ │(inclusiv rho), │ │ │
│ │cât şi pentru │ │ │
│ │funcţia │ │ │
│ │informaţiei, sunt│ │ │
│ │oferite. │ │ │
│ │Instrucţiunile │ │ │
│ │pentru funcţia │ │ │
│ │informaţiei sunt │ │ │
│ │bazate pe cele │ │ │
│ │ale │ │ │
│ │coeficienţilor de│ │ │
│ │fidelitate din │ │ │
│ │moment ce │ │ │
│ │Informaţia = 1/ │ │ │
│ │SE2, şi conform │ │ │
│ │unor asumpţii │ │ │
│ │generale, r = 1 -│ │ │
│ │SE2. Luaţi aminte│ │ │
│ │că SE şi valorile│ │ │
│ │informaţiei sunt │ │ │
│ │dependente de │ │ │
│ │valoarea │ │ │
│ │trăsăturii │ │ │
│ │latente şi că │ │ │
│ │fiecare test are │Număr de │ │
│ │un interval în │scale │ │
│9.5.3│care valoarea │(dacă se │M* │
│ │informaţiei este │aplică) │ │
│ │optimă. Evaluarea│ │ │
│ │nu ar trebui să │ │ │
│ │fie bazată în mod│ │ │
│ │aprioric pe │ │ │
│ │această valoare │ │ │
│ │optimă, ci pe │ │ │
│ │valoarea │ │ │
│ │informaţiei │ │ │
│ │scorului sau a │ │ │
│ │intervalului de │ │ │
│ │scoruri care au │ │ │
│ │importanţă │ │ │
│ │specifică (ex., │ │ │
│ │scoruri critice).│ │ │
│ │Pentru aceste │ │ │
│ │scoruri, valoarea│ │ │
│ │informaţiei poate│ │ │
│ │fi optimă, dar nu│ │ │
│ │neapărat. Dacă nu│ │ │
│ │există astfel de │ │ │
│ │scoruri, │ │ │
│ │evaluarea ar │ │ │
│ │trebui să se │ │ │
│ │bazeze pe │ │ │
│ │valoarea medie a │ │ │
│ │informaţiei (vezi│ │ │
│ │şi Reise & │ │ │
│ │Havilund, 2005). │ │ │
│ │Deoarece nu │ │ │
│ │există multă │ │ │
│ │experienţă cu │ │ │
│ │aceste procedee, │ │ │
│ │recomandăm │ │ │
│ │utilizarea lor cu│ │ │
│ │precauţie. │ │ │
├─────┼─────────────────┴─────────┼────┤
│ │Neaplicabil │n/a │
├─────┼─────────────────┬─────────┼────┤
│ │Nicio informaţie │[ ] │0 │
│ │oferită │ │ │
├─────┼─────────────────┼─────────┼────┤
│ │Inadecvat (ex., r│ │ │
│ │< 0.70; │[ ] │1 │
│ │informaţie < │ │ │
│ │3.33) │ │ │
├─────┼─────────────────┼─────────┼────┤
│ │Adecvat (ex., │ │ │
│ │0.70 ≤r < 0.80; │[ ] │2 │
│ │3.33 ≤informaţie │ │ │
│ │< 5.00) │ │ │
├─────┼─────────────────┼─────────┼────┤
│ │Bun (ex., 0.80 ≤ │ │ │
│ │r < 0.90; 5.00 ≤ │[ ] │3 │
│ │informaţie < │ │ │
│ │10.00) │ │ │
├─────┼─────────────────┼─────────┼────┤
│ │Excelent (ex., r │ │ │
│ │≥ 0.90; │[ ] │4 │
│ │informaţie ≥ │ │ │
│ │10.00) │ │ │
├─────┼─────────────────┴─────────┴────┤
│ │Fidelitate inter-evaluator │
│ │Dacă scorarea unui test nu │
│ │implică procese de judecată │
│ │(ex., simpla sumă a scorurilor │
│ │unor itemi cu răspuns multiplu),│
│ │acest tip de fidelitate ar │
│9.6 │trebui marcat ca ”Neaplicabil” │
│ │Deşi fidelitatea inter-evaluator│
│ │s-ar putea să nu se aplice unui │
│ │test per total, se poate aplica │
│ │unuia sau mai multor subteste │
│ │(ex., anumite subteste ale unui │
│ │test de inteligenţă). │
├─────┼────────────────────────────────┤
│9.6.1│Mărimea eşantionului │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Un studiu inadecvat (ex., │1 │
│ │eşantion mai mic de 100) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu adecvat (ex., │2 │
│ │eşantion de 100-200) │ │
├─────┼───────────────────────────┼────┤
│ │Un studiu mare (ex., │ │
│ │eşantion mai mare de 200) │3 │
│ │sau mai mult decât adecvat │ │
│ │ca mărime │ │
├─────┼───────────────────────────┼────┤
│ │O gamă largă de studii / un│4 │
│ │număr mare de studii │ │
├─────┼───────────────────────────┴────┤
│ │Tipul de coeficienţi raportaţi │
│9.6.2│(selectaţi atâţia câţi sunt │
│ │aplicabili) │
├─────┼───────────────────────────┬────┤
│ │Neaplicabil │n/a │
├─────┼───────────────────────────┼────┤
│ │Procentaj de agreere │[ ] │
├─────┼───────────────────────────┼────┤
│ │Coeficient Kappa │[ ] │
├─────┼───────────────────────────┼────┤
│ │Corelaţie Intra-Clasă │[ ] │
├─────┼───────────────────────────┼────┤
│ │Coeficient Iota │[ ] │
├─────┼───────────────────────────┼────┤
│ │Altul, descrie: │[ ] │
├─────┼─────────────────┬─────────┼────┤
│ │Mărimea │ │ │
│ │coeficienţilor │ │ │
│ │Pentru anumite │ │ │
│ │metode menţionate│Număr de │ │
│ │la 9.6.2 alocarea│scale │ │
│9.6.3│punctajelor s-ar │(dacă se │M* │
│ │putea să nu fie │aplică) │ │
│ │aplicabilă, │ │ │
│ │deoarece nu │ │ │
│ │există niciun r │ │ │
│ │computat. │ │ │
├─────┼─────────────────┴─────────┼────┤
│ │Neaplicabil │n/a │
├─────┼─────────────────┬─────────┼────┤
│ │Nicio informaţie │[ ] │0 │
│ │oferită │ │ │
├─────┼─────────────────┼─────────┼────┤
│ │Inadecvat (ex., r│[ ] │1 │
│ │< 0.60) │ │ │
│ ├─────────────────┼─────────┼────┤
│ │Adecvat (ex., │[ ] │2 │
│ │0.60 ≤ r < 0.70) │ │ │
│ ├─────────────────┼─────────┼────┤
│ │Bun (ex., 0.70 ≤ │[ ] │3 │
│ │r < 0.80) │ │ │
│ ├─────────────────┼─────────┼────┤
│ │Excelent (ex., r │[ ] │4 │
│ │≥ 0.80) │ │ │
├─────┼─────────────────┴─────────┴────┤
│9.7 │Alte metode de estimare a │
│ │fidelităţii │
├─────┼────────────────────────────────┤
│ │Mărimea eşantionului │
│ ├───────────────────────────┬────┤
│ │Neaplicabil │n/a │
│ ├───────────────────────────┼────┤
│ │Nicio informaţie oferită │0 │
│ ├───────────────────────────┼────┤
│ │Un studiu inadecvat (ex., │1 │
│ │eşantion mai mic de 100) │ │
│ ├───────────────────────────┼────┤
│9.7.1│Un studiu adecvat (ex., │2 │
│ │eşantion dc 100-200) │ │
│ ├───────────────────────────┼────┤
│ │Un studiu mare (ex., │ │
│ │eşantion mai mare de 200) │3 │
│ │sau mai mult decât adecvat │ │
│ │ca mărime │ │
│ ├───────────────────────────┼────┤
│ │O gamă largă de studii / un│4 │
│ │număr mare studii │ │
├─────┼───────────────────────────┴────┤
│9.7.2│Descrieţi metoda: │
├─────┼─────────────────┬─────────┬────┤
│ │ │Număr de │ │
│ │Rezultate │scale │M* │
│ │ │(dacă se │ │
│ │ │aplică) │ │
│ ├─────────────────┴─────────┼────┤
│ │Neaplicabil │n/a │
│ ├─────────────────┬─────────┼────┤
│ │Nicio informaţie │[ ] │0 │
│9.7.3│oferită │ │ │
│ ├─────────────────┼─────────┼────┤
│ │Inadecvat │[ ] │1 │
│ ├─────────────────┼─────────┼────┤
│ │Adecvat │[ ] │2 │
│ ├─────────────────┼─────────┼────┤
│ │Bun │[ ] │3 │
│ ├─────────────────┼─────────┼────┤
│ │Excelent │[ ] │4 │
├─────┼─────────────────┴─────────┴────┤
│ │Adecvare generală │
│ │Această evaluare generală se │
│ │obţine utilizând evaluările │
│ │oferite itemilor 9.1 - 9.7.3. Nu│
│ │faceţi o simplă medie a │
│ │numerelor pentru a obţine │
│ │evaluarea generală. │
│ │Pentru anumite instrumente, │
│ │consistenţa internă poate fi │
│ │inadecvată (trăsături largi sau │
│ │agregate de scale), caz în care │
│ │trebuie pus mai mult accentul pe│
│ │datele de retest. În alte cazuri│
│ │(măsuri ale stării), │
│ │fidelităţile retest ar fi │
│ │inadecvate, aşadar secretul ar │
│ │trebui pus pe consistenţele │
│ │interne. Pentru luarea deciziei │
│ │finale, ar trebui să luaţi în │
│ │considerare: │
│ │- Dacă testul este utilizat în │
│9.8 │evaluare individuală sau pentru │
│ │a lua decizii pentru grupuri de │
│ │oameni │
│ │- Natura deciziei (miză înaltă │
│ │vs. miză scăzută) │
│ │- Dacă unul sau mai multe │
│ │(tipuri de) studii de fidelitate│
│ │sunt raportate │
│ │- Dacă sunt oferite şi erorile │
│ │standard de măsurare │
│ │- Probleme procedurale, ex., │
│ │mărimea grupului, număr de │
│ │studii de fidelitate, │
│ │eterogenitatea grupului/ │
│ │grupurilor pentru care sunt │
│ │computaţi coeficienţii, numărul │
│ │de evaluatori dacă este │
│ │computată decizia │
│ │inter-evaluator, lungimea │
│ │intervalului test- retest, etc. │
│ │- Gradul de comprehensivitate al│
│ │raportării în studiile de │
│ │fidelitate. │
├─────┼───────────────────────────┬────┤
│ │Nicio informaţie oferită │0 │
├─────┼───────────────────────────┼────┤
│ │Inadecvat │1 │
├─────┼───────────────────────────┼────┤
│ │Adecvat │2 │
├─────┼───────────────────────────┼────┤
│ │Bun │3 │
├─────┼───────────────────────────┼────┤
│ │Excelent │4 │
├─────┴───────────────────────────┴────┤
│Comentariu al evaluatorilor despre │
│fidelitate: Subliniaţi aspectele │
│puternice şi slabe ale dovezilor │
│disponibile despre fidelitate. │
│Comentarii cu privire la generalizarea│
│echivalenţei /fidelităţii ar trebui │
│făcute tot aici (dacă se aplică). │
├──────────────────────────────────────┤
└──────────────────────────────────────┘
Notă: *3 Metoda TRI explică şi analizează relaţia dintre caracteristicile individului şi răspunsurile la itemi, mai exact, relaţia dintre itemii testului şi probabilitatea alegerii răspunsului corect la acei itemi care solicită trăsăturile latente ale individului. Hambleton, R. K., & Swaminathan. H. (1985) Item response theory principles and applications. Boston, MA: Kluwer-Nijhoff Publishing. Lord, F.M. (1980). Applications of Item Response Theory to Practicai Testing Problems. Hillsdale, NJ: Lawrence Erlbaum. McDonald, R. P. (1999). Test theory: A unifiedapproach. Mahwah. NJ: Lawrence Erlbaum. Thissen. D.. & Wainer. H. (Eds.). (2001). Test Scoring. Mahwah, NJ: Lawrence Erlbaum. van der Linden, W. J.. & Hambleton. R. K. (Eds.). (1997). Handbook of modern item response theory. New York, NY: Springer. 10. Validitatea Ghid general de evaluare a acestei secţiuni Validitatea este măsura în care un test îşi îndeplineşte scopul: se pot trage concluziile stabilite iniţial din scorurile testării? În literatură, sunt diferenţiate mai multe tipuri de validitate, de ex., Drenth şi Sijtsma (2006, p. 334 - 340) menţionează opt tipuri diferite. Diferenţele pot avea legătură cu scopul validării sau cu procesul de validare prin tehnici specifice de analiză a datelor. În ultimele decenii ale secolului trecut a existat un consens în creştere, potrivit căruia validitatea ar trebui considerată ca un concept unitar şi că diferenţierile în tipurile de validitate ar trebui considerate ca modalităţi diferite doar de a strânge dovezi (American Educaţional Research Association, American Psychological Association, & Naţional Council on Measurement in Education, 1999). Borsboom, Mellenbergh şi Van Heerden (2004) afirmă că un test este valabil pentru măsurarea unui atribut dacă variaţia atributului provoacă cauzal variaţii în rezultatele măsurate. Deşi aceasta este o abordare diferită, şi în opinia acestor autori o diferenţiere între tipuri de validitate nu este relevantă. Cu toate acestea, oricare ar fi abordarea preferată a validităţii, pentru o judecată standardizată, este necesară o minimă structurare a conceptului de validitate. Din acest motiv, sub-secţiunile separate privind validitatea constructului şi a criteriului sunt diferenţiate. În funcţie de scopul testului, unul dintre aceste aspecte ale validităţii poate fi mai relevant decât celălalt. Cu toate acestea, validitatea constructului este conceptul fundamental, iar dovezile privind validitatea criteriului pot contribui la stabilirea validităţii de construct a unui test. Se constată, de asemenea, că un test poate avea validităţi diferite, în funcţie de tipul deciziilor luate cu ajutorul testului, de tipul probelor utilizate, etc. Cu toate acestea, în cadrul unui proces de evaluare a testului, o judecată de calitate se realizează cu privire la validitatea (de construct sau de criteriu) a unui test. Această judecată ar trebui să reflecte calitatea dovezilor care susţin afirmaţia că testul poate fi folosit pentru interpretările menţionate în manual. Cu cât aplicaţiile intenţionate sunt mai ample, cu atât mai multe dovezi de validitate ar trebui să ofere autorul/editorul. Reţineţi că evaluarea finală pentru validitatea de construct şi de criteriu va fi o medie a acestor dovezi şi că pot exista situaţii sau grupuri pentru care testul poate avea valori mai mari sau mai mici (sau pentru care validitatea poate să nu fi fost studiată deloc). Atunci când un instrument a fost tradus şi/sau adaptat dintr-un context non-local, ar trebui propusă o dovadă a echivalenţei măsurii într-o limbă nouă a originalului. Fără aceasta, nu este posibilă generalizarea rezultatelor dintr-o ţară/limbă în alta. Exemple de dovezi echivalente: ● Invarianţa în structura de construct - ex., prin structura factorială sau prin corelarea cu măsurile standard. ● Validitate similară a criteriului - ex., un profil similar al corelaţiilor unui instrument multiscalar cu criterii externe independente - cum ar fi evaluările competenţelor profesionale. ● Itemii prezintă modele similare de încărcare a scalelor, ex., elementele se corelează în acelaşi model cu alte scale; itemii cei mai puternic/slab încărcaţi sunt similari în limbile originale şi noi. ● Candidaţii bilingvi au profiluri similare în două limbi (cf. fidelităţii formei alternative). Generalizarea validităţii necesită dovezi mai puternice în traducerea testelor în cadrul familiilor lingvistice (ex., de la o limbă indo-europeană, la o limbă semită). Într-o astfel de situaţie, echivalenţa este ameninţată mai mult din cauza diferenţelor dintre structura lingvistică şi diferenţele culturale. Cu toate acestea, generalizarea validităţii poate fi dedusă din dovezi ale invarianţei validităţii în traducerile anterioare, atunci când un test a fost tradus în mai multe limbi. De exemplu, dacă un test suedez a fost deja tradus în franceză, germană şi italiană şi s-a dovedit a fi echivalent în aceste limbi. În considerarea echivalenţei, poate fi util de urmat clasificarea lui Van de Vijvar şi Poortinga (2005): ● Echivalenţă structurală/funcţională - Există dovezi că limbile sursă şi ţintă măsoară aceleaşi constructe psihologice în cadrul grupurilor. Acest lucru este demonstrat, în general, prin faptul că modelele de corelaţii între variabile sunt identice între grupuri. ● Echivalenţa unităţii de măsură - Există dovezi că unităţile de măsură sunt aceleaşi, dar există origini diferite între grupuri (diferenţele individuale găsite în grupa A pot fi comparate cu diferenţele găsite în grupa B, dar scorurile brute absolute pentru A şi B nu sunt direct comparabile fără nici o formă de redimensionare). ● Echivalenţa Scalară/Scorului complet - Aceeaşi unitate de măsură şi aceeaşi origine (de ex., scorurile brute au aceleaşi semnificaţii şi pot fi comparate între grupuri). Indicii de referinţă şi notele din subsecţiunile 10.1 şi 10.2 oferă unele îndrumări cu privire la valorile care trebuie asociate cu evaluări necorespunzătoare, adecvate, bune şi excelente. Cu toate acestea, acestea sunt destinate să acţioneze doar ca ghiduri. Natura instrumentului, domeniul său de aplicare, calitatea datelor pe care se bazează estimările validităţii şi tipurile de decizii pentru care vor fi utilizate ar trebui să afecteze modul în care sunt realizate evaluările. Pentru validitate, liniile directoare privind dimensiunile eşantioanelor se bazează pe analiza puterii pentru dimensiunile eşantioanelor necesare pentru a găsi validităţi de dimensiuni moderate, dacă acestea există. 10.1. Validitatea de construct Scopul validării constructului este de a găsi un răspuns la întrebarea dacă testul măsoară efectiv constructul dorit parţial sau total, etc. Metodele comune pentru investigarea validităţii constructului sunt analiza factorială exploratorie sau confirmatorie, corelaţiile item-test, compararea scorurilor medii ale grupurilor pentru care se pot aştepta diferenţe de scor, testarea pentru invarianţa structurii factorilor şi item-bias (DIF) pentru diferite grupuri, corelaţii cu alte instrumente care sunt destinate măsurării aceluiaşi aspect (validitate convergentă) sau a diferitelor constructe (validitate discriminatorie), cercetări Multi-Trăsătură-Multi-metodă (MTMM), metodologii TRI şi design-uri (cvasi-) experimentale.
┌───────┬──────────────────────────────┐
│10.1 │Validitatea de construct │
├───────┼──────────────────────────────┤
│ │Design-uri utilizate │
│10.1.1 │(selectaţi atâtea câte se │
│ │aplică) │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │[ ] │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Analiză Factorială │[ ] │
│ │Exploratorie │ │
├───────┼───────────────────┼──────────┤
│ │Analiză Factorială │[ ] │
│ │Confirmatorie │ │
├───────┼───────────────────┼──────────┤
│ │Corelaţii │ │
│ │(Corectate) │[ ] │
│ │item-test │ │
├───────┼───────────────────┼──────────┤
│ │Testarea pentru │ │
│ │invarianta │ │
│ │structurii şi │ │
│ │funcţionare │[ ] │
│ │diferenţiată a │ │
│ │itemilor pentru │ │
│ │diferite grupuri │ │
├───────┼───────────────────┼──────────┤
│ │Diferenţe între │[ ] │
│ │grupuri │ │
├───────┼───────────────────┼──────────┤
│ │Corelaţii cu alte │ │
│ │instrumente şi │[ ] │
│ │criterii de │ │
│ │performanţă │ │
├───────┼───────────────────┼──────────┤
│ │Corelaţii MTMM │[ ] │
├───────┼───────────────────┼──────────┤
│ │Metodologie TRI │[ ] │
├───────┼───────────────────┼──────────┤
│ │Design-uri (Cvasi-)│[ ] │
│ │Expcrimentale │ │
├───────┼───────────────────┼──────────┤
│ │Altul, descrie: │[ ] │
├───────┼───────────────────┴──────────┤
│ │Suportă rezultatele analizei │
│10.1.2 │factorialc (confirmatorie sau │
│ │exploratorie) structura │
│ │testului? │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Itemii se corelează suficient │
│ │de bine cu scorul (sub) │
│ │testului? │
│ │Corelaţiile foarte mari pot │
│10.1.3 │însemna faptul că elementele │
│ │sunt mai mult sau mai puţin │
│ │sinonime, iar conceptul │
│ │măsurat poate fi foarte │
│ │restrictiv (aşa-numitul │
│ │"specific umflat") │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
│ ├───────────────────┼──────────┤
│ │Inadecvat │1 │
│ ├───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Structura factorială este │
│ │invariabilă în grupuri şi/sau │
│ │nu există item-bias (DIF)? │
│ │Acest tip de cercetare poate │
│ │fi realizat pe baza modelelor │
│10.1.4 │din cadrul teoriei clasice de │
│ │testare sau al cadrului TRI. │
│ │Dacă se constată item-bias, │
│ │este necesar să se aprecieze │
│ │efectul asupra scorului total │
│ │(se acceptă efecte mici). │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Există diferenţe în scorurile │
│ │medii între grupurile │
│ │relevante, cum era de │
│ │aşteptat? │
│ │De ex., elevii din clasa a │
│ │VIII - a se aşteaptă să aibă │
│ │scoruri mai mari decât elevii │
│ │din clasa a VI - a la un test │
│ │de competenţă numerică; copiii│
│ │cu diagnosticul de ADHD ar │
│ │trebui să obţină un scor mai │
│ │mare la un test de │
│ │hiperactivitate, decât copiii │
│ │care nu sunt diagnosticaţi cu │
│ │ADHP, agenţii de vânzări ar │
│10.1.5 │trebui să aibă scoruri mai │
│ │mari la un test pentru │
│ │cunoştinţele comerciale, decât│
│ │media populaţiei lucrătoare. │
│ │Chiar dacă rezultatele sunt în│
│ │direcţia aşteptată, acest tip │
│ │de cercetare este de obicei │
│ │neconcludent în ceea ce │
│ │priveşte validitatea de │
│ │construct a testului. Cu toate│
│ │acestea, valoarea acestui tip │
│ │de cercetarc este că, atunci │
│ │când diferenţele aşteptate nu │
│ │sunt prezentate, acest lucru │
│ │ar ridica îndoieli puternice │
│ │cu privire la validitatea de │
│ │construct a testului. │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Mediana şi intervalul de │
│ │corelaţii între test şi teste │
│ │care măsoară constructe │
│ │similare │
│ │Un element esenţial al │
│ │procesului de validare a │
│ │constructului este corelarea │
│ │scorului (scorurilor) testului│
│ │cu scale de la instrumente │
│ │similare, aşa-numita │
│ │validitate congruentă sau │
│ │convergentă. Orientările │
│ │privind coeficienţii de │
│ │validitate congruentă trebuie │
│ │interpretaţi în mod flexibil. │
│ │În cazul în care au fost │
│ │corelate două instrumente │
│ │foarte asemănătoare (cu datele│
│ │obţinute simultan), ne-am │
│ │aştepta să găsim corelaţii de │
│ │0,60 sau mai mult pentru │
│ │"adecvate". În cazul în care │
│ │instrumentele sunt mai puţin │
│ │similare, sau sesiunile de │
│ │administrare sunt separate de │
│ │un anumit interval de timp, │
│ │valorile mai mici pot fi │
│ │adecvate. Atunci când se │
│ │evaluează validitatea │
│ │congruentă, trebuie acordată │
│10.1.6 │atenţie la interpretarea │
│ │corelaţiilor foarte mari. │
│ │Atunci când corelaţiile sunt │
│ │peste 0,90, probabilitatea │
│ │este ca scalele în cauză să │
│ │măsoare exact acelaşi │
│ │construct. Aceasta nu este o │
│ │problemă dacă scalele în cauză│
│ │reprezintă o nouă scală şi un │
│ │marker stabilit. Ar fi totuşi │
│ │o problemă, dacă scalele în │
│ │cauză ar fi fost proiectate │
│ │astfel încât să adauge o │
│ │varianţă utilă la ce măsoară │
│ │deja alte scale. │
│ │Instrucţiunile oferite privesc│
│ │corelaţiile care nu sunt │
│ │ajustate pentru varianţa sau │
│ │atenuarea metodei comune. Prin│
│ │urmare, la luarea în │
│ │consideraţie a coeficienţilor │
│ │de congruenţă de validitate, │
│ │trebuie luată în considerare │
│ │şi fidelitatea ambelor │
│ │instrumente. De exemplu, │
│ │atunci când ambele instrumente│
│ │au o fidelitate de .75, │
│ │corelaţia maximă dintre │
│ │instrumente este .56. Dacă │
│ │fidelităţile sunt mai mari. se│
│ │aşteaptă o corelaţie mai mare.│
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat (r < │1 │
│ │0.55) │ │
├───────┼───────────────────┼──────────┤
│ │Adecvat (0.55 ≤ r <│2 │
│ │0.65) │ │
├───────┼───────────────────┼──────────┤
│ │Bun (0.65 ≤r< 0.75)│3 │
├───────┼───────────────────┼──────────┤
│ │Excelent (r ≥ 0.75)│4 │
├───────┼───────────────────┴──────────┤
│ │Corelaţiile cu alte │
│ │instrumente demonstrează │
│10.1.7 │validitate discriminatorie │
│ │bună în ceea ce priveşte │
│ │conspectele pe care testul nu │
│ │ar trebui să le măsoare? │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Dacă se utilizează un design │
│ │Multi-Trăsătură-Multi-Metodă, │
│ │rezultatele ajută la │
│ │construirea validităţii │
│ │testului (măsoară cu adevărat │
│ │ce ar trebui să măsoare şi nu │
│10.1.8 │altceva)? │
│ │Reţineţi că, dacă se │
│ │utilizează un design MTMM, │
│ │este posibil ca cercetarea │
│ │menţionată la punctele 10.1.6 │
│ │şi 10.1.7 să nu mai fie │
│ │necesară. │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┴──────────┤
│ │Altul, de ex., metodologie │
│10.1.9 │TRI, design (cvasi-) │
│ │experimental (descrieţi): │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
├───────┼───────────────────┼──────────┤
│ │Adecvat │2 │
├───────┼───────────────────┼──────────┤
│ │Bun │3 │
├───────┼───────────────────┼──────────┤
│ │Excelent │4 │
├───────┼───────────────────┼──────────┤
│10.1.10│Mărimea │ │
│ │eşantionului │ │
├───────┼───────────────────┴──────────┤
│ │Instrucţiunile de mai jos se │
│ │referă la studii ce se │
│ │încadrează în teoria clasică a│
│ │testului. Pentru estimata │
│ │itemilor-parametru în cadrul │
│ │metodologiei TRI, dimensiunile│
│ │eşantioanelor "adecvate" sunt:│
│ │mai mult de 200 pentru studii │
│ │cu 1 parametru, mai mult de │
│ │400 pentru studii cu 2 │
│ │parametri şi mai mult de 700 │
│ │pentru studii cu trei │
│ │parametri (bazate pe Parshall,│
│ │Davey, Spray, şi Kalohn, │
│ │2001). │
├───────┼───────────────────┬──────────┤
│ │Neaplicabil │0 │
├───────┼───────────────────┼──────────┤
│ │Nicio informaţie │1 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Un studiu inadecvat│ │
│ │(ex., eşantion mai │2 │
│ │mic de 100) │ │
├───────┼───────────────────┼──────────┤
│ │Un studiu adecvat │ │
│ │(ex., eşantion de │3 │
│ │100-200) │ │
├───────┼───────────────────┼──────────┤
│ │Un studiu mare │ │
│ │(ex., eşantion mai │ │
│ │mare de 200) sau │4 │
│ │mai mult decât │ │
│ │adecvat ca mărime │ │
├───────┼───────────────────┴──────────┤
│10.1.11│Calitatea instrumentelor ca şi│
│ │criterii sau markeri │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Calitate inadecvată│1 │
├───────┼───────────────────┼──────────┤
│ │Calitate adecvată │2 │
├───────┼───────────────────┼──────────┤
│ │Calitate bună │3 │
├───────┼───────────────────┼──────────┤
│ │Calitate excelentă │ │
│ │cu un interval mare│ │
│ │de markeri │ │
│ │relevanţi pentru │4 │
│ │validare │ │
│ │convergentă şi │ │
│ │divergentă │ │
├───────┼───────────────────┴──────────┤
│ │Cât de vechi sunt studiile de │
│ │validitate? │
│ │Este dificil de formulat o │
│ │regulă generală pjntru luarea │
│ │în considerare a "vârstei” │
│ │cercetării. Pentru testele │
│ │care intenţionează sa măsoare │
│10.1.12│constructele într-o zonă în │
│ │care s-au produs evoluţii │
│ │teoretice importante, │
│ │cercetarea veche de 15 ani │
│ │poate fi aproape inutilă, în │
│ │timp ce pentru alte teste, │
│ │cercetarea veche de 20 ani │
│ │(sau chiar mai veche) poate fi│
│ │relevantă. │
├───────┼───────────────────┬──────────┤
│ │Număr de ani │..........│
├───────┼───────────────────┴──────────┤
│ │Validitatea constructului - │
│ │adecvarea generală │
│ │Această evaluare globală este │
│ │obţinută prin utilizarea │
│ │evaluărilor de la punctele │
│ │10.1.1 - 10.1.12. Nu realizaţi│
│ │pur fi simplu media numerelor │
│ │pentru a obţine un rating │
│ │global. │
│ │În plus faţă de rezultatele │
│ │cercetării validităţii │
│ │constructului, pentru │
│ │evaluarea finală ar trebui să │
│ │ţineţi cont şi de utilizarea │
│ │corectă a tehnicilor de │
│ │analiză (de exemplu, nivelul │
│ │de semnificaţie corectat │
│ │pentru corelarea │
│10.1.13│instrumentului cu alte │
│ │instrumente fară ipoteze │
│ │clare, aşa-numitul "fishing”),│
│ │indiferent dacă eşantioanele │
│ │de cercetare sunt similare cu │
│ │grupul (grupurile) pentru care│
│ │se intenţionează testul (de │
│ │exemplu, o eterogenitate mai │
│ │mare va "umfla” corelaţiile, │
│ │eşantioanele de studenţi pot │
│ │da rezultate care nu pot fi │
│ │generalizate), dimensiunea │
│ │eşantionului(oanelor) de │
│ │cercetare, calitatea altor │
│ │instrumente care sunt │
│ │utilizate (de exemplu, în │
│ │studii de validitate │
│ │convergentă şi │
│ │discriminatorie), şi vârsta │
│ │studiilor. │
├───────┼───────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├───────┼───────────────────┼──────────┤
│ │Inadecvat │1 │
│ ├───────────────────┼──────────┤
│ │Adecvat │2 │
│ ├───────────────────┼──────────┤
│ │Bun │3 │
│ ├───────────────────┼──────────┤
│ │Excelent │4 │
└───────┴───────────────────┴──────────┘
10.2. Validitatea relativă la criteriu Dovezile de validitate relativă la criteriu (validitate concurentă şi predictivă) se referă la studii în care măsurile criteriilor din lumea reală (de ex., nu alte scoruri ale instrumentului) au fost corelate cu scalele. Studiile predictive se referă, în general, la situaţiile în care evaluarea a fost efectuată într-un punct "calitativ" diferit în timp, faţă de măsurarea criteriului ex., pentru o măsură de selecţie legată de muncă, destinată să prezică succesul la locul de muncă, instrumentul ar fi fost realizat la momentul selecţiei - mai degrabă decât să fie o chestiune legată de intervalul de timp dintre măsurarea instrumentului şi a criteriului. Studiile pot fi, de asemenea, "postdictive", de exemplu, în cazul în care scorurile la un test de selecţie potenţială sunt corelate cu evaluările managerilor de rang anterior în ceea ce priveşte performanţa. Practic, dovezile privind validitatea criteriilor sunt necesare pentru toate tipurile de teste. Cu toate acestea, atunci când se menţionează în mod explicit în manual faptul că utilizarea testului nu serveşte scopurilor de predicţie (cum ar fi testele educaţionale care măsoară progresul), validitatea criteriului poate fi considerată "neaplicabilă".
┌──────┬────────────────────┬──────────┐
│10.2 │Validitate relativă │ │
│ │la criteriu │ │
├──────┼────────────────────┼──────────┤
│ │Tip(uri) de studiu │ │
│10.2.1│(ii) ale criteriului│ │
│ │(selectaţi atâtea │ │
│ │câte se aplică) │ │
├──────┼────────────────────┼──────────┤
│ │Predictiv │[ ] │
├──────┼────────────────────┼──────────┤
│ │Concurent │[ ] │
├──────┼────────────────────┼──────────┤
│ │Postdictiv │[ ] │
├──────┼────────────────────┼──────────┤
│10.2.2│Mărimile │ │
│ │eşantioanelor │ │
├──────┼────────────────────┼──────────┤
│ │Neaplicabil │0 │
├──────┼────────────────────┼──────────┤
│ │Nicio informaţie │1 │
│ │oferită │ │
├──────┼────────────────────┼──────────┤
│ │Un studiu inadecvat │ │
│ │(ex., eşantion mai │2 │
│ │mic de 100) │ │
├──────┼────────────────────┼──────────┤
│ │Un studiu adecvat │ │
│ │(ex., eşantion de │3 │
│ │100-200) │ │
├──────┼────────────────────┼──────────┤
│ │Un studiu mare (ex.,│ │
│ │eşantion mai mare de│ │
│ │200) sau mai mult │4 │
│ │decât adecvat ca │ │
│ │mărime │ │
├──────┼────────────────────┴──────────┤
│10.2.3│Calitatea măsurătorilor │
│ │criteriului │
├──────┼────────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├──────┼────────────────────┼──────────┤
│ │Calitate inadecvată │1 │
├──────┼────────────────────┼──────────┤
│ │Calitate adecvată │2 │
├──────┼────────────────────┼──────────┤
│ │Calitate bună │3 │
├──────┼────────────────────┼──────────┤
│ │Calitate excelentă │ │
│ │cu privire la │ │
│ │fidelitatea şi │4 │
│ │reprezentaţivitatea │ │
│ │constructului │ │
│ │criteriului │ │
├──────┼────────────────────┼──────────┤
│ │Puterea relaţiei │ │
│10.2.4│dintre test şi │ │
│ │criterii │ │
├──────┼────────────────────┴──────────┤
│ │Este dificil să se stabilească │
│ │criterii clare pentru evaluarea│
│ │mărimii coeficienţilor de │
│ │validitate a criteriului unui │
│ │instrument. O validitate a │
│ │criteriului de 0,20 poate avea │
│ │o utilitate considerabilă în │
│ │unele situaţii, în timp ce unul│
│ │din 0,40 poate avea o valoare │
│ │mică în altele. Un coeficient │
│ │de 0,30 poate fi considerat bun│
│ │în selecţia personalului, în │
│ │timp ce în situaţii │
│ │educaţionale, coeficienţi mari │
│ │sunt mai obişnuiţi. Din aceste │
│ │motive, evaluările ar trebui să│
│ │se bazeze pe judecata şi │
│ │expertiza evaluatorilor, şi nu │
│ │pur şi simplu derivate prin │
│ │medierea seturilor de │
│ │coeficienţi de corelare. │
│ │Instrucţiunile oferite sunt │
│ │bazate pe Hemphill (2003. vezi │
│ │şi Meyer et al., 2001) şi │
│ │privesc corelaţiile care nu │
│ │sunt corectate pentru atenuarea│
│ │predictorului sau a │
│ │criteriului. Cu toate acestea, │
│ │coeficienţii pot fi corectaţi │
│ │pentru restricţionarea │
│ │intervalului. │
├──────┼───────────────────────────────┤
│ │Intervalele de mai jos se │
│ │referă la coeficienţii de │
│ │validitate, deoarece │
│ │corelaţiile dintre teste şi │
│ │criterii reprezintă modalitatea│
│ │cea mai utilizată de a │
│ │reprezenta validitatea │
│ │criteriului. Cu toate acestea, │
│ │în special pentru utilizarea în│
│ │situaţii clinice, datele │
│ │privind sensibilitatea şi │
│ │specificitatea unui test pot │
│ │oferi informaţii mai utile cu │
│ │privire la relaţia dintre un │
│ │test şi un criteriu. Curbele │
│ │ROC reprezintă o metodă │
│ │populară de cuantificare a │
│ │sensibilităţii şi a │
│ │specificităţii. Swets (1988) │
│ │prezintă o vedere de ansamblu a│
│ │valorilor curbelor ROC în │
│ │diferite zone. Pentru anumite │
│ │tipuri de diagnostic medical, │
│ │valorile se situează între O.81│
│ │şi 0,97 pentru detectarea │
│ │minciunii, între 0,70 şi 0,95 │
│ │şi pentru realizarea │
│ │educaţională (pass/fail) între │
│ │0,71 şi 0,94. Aceste valori pot│
│ │fi utilizate ca recomandări dar│
│ │este lăsat în seama expertizei │
│ │evaluatorului să decidă în ce │
│ │măsură testul poate aduce o │
│ │contribuţie utilă la decizia │
│ │respectivă. Acest aspect se │
│ │aplică, de asemenea, şi când se│
│ │raportează şi alţi indicatori, │
│ │cum ar fi valoarea predictivă │
│ │pozitivă şi negativă a unui │
│ │test, rata probabilităţii etc. │
├──────┼────────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├──────┼────────────────────┼──────────┤
│ │Inadecvat (r < 0.20)│1 │
├──────┼────────────────────┼──────────┤
│ │Adecvat (0.20 ≤r< │2 │
│ │0.35) │ │
├──────┼────────────────────┼──────────┤
│ │Bun (0.35 ≤r< 0.50) │3 │
│ ├────────────────────┼──────────┤
│ │Excelent (r≥ 0.50) │4 │
├──────┼────────────────────┴──────────┤
│ │Cât de vechi sunt studiile de │
│ │validitate? │
│ │Este dificil de formulat o │
│ │regulă generală pentru luarea │
│ │în considerare a "vârstei” │
│ │cercetării. Pentru testele care│
│10.2.5│intenţionează să prezică │
│ │comportamente într-un mediu cu │
│ │schimbări rapide, cercetarea │
│ │veche de 15 ani poate fi │
│ │aproape inutilă, în timp ce │
│ │pentru alte teste, cercetarea │
│ │veche de 20 ani (sau chiar mai │
│ │veche) poate fi relevantă. │
├──────┼────────────────────┬──────────┤
│ │Număr de ani │..........│
├──────┼────────────────────┼──────────┤
│ │Validitatea relativă│ │
│10.2.6│la criteriu - │ │
│ │adecvarea generală │ │
├──────┼────────────────────┴──────────┤
│ │Această evaluare generală este │
│ │obţinută pe baza evaluărilor de│
│ │la punctele 10.2.1 - 10.2.5. Nu│
│ │realizaţi pur şi simplu media │
│ │numerelor pentru a obţine un │
│ │rating global. │
├──────┼───────────────────────────────┤
│ │În afară de rezultatele │
│ │cercetării validităţii │
│ │criteriului pentru evaluarea │
│ │finală se ţine cont şi de │
│ │faptul dacă se utilizează │
│ │procedurile potrivite şi │
│ │tehnicile de analiză (ex., │
│ │există contaminare a │
│ │criteriilor, corecţia pentru │
│ │atenuare, validarea │
│ │încrucişată), dacă eşantioanele│
│ │de cercetare sunt similare cu │
│ │grupul (grupurile) pentru care │
│ │se intenţionează testul (de │
│ │exemplu, corecţia pertru │
│ │restricţionarea intervalului), │
│ │mărimea eşantionului │
│ │(eşantioanelor) de cercetare, │
│ │calitatea instrumentelor de │
│ │criterii utilizate (de exemplu,│
│ │există o deficienţă de │
│ │criterii) vârsta studiilor. │
├──────┼────────────────────┬──────────┤
│ │Nicio informaţie │0 │
│ │oferită │ │
├──────┼────────────────────┼──────────┤
│ │Inadecvat │1 │
├──────┼────────────────────┼──────────┤
│ │Adecvat │2 │
├──────┼────────────────────┼──────────┤
│ │Bun │3 │
├──────┼────────────────────┼──────────┤
│ │Excelent │4 │
└──────┴────────────────────┴──────────┘
10.3. Validitate generală Atunci când se evaluează validitatea generală, este important să se ţină seama de importanţa acordată validităţii de construct ca fiind cel mai bun indicator dacă un test măsoară ceea ce pretinde să măsoare. În unele cazuri, principalele dovezi ale acestui fapt ar putea fi sub forma studiilor legate de criterii. Un astfel de test ar putea avea o evaluare "adecvată" sau mai bună pentru validitatea de criteriu şi o evaluare mai puţin adecvată pentru validitatea de construct. În general, evaluarea validităţii globale va fi egală fie cu validitatea de construct, fie cu validitatea relativă la criteriu, oricare dintre acestea este mai mare. Cu toate acestea, în funcţie de scopul testului, unul dintre aceste tipuri de dovezi poate fi considerat mai relevant decât celălalt. Evaluarea validităţii globale nu ar trebui să fie considerată ca o medie sau ca cel mai mic număr comun.
┌────┬─────────────────────────────────┐
│ │Validitate - adecvare generală │
│ │Acest rating global este obţinut │
│ │prin utilizarea evaluărilor de la│
│10.3│punctele 10.1.1 -10.2.6. Nu │
│ │realizaţi pur şi simplu media │
│ │numerelor pentru a obţine un │
│ │rating global. │
├────┼──────────────────────────────┬──┤
│ │Nicio informaţie oferită │0 │
├────┼──────────────────────────────┼──┤
│ │Inadecvat │1 │
├────┼──────────────────────────────┼──┤
│ │Adecvat │2 │
├────┼──────────────────────────────┼──┤
│ │Bun │3 │
├────┼──────────────────────────────┼──┤
│ │Excelent │4 │
├────┴──────────────────────────────┴──┤
│Comentariile evaluatorilor privind │
│validitatea (toate dovezile de │
│validitate incluse). │
│Comentariile referitoare la │
│generalizarea echivalenţei/validităţii│
│ar trebui, de asemenea, realizate aici│
│(dacă este cazul). │
└──────────────────────────────────────┘
11. Calitatea rapoartelor generate de computer Evaluarea rapoartelor generate de calculator este dificilă, deoarece mulţi furnizori vor dori, în mod lesne de înţeles, să-şi protejeze proprietatea intelectuală în algoritmii şi regulile de notare. În practică, ar trebui să existe suficientă informaţie disponibilă în manualul tehnic pentru evaluare, care să descrie evoluţia procesului de raportare şi raţionamentul său, şi prin rularea unui eşantion de cazuri de testare a configuraţiilor de scoruri. În mod ideal, documentaţia ar trebui să descrie, de asemenea, procedurile care au fost utilizate pentru a testa generarea de rapoarte pentru exactitate, coerenţă şi relevanţă. În scopul examinării, cel puţin trei rapoarte bazate pe profile cu scoruri diferite, inclusiv scorurile efective, ar trebui să fie furnizate, chiar dacă algoritmii pentru generarea rapoartelor sunt confidenţiali.
┌──────────────────────────────────────┐
│Itemii vor fi clasificaţi ca n/a sau │
│de la 0 la 4, sunt oferite "pragurile”│
│pentru o evaluare "excelentă" (4). │
├────┬─────────────────────────────────┤
│ │Scop sau domeniu de aplicare │
│ │Rapoartele pot fi văzute ca │
│ │variind, atât în acoperire, cât │
│ │şi în specificitate. Rapoartele │
│ │pot varia, de asemenea, în ceea │
│ │ce priveşte tipurile de persoane │
│ │pentru care sunt potrivite. În │
│ │unele cazuri, este posibil să fie│
│ │furnizate rapoarte individuale │
│ │adaptate pentru diferite grupuri │
│ │de destinatari. │
│ │● Raportul acoperă intervalul │
│ │atributelor măsurate de │
│ │instrument? │
│ │● Face acest lucru la un nivel de│
│ │specificitate justificabil din │
│ │punct de vedere al nivelului de │
│ │detaliere obţinut din punctajul │
│ │instrumentului? │
│ │● Poate fi justificată │
│ │"granularitatea" raportului (ex.,│
│ │numărul de benzi de scorare │
│ │distincte pe o scală care sunt │
│ │utilizate pentru reprezentări │
│ │grafice pe diferite unităţi de │
│ │text utilizate în raport) în ceea│
│ │ce priveşte erorile de măsurare a│
│11.1│scalelor? │
│ │● Raportul este conceput pentru │
│ │aceleaşi populaţii de oameni │
│ │pentru care instrumentul a fost │
│ │dezvoltat? (de exemplu grupuri │
│ │pentru care grupurile de norme │
│ │sunt relevante sau pentru care │
│ │există date relevante privind │
│ │criteriile etc.). │
│ ├───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
│ ├───────────────────────────────┼─┤
│ │Inadecvat │1│
│ ├───────────────────────────────┼─┤
│ │Adecvat │2│
│ ├───────────────────────────────┼─┤
│ │Bun │3│
│ ├───────────────────────────────┼─┤
│ │Excelentă: potrivire excelentă │ │
│ │între domeniul de aplicare al │ │
│ │instrumentului şi domeniul de │ │
│ │aplicare al raportului, nivelul│ │
│ │de specificitate din raport │4│
│ │fiind egal cu nivelul de │ │
│ │detaliere măsurat de scale. │ │
│ │Buna utilizare a tuturor │ │
│ │scorurilor raportate de │ │
│ │instrument. │ │
├────┼───────────────────────────────┼─┤
│11.2│Fidelitate │ │
├────┼───────────────────────────────┴─┤
│ │• Cât de consecvente sunt │
│ │rapoartele în interpretarea lor │
│ │de seturi similare de scoruri? │
├────┼─────────────────────────────────┤
│ │• Dacă conţinutul rapoartelor │
│ │este variat (ex., prin selectarea│
│ │aleatorie a unităţilor de text │
│ │echivalente), aceasta se face │
│ │într-o manieră satisfăcătoare? │
├────┼─────────────────────────────────┤
│ │• Sunt interpretarea scorurilor │
│ │şi diferenţele dintre scoruri │
│ │justificabile în ceea ce priveşte│
│ │erorile de măsurare a scalei? │
├────┼───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
├────┼───────────────────────────────┼─┤
│ │Inadecvat │1│
├────┼───────────────────────────────┼─┤
│ │Adecvat │2│
├────┼───────────────────────────────┼─┤
│ │Bun │3│
├────┼───────────────────────────────┼─┤
│ │Excelentă: Consistenţă │ │
│ │excelentă în interpretare şi │ │
│ │avertismente corespunzătoare │ │
│ │oferite pentru afirmaţii, │4│
│ │interpretare şi recomandări │ │
│ │privind erorile de măsurare │ │
│ │care stau la baza acestora. │ │
├────┼───────────────────────────────┴─┤
│ │Relevanţă sau validitate │
│ │Legătura dintre instrument şi │
│ │conţinutul raportului poate fi │
│ │explicată fie în cadrul │
│ │raportului, fie documentată │
│ │separat. În cazul în care │
│ │rapoartele se bazează pe o │
│ │evaluare clinică, procesul prin │
│ │care exportul (experţii) a/au │
│ │produs conţinutul şi regulile │
│ │care raportează scorurile la │
│ │conţinut trebuie să fie │
│ │documentate. │
│ │● Cât de puternică este relaţia │
│ │dintre conţinutul raportului şi │
│ │scorurile de pe instrument? În ce│
│ │măsură explică raportul sau │
│ │deviază de la informaţiile │
│ │furnizate de scorurile │
│ │instrumentului? │
│11.3│● Conţinutul raportului │
│ │relaţionează în mod clar cu │
│ │caracteristicile măsurate de │
│ │instrument? │
│ │● Oferă condiţii rezonabile cu │
│ │privire la criteriile cu care ne │
│ │putem aştepta ca astfel de │
│ │caracteristici să fie corelate? │
│ │● Ce dovezi empirice sunt │
│ │prezentate pentru a arăta că │
│ │aceste relaţii există de fapt? │
│ │Este relevant să se ia în │
│ │considerare atât validitatea de │
│ │construct a unui raport (ex., │
│ │măsura în care acesta oferă o │
│ │interpretare conformă cu │
│ │definiţia constructelor │
│ │subiacente), cât şi validitatea │
│ │de criteriu (ex., în cazul în │
│ │care se fac aserţiuni care pot fi│
│ │raportate la date empirice). │
├────┼───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
├────┼───────────────────────────────┼─┤
│ │Inadecvat │1│
├────┼───────────────────────────────┼─┤
│ │Adecvat │2│
│ ├───────────────────────────────┼─┤
│ │Bun │3│
│ ├───────────────────────────────┼─┤
│ │Excelent: Relaţia dintre scale │ │
│ │şi conţinutul raportului, cu │4│
│ │justificări clare furnizate. │ │
├────┼───────────────────────────────┴─┤
│ │Corectitudine sau libertate faţă │
│ │de biasul sistematic │
│ │● Este posibil ca conţinutul │
│ │raportului şi al limbii folosite │
│ │să creeze impresii de ineadecvare│
│ │pentru anumite grupuri? │
│ │● Raportul clarifică toate │
│ │domeniile de posibile biasuri în │
│ │rezultatele instrumentului? │
│ │● Sunt disponibile formulare în │
│ │limbi alternative? Dacă da, au │
│ │fost luate măsuri adecvate pentru│
│ │a asigura echivalenţa lor? │
│11.4├───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
│ ├───────────────────────────────┼─┤
│ │Inadecvat │1│
│ ├───────────────────────────────┼─┤
│ │Adecvat │2│
│ ├───────────────────────────────┼─┤
│ │Bun │3│
│ ├───────────────────────────────┼─┤
│ │Excelent: Avertismente clare şi│ │
│ │explicaţii privind posibile │ │
│ │biasuri, disponibile în toate │4│
│ │limbile relevante ale │ │
│ │utilizatorilor. │ │
├────┼───────────────────────────────┴─┤
│ │Acceptabilitate │
│ │Acest lucru depinde în mod │
│ │substanţiaI de complexitatea │
│ │limbajului utilizat în raport, de│
│ │complexitatea construcţiilor │
│ │descrise şi de destinaţia │
│ │scopului său. │
│ │● Este rezonabil ca forma şi │
│ │conţinutul raportului să fie │
│ │acceptabile pentru destinatarii │
│ │vizaţi? │
│ │● Este raportul redactat într-o │
│ │limbă potrivită pentru nivelurile│
│11.5│de aritmetică şi alfabetizare a │
│ │cititorului ţintit? │
│ ├───────────────────────────────┬─┤
│ │Nicio informare oferită │0│
│ ├───────────────────────────────┼─┤
│ │Inadecvat │1│
│ ├───────────────────────────────┼─┤
│ │Adecvat │2│
│ ├───────────────────────────────┼─┤
│ │Bun │3│
│ ├───────────────────────────────┼─┤
│ │Excelent: acceptabilitate │ │
│ │foarte ridicată, bine conceput │4│
│ │şi potrivit publicului ţintă. │ │
├────┼───────────────────────────────┴─┤
│ │Lungime │
│ │Acesta este un aspect pragmatic │
│ │şi ar trebui să se reflecte în │
│ │evaluare. Rapoartele prea lungi │
│ │pot fi un indicator al │
│11.6│supra-interpretării scorurilor. │
│ │În general, rapoartele care iau │
│ │în medie mai mult de o pagină per│
│ │scală (cu excepţia paginilor de │
│ │titlu, a anunţurilor privind │
│ │drepturile de autor etc.), pot fi│
│ │prea lungi şi supra-interpretate.│
├────┼───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
├────┼───────────────────────────────┼─┤
│ │Inadecvat │1│
├────┼───────────────────────────────┼─┤
│ │Adecvat │2│
├────┼───────────────────────────────┼─┤
│ │Bun │3│
├────┼───────────────────────────────┼─┤
│ │Excelent │4│
├────┼───────────────────────────────┼─┤
│ │Adecvarea generală a │ │
│11.7│rapoartelor generate de │ │
│ │computer │ │
├────┼───────────────────────────────┴─┤
│ │Acest rating global este obţinut │
│ │prin utilizarea evaluărilor de la│
│ │punctele 11.1 -11.6. Nu realizaţi│
│ │pur şi simplu media numerelor │
│ │pentru a obţine un rating global.│
├────┼───────────────────────────────┬─┤
│ │Nicio informaţie oferită │0│
├────┼───────────────────────────────┼─┤
│ │Inadecvat │1│
├────┼───────────────────────────────┼─┤
│ │Adecvat │2│
├────┼───────────────────────────────┼─┤
│ │Bun │3│
├────┼───────────────────────────────┼─┤
│ │Excelent │4│
├────┴───────────────────────────────┴─┤
│Comentariile evaluatorilor asupra │
│rapoartelor generate de calculator │
│Evaluarea poate lua în considerare │
│aspecte suplimentare, cum ar fi dacă │
│rapoartele conţin informaţii privind │
│verificarea consecvenţei │
│răspunsurilor, măsurilor de bias la │
│răspuns (ex., măsurile de tendinţă │
│centrală în evaluare ) şi alţi │
│indicatori ai încrederii cu care │
│scorurile persoanei pot fi │
│interpretate. Pot fi incluse │
│comentarii privind complexitatea │
│algoritmilor, de ex., dacă sunt luate │
│în considerare simultan mai multe │
│scale, cum sunt tratate profilurile │
│scalei, etc. O astfel de complexitate │
│ar trebui, bineînţeles, să fie │
│susţinută de un raţionament clar în │
│manual. │
├──────────────────────────────────────┤
└──────────────────────────────────────┘
12. Evaluarea finală şi tipuri de rezoluţii
┌──────────────────────────────────────┐
│Raportul evaluativ al testului │
│Această secţiune ar trebui să conţină │
│o concluzie concisă şi clar │
│argumentată cu privire la test. Ar │
│trebui să descrie argumentele sale pro│
│şi contra şi să dea câteva recomandări│
│generale cu privire la modul şi │
│momentul în care ar putea fi utilizate│
│- împreună cu avertismentele (când │
│este cazul) despre momentul când nu ar│
│trebui utilizate. │
│Un rezumat al tuturor punctelor │
│pozitive sau negative în legătură cu │
│testele adaptate şi traduse ar trebui │
│inclus aici. În anexă este prezentat │
│un ghid de tip check-list. │
│Evaluarea ar trebui să acopere aspecte│
│precum adecvarea instrumentului pentru│
│diferite funcţii de evaluare sau │
│domenii de aplicare; orice necesităţi │
│speciale de formare sau competenţe │
│speciale necesare; dacă cerinţele de │
│formare sunt stabilite la nivelul │
│corespunzător; uşurinţă în utilizare; │
│calitatea şi cantitatea informaţiilor │
│furnizate de furnizor şi dacă există │
│informaţii importante care nu sunt │
│furnizate utilizatorilor şi în care │
│există probleme care rezultă din │
│traducerea sau adaptarea │
│instrumentului (vezi Anexa). │
│Includeţi observaţii cu privire la │
│orice cercetare despre care se ştie că│
│este în curs de desfăşurare şi despre │
│planurile furnizorilor pentru │
│viitoarele dezvoltări şi │
│perfecţionări, etc. │
├──────────────────────────────────────┤
│ │
├──────────────────────────────────────┤
│Concluzii │
├──────────────────────────────────────┤
│ │
└──────────────────────────────────────┘
┌──────────────────┬──────────────────────────────────┬─┐
│ │ │ │
│Recomandări │1 Necesită dezvoltare ulterioară. │ │
│(alegeţi una) │Potrivit numai pentru utilizare în│[│
│Recomandarea │cercetare, nu pentru utilizare în │]│
│relevantă din │practică │ │
│listă trebuie │ │ │
│indicată. În mod │ │ │
│normal, acest ├──────────────────────────────────┼─┤
│lucru va necesita │ │ │
│un comentariu, o │2 Potrivit doar pentru utilizarea │ │
│justificare sau o │de către un utilizator expert │ │
│calificare. Ar │(depăşind nivelul de calificare a │ │
│trebui adăugată o │utilizatorului EFPA 2), în │[│
│scurtă declaraţie │condiţii controlate cu atenţie sau│]│
│referitoare la │în domenii foarte limitate de │ │
│situaţiile şi │aplicare │ │
│modurile în care │ │ │
│instrumentul ar │ │ │
│putea fi utilizat ├──────────────────────────────────┼─┤
│şi la │ │ │
│avertismentele cu │3 Potrivit pentru utilizare sub │ │
│privire la │supraveghere în zona (domeniile) │ │
│posibilele zone de│de aplicare definită/e de │ │
│utilizare │distribuitor, de către orice │ │
│incorectă. │utilizator cu o competenţă │[│
│Toate │generală în utilizarea testelor şi│]│
│caracteristicile │administrarea testelor (depăşind │ │
│listate mai jos │nivelul de calificare a │ │
│trebuie să │utilizatorului EFPA 2) │ │
│primească o notă, │ │ │
│n/a, 2, 3, sau 4, │ │ │
│dacă un instrument├──────────────────────────────────┼─┤
│urmează sa fie │ │ │
│"recomandat” │4 Pot fi utilizate în zona │ │
│pentru uz general │(domeniile) de aplicare definită/e│ │
│(căsuţele 4 sau │de distribuitor, de către │ │
│5). │utilizatorii de test care │ │
│8 Norme │îndeplinesc cerinţele de │[│
│9 │calificare specifice ale │]│
│Fidelitate-general│distribuitorului (cel puţin │ │
│10 │nivelul EFPA pentru calificarea │ │
│Validitate-general│utilizatorului 2) │ │
│11 Rapoarte │ │ │
│generate de │ │ │
│calculator ├──────────────────────────────────┼─┤
│Dacă oricare │ │ │
│dintre aceste note│5 Potrivit pentru auto-evaluare │ │
│sunt 0 sau 1, │nesupravegheată în zona │[│
│instrumentul va fi│(domeniile) de aplicare definită/e│]│
│clasificat ca │de distribuitor │ │
│Recomandare 1, 2, │ │ │
│sau 3, sau va fi │ │ │
│clasificat ca ├──────────────────────────────────┼─┤
│"Altul”, împreună │ │ │
│cu o explicaţie │6 Altul │[│
│satisfăcătoare. │..................................│]│
│ │ │ │
│ │ │ │
└──────────────────┴──────────────────────────────────┴─┘
În urma analizei/evaluării efectuate de către membrii comisiei, Comisia Metodologică poate propune Comitetului Director acordarea a trei tipuri de rezoluţii: a) aviz pe perioadă nedeterminată b) amânare (cu minor revision şi acordare de termen) c) respins Comisia Metodologică va întocmi o motivare prin care să justifice tipul de rezoluţie, dar şi recomandări pentru îmbunătăţirea calităţilor psihometrice ale probelor. De asemenea, vor fi aprobate şi elaborate instrucţiunile de utilizare ale metodei sau tehnicii de evaluare psihologică. Avizul eliberat pe perioadă nedeterminată corespunde unei metode sau tehnici de evaluare psihologică care îndeplineşte toate condiţiile de calitate necesare utilizării de către psihologii cu drept de liberă practică. Amânarea cu minor revision corespunde unei metode sau tehnici de evaluare psihologică care îndeplineşte condiţiile minime de calitate necesare utilizării de către psihologii cu drept de liberă practică, însă necesită completări şi/sau dovezi suplimentare. În aceste condiţii, proba va fi reanalizată de către comisie, conform termenului acordat (maxim 6 luni). Reanalizarea probei presupune redepunerea dosarului şi achitarea unui procent de 50% din contravaloarea taxei iniţiale. O probă poate beneficia de o singură sesiune/procedură de reanalizare a dosarului. Respingerea cererii de acordare a avizului pentru metoda sau tehnica de evaluare psihologică corespunde neîndeplinirii condiţiilor minime de calitate necesare utilizării de către psihologii cu drept de liberă practică sau prezentării unor date incomplete. Avizul eliberat de către Comitetul director se rezumă la aria de aplicabilitate specificată în caracteristicile domeniului vizat, şi nu poate fi extins spre alte domenii de activitate fără o avizare prealabilă. Standarde minimale ale rezoluţiilor, conform cerinţelor prevăzute în tabel Avizarea pe perioadă nedeterminată, (recomandare pentru uz general, casetele 4 şi 5) - Note de 2, 3 sau 4 pentru patru criterii majore ale testului: norme, fidelitate, validitate, rapoarte generate de calculator. Amânare (cu minor revision) ) Note de 1 sau 2, iar instrumentul va primi recomandări potrivit casetelor 1, 2 sau va fi încadrat în categoria "Altul". Respins - Note de 0 sau 1, iar instrumentul va primi recomandări potrivit casetelor 2, 3 sau va fi încadrat în categoria "Altul". PARTEA 3 AVIZAREA METODELOR DE ASISTENŢĂ/INTERVENŢIE PSIHOLOGICĂ Comisia de Metodologie elaborează cadrul general de evaluare şi avizare a Metodelor de asistenţă psihologică. Scopul principal al avizării metodelor de intervenţie sau tratamentelor psihologice este de a stabili baza ştiinţifică a unei metode. Astfel, validitatea ştiinţifică indică dacă o modalitate/metodă de intervenţie este conformă cu o teorie unanim recunoscută şi dacă sunt aplicate metode ştiinţifice în stabilirea eficienţei acesteia. În cazul în care o metodă nu realizează acest lucru, atunci aceasta acţionează mai degrabă ca un sistem de credinţe. Dovadă este acea informaţie oferită ca răspuns în forma unui raport sau a unei documentaţii. Sunt considerate dovezi: documentele emise de experţii în domeniu, cercetările şi studiile publicate, studiile clinice. Nu sunt considerate dovezi: opinii personale, puncte de vedere sau credinţe. Evaluatorii analizează dovezile (afirmate, documentate şi depuse la dosar) şi decid relevanţa acestora, potrivit criteriilor de adecvare, suficienţă, caracter ştiinţific. Evaluarea metodei se realizează prin analiza dovezilor ştiinţifice invocate. În general, dovezile ştiinţifice ale metodei/tratamentului trebuie să răspundă mai multor criterii. În vederea alinierii la modelul FBP (Evidence-Based-Practice), sau practică validată ştiinţific, Comisia Metodologică utilizează Grila de evaluare a calităţii dovezilor ştiinţifice, potrivit sistemului GRADE (Atkirs ct al., 2004; Balshemet ct al., 2011; Guyatt ct al., 2011): a) designul studiului (care apare şi în piramida calităţii dovezilor ştiinţifice) b) calitatea studiilor c) consistenţa rezultatelor d) similaritatea studiilor cu situaţia practică de rezolvat. Piramida încrederii privind eficienţa unei intervenţii psihologice în funcţie de calitatea metodologică a studiilor pe care se bazează: Dovezi ştiinţifice solide 1. Metaanalize pe studii primare experimentale (eventual cvasi-experimentale) 2. Studii randomizate privind mecanismele schimbării (explicative) 3. Studii experimentale (randomizate) cauzal-descriptive (efficacy) 4. Studii experimentale (randomizate) pragmatice (effectiveness) 5. Studii cvasiexperimentale 6. Metaanalize pe studii primare non-experimentale 7. Studii non-experimentale longitudinale 8. Studii non-experimentale transversale 9. Studii de caz 10. Opiniile unor experţi Cu cât dovezile se situează mai spre partea superioară a piramidei, cu atât ele sunt mai solide. În baza datelor referitoare la design, la calitatea studiilor, la robusteţea şi omogenitatea efectelor şi la gradul de aplicabilitate al acestora la situaţia practică întâlnită, sistemul GRADE clasifică intervenţiile în patru categorii diferite, din perspectiva gradului de încredere că acestea vor funcţiona pentru situaţia practică întâlnită. Niveluri de încredere în reuşita intervenţiei (punctaj între paranteze): ● ridicat (4) - probabilitate scăzută ca studii viitoare să conducă la modificarea încrederii în eficienţa intervenţiei; ● moderat (3) - studii viitoare pot avea un impact relevant pentru concluziile referitoare la eficienţa intervenţiei; ● scăzut (2) - probabilitate ridicată ca studiile viitoare să aibă impact important asupra concluziilor, fiind posibil să asistăm la situaţia inversării direcţiei efectului; ● foarte scăzut (1) - orice direcţie a efectului este posibilă. Scoruri de pornire iniţială: ● dovezi obţinute în baza unor studii experimentale - 4; ● dovezi obţinute în baza unor studii non experimentale (observaţionale) sau cvasiexperimentale - 2; ● dovezi bazate pe opinii - 1. Aceste punctaje sunt ajustate, după cum urmează: Scăderi de punctaj: ● -1 sau -2 puncte pentru calitatea scăzută a studiilor sub standardul implicat de designul respectiv; ● -1 pentru număr mic de studii sau pentru cazul în care se observă efecte eterogene (variaţii mari); ● -1 sau -2 puncte penalizare pentru studiile care au puţine similitudini cu grupul ţintă vizat în practică; ● -1 pentru situaţii de prezentare trunchiată a rezultatelor (reporting bias). Creşteri de punctaj: ● +1 dacă variabilele străine necontrolate ar fi putut afecta datele doar în direcţia reducerii efectului; ● +1 dacă este manipulată VI (studii cvasi experimentale); ● +1 sau +2 dacă există asocieri puternice între variabile (risc relativ dublu, Cohen d cu aproximaţie de 0,40), respectiv foarte puternice (risc relativ de 5 ori mai mare/mai mic, Cohen d aproximativ 0,90). Notă: Întrucât metodele sunt specifice unei anumite populaţii sau unei anumite problematici, acestea nu pot fi avizate la modul general. Metoda nu poate funcţiona în contexte în care nu şi-a dovedit eficienţa, iar avizul se va solicita, în cazul fiecărei metode, pentru o anumită utilitate. Avizul va cuprinde sintagma "Metoda X - cu aplicaţie în zona Y". Pentru conformitatea Metodă - Aplicabilitate, vor fi consultate ghidurile internaţionale în domeniu (NICE, APA, etc.)./solicitantul va aduce dovezi de conformitate, conform prevederilor internaţionale. Dispoziţii finale 1. Comisia de Metodologie poate solicita aviz consultativ comisiilor de specialitate. 2. Conţinutul dosarului pentru solicitanţi va fi detaliat în termen de 90 de zile de la data adoptării. 3. Lista actualizată a metodelor şi tehnicilor de evaluare şi asistenţă psihologică va fi afişată pe site. ANEXA 1 Ghid al punctelor critice în cazul unui instrument tradus şi/sau adaptat dintr-un context non-local
┌──────────────────────────────────────┐
│Dezvoltare │
├──────────────┬───────────────────────┤
│ │Input de la vorbitori │
│ │nativi de limbi noi │
│ ├───────────────────────┤
│Dovezi sau │Evaluarea mai multor │
│discuţii │experţi în limbi şi │
│despre │conţinut (de testare) │
│ ├───────────────────────┤
│ │Traducerea din noua │
│ │limbă în limba │
│ │originală │
├──────────────┼───────────────────────┤
│Proprietăţi │Performanta itemului │
│psihometrice ├───────────────────────┤
│de bază │Fidelitate │
├──────────────┴───────────────────────┤
│Norme │
├──────────────┬───────────────────────┤
│ │Este prevăzută o normă │
│ │locală │
├──────────────┼───────────────────────┤
│ │Dovezi puternice de │
│Normă │echivalenţă atât pentru│
│non-locală │versiunile de testare, │
│ │cât şi pentru │
│ │eşantioane │
├──────────────┼───────────────────────┤
│Norme │Cerinţe mai mari decât │
│internaţionale│cele tipice ale │
│ │probelor locale │
├──────────────┼───────────────────────┤
│ │Echilibrarea surselor │
│ │din eşantion │
│Natura ├───────────────────────┤
│eşantionului │Echivalenta contextului│
│ │diferitelor părţi ale │
│ │eşantionului │
├──────────────┼───────────────────────┤
│Tipul măsurii │Conţinut verbal puţin │
│ │sau deloc │
├──────────────┼───────────────────────┤
│ │Toate versiunile │
│ │lingvistice sunt bine │
│Echivalenţa │traduse / adaptate │
│versiunii de ├───────────────────────┤
│test │Unele grupuri au │
│ │completat testul într-o│
│ │limbă non-primară │
├──────────────┼───────────────────────┤
│ │În cazul în care există│
│Asemănări ale │diferenţe mari, acestea│
│scorurilor în │trebuie să fie luate în│
│diferite │considerare şi │
│eşantioane │implicaţiile în │
│ │utilizare discutate │
├──────────────┼───────────────────────┤
│Instrucţiuni │ │
│privind │ │
│generalizarea │ │
│normelor │ │
├──────────────┴───────────────────────┤
│Echivalenţă/Fidelitate/Validitate │
├──────────────┬───────────────────────┤
│ │Prin intermediul │
│ │structurii factoriale, │
│Invarianţa în │echivalenţa matricilor │
│structura de │de corelare sau │
│construct │similaritatea modelelor│
│ │de corelare cu măsuri │
│ │standardizate │
├──────────────┼───────────────────────┤
│Validitate │Cea mai puternică │
│similară a │corelaţie cu competente│
│criteriului │similare │
├──────────────┼───────────────────────┤
│ │Elementele se corelează│
│ │în acelaşi model cu │
│Modele │alte scale │
│similare de ├───────────────────────┤
│încărcare a │Elementele de încărcare│
│scalei │cele mai puternice / │
│ │cele mai slabe sunt │
│ │similare în limbile │
│ │originale şi noi │
├──────────────┼───────────────────────┤
│Fidelitatea │Candidaţii bilingvi au │
│formei │profiluri similare în │
│alternative │două limbi │
├──────────────┴───────────────────────┤
│Generalizarea validităţii │
├──────────────┬───────────────────────┤
│Generalizarea │La traducerea testelor │
│validităţii │în familii lingvistice │
│necesită │(ex., dintr-o limbă │
│dovezi │indo-europeană, într-o │
│puternice │limbă semită) │
├──────────────┼───────────────────────┤
│ │În cazul în care un │
│ │test a fost tradus în │
│ │mai multe limbi, o │
│ │generalizare a │
│ │validităţii poate fi │
│Generalizarea │dedusă din dovezile │
│validităţii │privind invarianţa │
│poate fi │validităţii în │
│dedusă │traducerile anterioare:│
│ │testul suedez a fost │
│ │deja tradus în │
│ │franceză, germană şi │
│ │italiană şi s-a dovedit│
│ │că are echivalenţă în │
│ │aceste limbi. │
└──────────────┴───────────────────────┘
-----