Day 39

Item Response Theory (IRT) siis. Hästi lühidalt on idee selles, et eeldatakse, et eksisteerivad erineva raskusega küsimused ja arvatakse, et sellega peaks arvestama. Kõige parem on seda demonstreerida vastandudes tavalisele lähenemisele. Oletame, et meil on matemaatika test, kus on küsimused ühekohaliste arvude liitmisest kuni eksponentfunktsiooni integreerimiseni. Tavaline test võtab kätte ja liidab kõik punktid kokku ja leiab mingi skoori. Sama skoor võib tulla suvalisest kombinatsioonist õigetest vastustest - st. täpselt sama tulemuse saavad vennad, kes vastavad õigesti ühekohaliste arvude liitmisele ja kõigele muule valesti võrreldes nende vendadega, kes ei viitsi midagi muud peale integreerimise üldse tehagi, aga seda teevad hästi. IRT teeb seda asja teistmoodi, võttes arvesse nende küsimuste erineva raskusastme. Kuidas see kõik toimub ei olegi niiväga keeruline, aga siinkohal lahti seletama hakata pole ka mõtet.

Põhilised märkmed päevast:

• theta tuleb sellest kuipalju standardhälvet on keegi alla või üle keskmise. theta = 1 siis kui skoor on keskmine + 1 SD. theta = 2 siis kui skoor on keskmine + 2 SD. theta = -1 siis kui skoor on keskmine -1 SD
• theta funktsioon on kumulatiivne tõenäosusfunktsioon
• theta on "ability", mitte total score

Üldiselt oli täna VÄGA huvitav. Ma olin IRT-st enne lugenud wikipediast, aga eriti mitte aru saanud. Täna võeti väga üksi-pulgi see asi lahti ja selgitati ja vastati küsimustele, seega sai palju selgemaks. Tegelesime kaheparameetrilise mudeliga, mis tähendab seda, et lisaks küsimuste erineva raskusastme eeldusele tehakse veel eeldus, et erinevad küsimused on erineva "diskrimineeriva" ehk eristava jõuga. Näide oleks eesmärk teada saada suitsiidiriski nende küsimuste võrdluses: "Kas sa oled täna tahtnud ennast tappa?" versus "Kuidas sa ennast tunned?". Mõlemad küsimused justkui uurivad, et kui hästi-halvasti inimene ennast tunneb, aga esimene küsimus neist teeb väga konkreetset vahet suitsiidiriskiga inimeste ja teiste vahel kui teine küsimus ilmselt ka eristab suitsiidiriskiga inimesed, aga üldse mitte nii hästi. Ehk siis mudeli parameetrid on küsimuse raskus ja diskrimineerimisvõime.

Kursusepäeva teine pool oli praktiline osa, kus me võtsime ette ühe R-i koodijupi, genereerisime testandmed ja proovisime IRT funktsioone selle peal. David leidis paaril korral, et on hea idee kasutada "Lauri-methodit", ehk siis peale seda kui ta ise oli kõik ära seletanud lasi minul uuesti üle seletada. Ma olin rahul - ma sain ise asjast palju paremini aru ja teised olid minult rohkem valmis küsima kui Davidilt, seega vähemalt paari inimese jaoks oli veel sellest kasu peale minu :)

Peale kursusepäeva tagasi kontorisse tulles jätkasime arutelu veel tunnikese jagu, kus ma oma intuitsiooni pealt arvasin, et ikka täiesti niisama ei saa IRT puhul küsimustikus küsimusi vahetada ja Michal (kes on sel teemal oma magistritöö teinud) vaidles mulle vastu. Või noh, pisut keerulisem vaidlus oli, aga sisu oli selles. Tõestamiseks ta simuleeris hunniku andmeid ja lõpuks jäi ikkagi nõusse minuga. Ma olen jätkuvalt väga rahul :)

Homme viimane päev, kus me eile õpitud Concerto oskused ja täna õpitud IRT oskused paneme kokku ja ehitame Concertos valmis adaptiivse testi, mis annabki kokku selle lühendi CAT - Computer Adaptive Testing.

Lõpetuseks - "A Day at the Park"