Päev kulus tekstianalüüsi parameetrite hindamisest läbi närimiseks. Kamil leidis selle artikli ja arvas, et me võiks sellest koos üle käia ja asja endale selgeks teha. Ma vist tunnen ennast suhteliselt hästi kui arvutiteaduses doktorit tegev ja mitmendat korda Cambridges praktikal olev vend mingi sellise teemaga minu poole pöördub. Ehk siis ma võtsin kätte ja närisin ennast sellest läbi täna. Iga paari peatüki järel jooksis juhe kokku, aga ma olin endale muid tegevusi plaaninud, mis aitasid pead tühjendada ja edasi tööd teha (jooksmine, juuksuris ja poes käimine, kokkamine, jne). Osad valemite teisendused jäid küll siiski üle pea käima, aga ma olen suhteliselt kindel, et suurest enamusest ja kogu asja mõttest ja algoritmidest ma sain õigesti aru. Me võtame selle asja lähipäevil koos ette ja arutame otsast lõpuni läbi, et päris kindel olla.
Lisaks sain vist lõpuks pihta ka Bayesian statistika (hääldus on vist "beisian") poindile, vähemalt selles osas, mida antud teema juures kasutatakse. Ma kirjutan selle siia enda jaoks lahti, et selgem oleks (paluks mind mitte tsiteerida kuskil).
Esiteks on olemas maximum likelihood estimation (ML), ehk üldkogumi parameetrite hindamine valimi põhjal, näiteks keskväärtuse ja dispersiooni hindamine. ML puhul on eeldus (või siis eelduse puudumine), et me ei tea mitte midagi eelnevalt või teistmoodi öeldes on eelduseks, et kõik variandid on võrdvõimalikud. Näiteks võib tuua mündi viskamise, kus me eeldame, et münt võib kukkuda ühe või teise külje peale võrdse tõenäosusega.
Teiseks on maximum a posteriory estimation (MAP), mis ütleb, et tegelikult me teame ette millised variandid esinevad millise tõenäosusega, mis statistiliselt omab effekti, et misiganes parameetrit me hetkel ka ei proovi hinnata, see on kallutatud meie varasema teadmise poole. Näiteks võime ette teada, et visatav münt on mingi puudega ja külgedele kukkumise tõenäosused ei ole mitte 0.5 ja 0.5 vaid näiteks 0.2 ja 0.8. Maximum likelihood estimationit see üldse ei morjenda, aga maximum a posteriori estimation suudab seda arvestada.
Esimese ja teise kokkuvõtteks saab öelda, et ML ei hooli varasemast teadmisest, MAP hoolib.
Kolmandaks on Bayesian estimation, mis ütleb, et tegelikult me ju iga katse järel saame juurde seda "varasemat teadmist" ja saame seda arvesse võtta. Kui ML ei hooli sellest ja MAP kirjutab mingid varasema teadmise numbrid sisse valemitesse, siis Bayesian estimation paneb valemitesse selle koha peale jaotuse, mis sõltub senistest katsetest. Mündinäite puhul tähendaks see seda, et kui me ka enne katsetamise algust eeldame, et jube kõver münt on (0.2 / 0.8), siis iga mündiviske järel uuendame neid tõenäosuseid selle põhjal kuidas münt tegelikult kukkus. Ja vaat siis seda "õppimist" kasutatakse igatepidi jube kavalalt ära :)
Eilses blogis sai mainitud, et see natural language processing ei ole päris minu teema. Ma mõtlesin sellega seda, et vähemalt praegu ma ei näe ennast sellel teemal mingit uurimust tegemas või mingit selle teema valdkonda edasi arendamas. Mida ma näen ennast tegemas on neid NLP vahendeid kasutamas ja selle jaoks on mul juba hulk ideid. Valdkond tuleb vist tahes-tahtmata endale selgeks teha kuna rakendusi on palju ja ma ise vähemalt arvan, et mu ideed on päris kavalad :)
Nüüd aga on kell lõpuks saanud veerand viis hommikul, blogi on kirjutatud, mina olen saanud kaineks ja aeg on veits und teha.