Lühikokkuvõte: Pildituvastuse kasutamine graafilise väljundiga programmeerimisülesannete automaatseks hindamiseks

Tuhanded inimesed võtavad osa erinevatest programmeerimise MOOC-idest (Massive Open Online Courses). See tähendab omakorda, et hinnata tuleb tuhandeid lahendusi. Kuna sellise lahenduste hulga käsitsi hindamine on väga aeganõudev, on automaatkontrollide kasutamine hädavajalik. Selleks, et ülesanded oleksid automaatselt hinnatavad, peavad neil olema ranged ning üks-üheselt defineeritud nõuded. See piirab aga erinevate ülesannete (sh loovate) tüüpide kasutamist. Selleks, et võimaldada loovate ülesannete kasutamist, proovisime kasutusele võtta graafilise väljundiga programmeerimisülesandeid. Loovülesannete analüüsimiseks ja hindamiseks töötasime välja, implementeerisime ja analüüsisime süsteemi, mis on võimeline hindama programmeerimisülesandeid graafilise väljundiga kasutades pildituvastust. Programmi poolt genereeritud graafiline väljund saadetakse välisele teenusepakkujale analüüsimiseks. Koos graafilise väljundiga saadetakse märksõna, et mis peaks pildil olema ning teenus vastab tõenäosusskooriga, et märksõna eksisteerib pildil. Lahendus aktsepteeritakse või lükatakse tagasi tõenäosuse põhjal, et kas objekt on väljundis või mitte. Süsteemi testiti ja hinnati MOOC-i “Programmeerimise Alused” kahes katses. Esimesel katsel kasutasime süsteemi automaatseks graafilise väljundiga ülesannete hindamiseks kindlalt teemal ning teisel katsetusel juba tudengi poolt vabalt valitud teemal. Süsteemi kasulikkuse hindamine ning tudengite tagasiside analüüs on välja toodud tulemuste peatükis ning samuti on välja toodud ettepanekud süsteemi täiustamiseks ning suunad, mida edasi uurida.