Projektit

6/2000 - 5/2003

Vikings-hankkeessa kehitetään uusia sisältöpohjaisia hakujärjestelmiä elokuva- ja äänitekannoista tehtäviä hakuja varten. Hankkeella on kaksi keskeistä tavoitetta: tutkijat pyrkivät kehittämään multimedian sisältöpohjaisessa haussa tarvittavaa metodiikkaa ja uudenlaista kieliteknologiaa sekä toisaalta testaamaan kehitettyä tekniikkaa ja palvelusovelluksia. Avainteknologioita ovat digitaalinen signaalinkäsittely, digitaalinen kuva-analyysi, hahmontunnistus, visualisointi ja hakukoneteknologia.

Hankkeessa kehitettävien tekniikoiden avulla on mahdollista muun muassa tunnistaa ääninauhoitteista musiikkia sisältäviä kohtia sekä löytää radio-ohjelmien sisältämien keskusteluosuuksien alku- ja loppukohtia. Kehitämme diskurssianalyysin menetelmiä, joiden avulla voidaan havaita puheenvuorojen siirtyminen keskustelijalta toiselle nauhoitteessa. Tunnistus perustuu keskustelijoiden puheen prosodisiin piirteisiin ja niiden eroihin.

Hankkeessa kehitettävän uuden keinoälyteknologian avulla voidaan puhesignaalista tunnistaa puhujien tunnetilat automaattisesti lähes yhtä tarkasti kuin ihmiset tekevät. Tutkimuksessa keskitytään suomen ja englannin kieleen. Kehitämme myös uusia kuvankäsittelyn tekniikoita videokuvan sisällön tulkintaa varten. Kuvan värisisällölle ja sen vaihteluille kuvatasossa ja kuvasarjassa lasketaan erilaisia kuvaimia, joita pyritään hyödyntämään luokiteltaessa kuvia sisällön perusteella.

Kehitettyjä algoritmeja kootaan hakukoneeseen, joka yhdistää ääni- ja kuvapiirteet korkeamman tason semanttisiksi kuvauksiksi. Käyttäjä voi tehdä haun sekä ääneen että kuvaan liittyvien kriteerien perusteella. Hankkeessa suunnitellaan visuaalinen käyttöliittymä, jolla selataan tietokantoja, arvioidaan hakutuloksia sekä tehdään iteratiivisia hakuja. Hakukonetta verrataan vastaaviin, muualla maailmassa tehtyihin järjestelmiin osallistumalla vuosittain hakukoneitten kansainväliseen VideoTREC-kilpailuun.

Jutel
Nokia
Oulu Telecom/Finnet-yhtiöt
Tekes

VTT Elektroniikka

Tapio Seppänen