Projektit

CBIR


Kesto

1/2003 - 12/2006

Kuvaus

Digitaalinen aikakausi – Internet, WWW ja uudet, tehokkaat laitteet digitaalisen informaation tallentamiseen ja luomiseen – ovat tuottaneet suuria, digitaalista dataa sisältäviä tietokantoja, kuten dokumenttikokoelmia sekä kuva- ja videokirjastoja. Tämä on puolestaan luonut tarpeen sellaisille metodeille ja työkaluille, joilla digitaalisia aineistoja voidaan tehokkaasti hakea ja selailla. Tekninen kehitys on johtanut siihen, että voimme tätä nykyä tehokkaasti indeksoida miljoonia tekstidokumentteja silmänräpäyksessä. Kuitenkin kuvista tai videoista on vaikeaa irrottaa järkevää semanttista sisältöä ilman ihmistyövoimaa. Vaikka multimedian sisältöpohjaista hakua on viimeisten kymmenen vuoden aikana laajassa mitassa tutkittukin, kehittyneimpiäkin ratkaisuja on syytä kehittää edelleen erityisesti käytettävyyden ja sisältöpohjaisten vihjeiden hyödyntämisen osalta.

Tietokoneet osaavat laskea automaattisesti matalan tason piirteitä, kuten värihistogrammeja, mutta eivät niinkään kykene määrittämään korkean tason semanttisia käsitteitä, kuten objekteja ja niiden tarkoituksia, toimintaa, tunteita ynnä muita asioita. Näin siitäkin huolimatta, että ne todennäköisesti olisivat hakujen kannalta paljon hyödyllisempiä kuin värihistogrammi. Tätä välimatkaa matalan tason piirteiden ja korkean tason semanttisten piirteiden välillä kutsutaan usein ns. semanttiseksi kuiluksi ("semantic gap"). Vaikka matalan tason piirteet ovat käyttökelpoisia laskennallisesta näkökulmasta, niiden käyttö siirtää vastuun semanttisen kuilun ylittämisestä hakujärjestelmän käyttöliittymälle. Tämä on osoittautunut erittäin vaikeaksi toteuttaa, minkä vuoksi kaikki kehitysaskeleet semanttisen kuilun kaventamiseksi edistäisivät multimedian sisältöpohjaista hakua merkittävästi.

Tämän tutkimusprojektin tavoitteena on kaventaa semanttista kuilua monitieteisellä, kansainvälisellä ja kotimaisella tutkimusyhteistyöllä, johon osallistuu tutkijoita useilta tieteenaloilta (multimediasignaalinkäsittely, matematiikka, informaatiotutkimus ja kielitiede). Tutkimuksessa pyritään yhdistämään yksittäisistä mediatyypeistä saatava informaatio tehokkaaksi multimedia-analyysiksi. Ensiksi tunnistetaan käsiteltävän aineiston ja informaationhakuongelman perusteella oleelliset korkean tason semanttiset konseptit, joille sitten kehitetään tehokkaat laskennalliset mallit. Kehitettyä metodologiaa arvioidaan empiirisesti kolmella, toisiaan täydentävällä tavalla: 1) yksittäisten algoritmien suorituskykyä analysoidaan yksinkertaisilla kokeilla, kuten Matlab-simulaatioilla, jotka eivät välttämättä liity suoraan mahdolliseen käytännön sovellukseen, 2) osallistutaan vuosittaiseen TREC Video Track -konferenssiin, joka on tärkein kansainvälinen videonhakujärjestelmien arviointifoorumi sekä 3) kehitetään ja arvioidaan hakujärjestelmän prototyyppejä käyttäjäkokeiden avulla. Näin saadaan arvokasta palautetta semanttisten mallien ja menetelmien kehitystyöhön.

Valikoidut julkaisut

Rautiainen M & Seppänen T (2005)
Comparison of visual features and fusion techniques in automatic detection of concepts from news video.
Proc. 2005 IEEE International Conference on Multimedia & Expo, Amsterdam, The Netherlands.
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Ojala T, Seppänen T (2005)
Content-based browsing in large news video databases.
Proc. 5th IASTED International Conference on Visualization, Imaging and Image Processing, Benidorm, Spain.
Tiivistelmä  Artikkeli (PDF)

Väyrynen P & Seppänen T (2003)
Using WordNet in information retrieval.
Informaatiotutkimus 2:52 - 55. (in Finnish)
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Penttilä J, Vorobiev D, Noponen K, Väyrynen P, Hosio M, Matinmikko E, Mäkelä SM, Peltola J, Ojala T & Seppänen T (2002)
TREC 2002 Video Track experiments at MediaTeam Oulu and VTT.
Proc. Text Retrieval Conference TREC 2002 Video Track, Gaithersburg, MD, 417 - 428.
Tiivistelmä  Artikkeli (PDF)

Väyrynen P, Seppänen T, Noponen K & Juuso I (2002)
On the usefulness of linguistic knowledge in different areas of application in language technology.
Informaatiotutkimus 3/2002:59 - 66. (in Finnish)
Tiivistelmä  Artikkeli (PDF)

Projektin johtaja

Timo Ojala

MediaTeam Oulu

Etusivu
Tutkimuksen Historia
MediaTeam lyhyesti
MediaTeam Spirit
Tutkimus
Projektit
Julkaisut
Demot ja tiedostot
Ajankohtaista
Henkilökunta
Avoimet työpaikat
Yhteystiedot

Oulun yliopisto

Suomi English