Projektit

8/2001 - 7/2004

MediaTeamin ja Oulun yliopiston humanistisen tiedekunnan informaatiotutkimuksen laitoksen yhteisessä tutkimushankkeessa keskitytään tietokantojen indeksointiin sekä sisältöpohjaiseen ääni- ja kuvatallenteiden hakuun. Hankkeen rahoittaa Suomen Akatemia. Hankkeessa on mukana asiantuntijoita tietotekniikan, kielitieteen, luonnontieteen sekä informaatiotutkimuksen alalta.

Tutkimuksen keskeisin tavoite on selvittää, kuinka semanttista kuilua tietokantojen indeksoinnin käsite- ja sisältöpohjaisten lähestymistapojen välillä kyetään kaventamaan. Kun semanttista kuilua kavennetaan, pystytään suunnittelemaan entistä tehokkaampia tietokantoja ja hakukoneita.

Nykyiset ongelmat liittyvät etupäässä räjähdysmäisesti yleistyneisiin mediatyyppeihin, kuten digitaaliseen puheeseen, musiikkiin ja kuvamateriaaliin, joita haetaan tietokannoista usein semanttisten käsitteiden avulla. Hankkeessa tutkitaan, miten ja millaisia tiedonhakumenetelmiä käyttäjät soveltavat etsiessään uusia digitaalisia mediatyyppejä tietokannoista. Tutkijat keskittyvät myös siihen, kuinka käyttöliittymiä ja indeksointia tulisi tämän pohjalta kehittää.

Yksi tulevaisuuden suurista haasteista onkin, kuinka massiivisia digitaalitietokantoja voidaan järjestää ja indeksoida. Manuaalisesti sitä ei voida koskaan tehdä, ja siksi monimutkaisen tiedon tulkintaa täytyy automatisoida ainakin osittain materiaalin indeksoimiseksi. Tämä on välttämätöntä, sillä vain harvoissa tapauksissa on käytettävissä tekstimuotoista metadataa, josta voidaan poimia avainsanoja. Tällöin ne liittyvät yleensä video- ja äänitallenteisiin.

Automaattisen puheentunnistuksen menetelmät ovat yksi ratkaisu tulevaisuuden tiedonhakuongelmiin. Niiden avulla on mahdollista esimerkiksi hakea eri mediasisältöjä, kuten tv- ja radio-ohjelmia, aiheisiin liittyvien avainsanojen avulla. Puhesignaalin tulkintaa voidaan tehostaa lisäämällä haettavia piirteitä, kuten puheen prosodisia ominaisuuksia.

Myös videokuvaa täytyy kyetä käsittelemään automaattisesti. Nykyään voidaan lähinnä eritellä otokset tunnistamalla kuvan äkilliset muutokset sekä löytää keskeiset ruudut kuvailemalla elokuvan staattisempia asetelmia. Viime aikoina on kuitenkin edistytty seurattaessa kohteita ja eroteltaessa kohteita taustastaan. Tämän ansiosta voidaan kehittää entistä monipuolisempia hakutekniikoita. Vieläkin parempiin tuloksiin päästään, kun puheen- ja kuvanhaun menetelmät yhdistetään.

Keskeinen ongelma on, kuinka saadaan automaattisesti tietokannoista johdetut sisällön kuvaukset vastaamaan tiedon etsijän käyttämiä semanttisia käsitteitä. Käytännössä hakukielen täytyy vastata sisällön kuvauksessa käytettyä kieltä.

Hanke edustaa lähinnä akateemista perustutkimusta, jonka tuloksia sovelletaan muun muassa MediaTeamin Tekes-rahoitteisessa Vikings-hankkeessa.

Rautiainen M, Seppänen T & Ojala T (2006)
Advancing content-based retrieval effectiveness with cluster-temporal browsing in multilingual video databases.
Proc. 2006 IEEE International Conference on Multimedia & Expo, Toronto, Canada, 377-380.
Tiivistelmä  Artikkeli (PDF)

Ojala T, Koskela M, Matinmikko E, Rautiainen M, Laaksonen J & Oja E (2004)
Task-based user evaluation of content-based image database browsing systems.
Proc. 3rd International Conference on Image and Video Retrieval, Dublin, Ireland, 234-243.
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Ojala T & Seppänen T (2004)
Analysing the performance of visual, concept and text features in content-based video retrieval.
Proc. 6th ACM SIGMM International Workshop on Multimedia Information Retrieval, New York, NY, 197-205.
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Ojala T & Seppänen T (2004)
Cluster-temporal browsing of large news video databases.
Proc. 2004 IEEE International Conference on Multimedia and Expo, Taipei, Taiwan, 2:751-754.
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Ojala T & Seppänen T (2003)
Cluster-temporal video browsing with semantic filtering.
Proc. Advanced Concepts for Intelligent Vision Systems, Ghent, Belgium, 116 - 123.
Tiivistelmä  Artikkeli (PDF)

Rautiainen M, Seppänen T, Penttilä J & Peltola J (2003)
Detecting semantic concepts from video using temporal gradients and audio classification.
Proc. International Conference on Image and Video Retrieval, Urbana, IL, 260 - 270.
Tiivistelmä  Artikkeli (PDF)

Seppänen T, Toivanen J & Väyrynen E (2003)
MediaTeam Speech Corpus: a first large Finnish emotional speech database.
Proc. 15th International Congress of Phonetic Sciences, Barcelona, Spain, 3:2469 - 2472.
Tiivistelmä  Artikkeli (PDF)

Väyrynen P, Noponen K & Seppänen T (2003)
Utilizing linguistic phenomena in word prediction.
30. Kielitieteen päivät 2003, Joensuu, Finland, 91.
Tiivistelmä

Wolf C, Doermann D & Rautiainen M (2002)
Video indexing and retrieval at UMD.
Proc. Text Retrieval Conference TREC 2002 Video Track, Gaithersburg, MD, 711 - 720.
Tiivistelmä  Artikkeli (PDF)

Suomen Akatemia

Informaatiotutkimuksen laitos / Oulun yliopisto

Tapio Seppänen