3.Tutkijanuralla

TkT Mika Rautiainen

MediaTeamin tutkija
TkT Mika Rautiainen

Tekniikan tohtori Mika Rautiainen on työskennellyt MediaTeamissa koko sen olemassaolon ajan. Kuluneiden kymmenen vuoden aikana Rautiaisen ura on edennyt tutkimusryhmän työntekijöille melko tyypilliseen tapaan osa-aikaisesta harjoittelijasta aina tutkijatohtoriksi saakka.

Rautiainen aloitti työnsä osa-aikaisena harjoittelijana MediaTeamissa syksyllä 1997. Vuonna 1998 hän vieraili Tokiossa NEC:n Central Research Labsilla, missä hän työskenteli kuuden kuukauden ajan kameroihin perustuvan asiakirja-analyysijärjestelmän parissa. Vierailun jälkeen Rautiainen jatkoi MediaTeamissa tutkimusharjoittelijana ja vuonna 2000 hänestä tuli diplomityöntekijä. Tähän mennessä hän oli jo ollut mukana kahdessa MediaTeamin projektissa, IDIR:ssä ja Tekesin rahoittamassa Countess-projektissa. Molemmissa projekteissa tutkittiin kuvanhakua, vaikkakin hieman eri näkökulmista; ei olekaan ihme, että Rautiaisen diplomityö, "Finding semantic knowledge from images in visual information retrieval and surveillance applications", liittyi läheisesti tiedonhakuun.

Valmistuttuaan diplomi-insinööriksi vuonna 2001 Rautiainen teki kuuden kuukauden tutkijavierailun USA:ssa lähellä Washington D.C.:tä sijaitsevan Marylandin yliopiston kielen- ja mediankäsittelyn laboratorioon (Laboratory for Media and Language Processing, LAMP). Siellä hän työskenteli laboratorion toisen johtajan, tohtori David Doermannin alaisuudessa. Vierailun aikana Rautiaisen väitöskirjan aihe selkeni; se tulisi käsittelemään semanttista videonhakua, johon Rautiainen tutustui TREC-videonhakukonferenssissa NIST:ssä (USA:n valtiollinen standardointi- ja teknologiainstituutti). Rautiaisen vierailu Marylandiin oli osa MediaTeamin ja Marylandin yliopiston pitkäaikaista yhteistyötä, joka on johtanut lukuisiin tieteellisiin yhteisjulkaisuihin ja vaikuttanut useisiin väitöskirjoihin.

Palattuaan Ouluun Rautiainen jatkoi opintojaan ja työskenteli samalla tutkijana MediaTeamissa. Hänen väitöskirjansa edistyi MediaTeamin projektien - erityisesti Suomen Akatemian rahoittamien Semantic Gap - ja CBIR (Content-based Information Retrieval) -projektien - mukana. Rautiainen vastasi myös MediaTeamin osuudesta kansainvälisessä TREC-videonhakukonferenssissa.

TREC

TREC (Text Retrieval Conference) pyrkii kartoittamaan informaationhaun tutkimuksen tulokset vuosittain erilaisilla arviointimenetelmillä. Konferenssi on avoin kaikille tutkimusryhmille, ja sen tuloksia voi tutkia TREC:n verkkosivuilla. 16. TREC-konferenssi pidettiin NIST:ssä (USA:n valtiollinen standardointi- ja teknologiainstituutti) Marylandin Gaithersburgissa vuonna 2007.

TREC keskittyi alunperin vain tekstiasiakirjojen informaationhakuun, mutta laajeni käsittämään myös multimedian vuonna 2001 sisällyttämällä videotietokannat arviointeihinsa, joihin osallistuu huomattava osa kansainvälisistä tutkimusinstituuteista. Tutkimusinstituuttien osuuden arvioinneista on tarkoitus parantaa sisältöpohjaisten hakujärjestelmien kykyä löytää oleellista informaatiota. Konferenssin keskeisin tarkoitus on edistää multimedianhakujärjestelmien kehittämistä maailmanlaajuisesti.

MediaTeam on osallistunut TREC-konferenssiin vuodesta 2002 lähtien.

Jatko-opiskelunsa aikana Rautiainen osallistui myös muihin MediaTeamin hankkeisiin, kuten Mobile Kärpät -, Oulu Expo -, Digital Oulu Cultural Database - ja Vikings-projekteihin, sekä useisiin alihankintana toteutettuihin mobiililaitteisiin liittyviin projekteihin. Joulukuussa 2006 Rautiainen väitteli tohtoriksi aiheenaan sisältöpohjaiset menetelmät, jotka avustavat käyttäjiä tiedon hakemisessa heterogeenisistä videotietokannoista. Väitöskirja esitteli laskennallisia menetelmiä, joilla voidaan arvioida video-otosten visuaalisia ja käsitteellisiä samankaltaisuuksia, sekä mallin videotietokannan sisältöperusteisesta selaamisesta.

Tällä hetkellä MediaTeamissa tutkijatohtorina työskentelevä Rautiainen jatkaa vielä ainakin kolme vuotta keskittymistä videoanalyysiin ja sen käyttöön multimediatietojärjestelmissä varastoimisen ja hakemisen näkökulmasta. Hän painottaa, että videoanalyysiä voidaan käyttää myös useilla muilla ohjelmistoalueilla, mikä tekee siitä laajan ja kiinnostavan tutkimusaiheen.

Rautiaisen houkutteli akateemiselle uralle mahdollisuus keksiä uutta ja työskennellä uusien ja tutkimattomien aiheiden parissa. Käytännössä tutkimustyö on merkinnyt suurta määrää lukemista ja eri ilmiöiden tutkimista sekä tieteellisten artikkeleiden kirjoittamista. Teollisuuden projekteissa työskentely on rajoittanut tutkimuksen laajuutta ja syvyyttä. MediaTeam on kuitenkin antanut hänelle mahdollisuuden työskennellä kansainvälisellä tutkimuskentällä, osallistua kansainvälisiin konferensseihin ja vierailla ulkomaisissa tutkimuslaitoksissa.

Yhteistyö Marylandin yliopiston kanssa

MediaTeamilla on sopimus tieteellisestä yhteistyöstä USA:n Marylandin yliopiston kielen- ja mediankäsittelyn laboratorion (Laboratory for Media and Language Processing, LAMP) kanssa. Ryhmät ovat tehneet yhteistyötä monissa hankkeissa, esimerkiksi "Cooperative research on computer vision"-, "Distributed media processing in hybrid networks"-, "Content-based mobile multimedia retrieval"- ja "Content-based information retrieval"-projekteissa ja CAPNET-ohjelman puitteissa.

MediaTeam ja LAMP ovat tehneet yhteistä tutkimusta sisältöpohjaisen multimediahaun alalla ja osallistuneet muun muassa TREC Video Trackiin vuosina 2001 ja 2002. Ryhmillä on myös tutkijavaihto-ohjelma, jonka ansiosta MediaTeamin tutkijat ovat tehneet yhteensä noin 30 3-12 kuukauden vierailua LAMP:iin vuoden 1999 jälkeen. Tutkijavaihto-ohjelmaa rahoittaa Tekes.

Kysyttäessä MediaTeamin tulevaisuudesta Rautiainen sanoo uskovansa ryhmän panostuksen uuden tiedon luomiseen tuottavan uusia innovaatioita ja uutta, merkittävää teknistä osaamista. Hän arvelee olevan todennäköistä, että MediaTeamin tulevaisuus sisältää uusia teknisiä innovaatioita, jotka kiinnostavat myös kansainvälistä mediaa. Kansainvälisesti arvostetun brändin luominen ei kuitenkaan ole helppoa, vaan vaatii kymmenien vuosien tutkimusta mahdollisesti riskialttiilla tutkimusalueella. Teknologisen edelläkävijän maineen kasvaessa syntyy kuitenkin uusia mahdollisuuksia työskennellä eri kulttuureista tulevien tutkijoiden kanssa. Rautiainen rohkaisee aloittelevia tutkijoita avoimeen keskusteluun kollegoidensa kanssa ja kannustaa arvaamaan teknologian tulevia trendejä. Tutkimus tulee viedä loppuun asti, aina korkeampaan tietoon pyrkien: on kysyttävä paljon tärkeitä mitä- ja miksi-kysymyksiä.

Mika Rautiainen toivottaa kymmenvuotiaalle MediaTeamille hyvää syntymäpäivää!

Aiheeseen liittyviä MediaTeamin projekteja

CBIR

1/2003-12/2006

CBIR-tutkimusprojektin tavoitteena oli pienentää semanttista kuilua monitieteellisen tutkimuksen keinoin. Tutkimus perustui läheiseen kansainväliseen ja kansalliseen yhteistyöhön eri alojen, kuten multimediasignaalinkäsittelyn, matematiikan, informatiikan ja kielitieteen, tutkijoiden välillä sekä erityyppisistä lähteistä saadun tiedon yhdistämiseen yhtenäiseksi multimedia-analyysiksi.

Rahoittajat ja yrityspartnerit

  • Suomen Akatemia

Semantic Gap

8/2001-7/2004

Semantic Gap -hanke oli MediaTeamin ja humanistisen tiedekunnan informaatiotutkimuksen laitoksen yhteishanke, joka keskittyi tietokantojen luettelointiin ja ääni- ja kuvatallenteiden sisältöpohjaiseen hakuun. Temaattisesti projekti oli lähellä Vikings-projektia, jossa sen tuloksia kokeiltiinkin käytännössä.

Projektin päätarkoitus oli pienentää semanttista kuilua tietokantojen luetteloinnin konsepti- ja sisältöpohjaisten ratkaisujen välillä ja mahdollistaa siten parempien tietokantojen ja hakukoneiden luominen. Haasteena tutkimuksessa olivat kasvavat mediat, kuten digitaalinen puhe, musiikki ja kuvat, joiden kohdalla hakukriteereihin täytyi usein sisällyttää semanttisia näkökohtia.

Tutkimuskysymyksissä pohdittiin teknologiaa ja semanttista/kognitiivista tietoa yhdistävää käyttöliittymää; sen kykenisi luomaan ainoastaan aidosti monitieteinen ryhmä. Hanke onnistui erittäin hyvin, ja sen tulokset otettiinkin pian käyttöön: luodulla hakukoneella osallistuttiin vuosittaiseen VideoTREC-kilpailuun, jota rahoittaa muun muassa NIST.

Rahoittajat ja yrityspartnerit

  • Suomen Akatemia
Vikings

Vikings

6/2000-5/2003

Vikings-projekti toteutettiin yhteistyössä VTT Elektroniikan kanssa. Siinä kehitettiin uusia sisältöön perustuvia hakujärjestelmiä video- ja äänitallenteista koostuviin tietokantoihin.

Paitsi luoda menetelmiä sisältöön perustuvaan multimediahakuun, projektin tarkoituksena oli myös luoda uutta kieliteknologiaa ja kokeilla sitä käytännössä. Tärkeimpiä teknologioita olivat digitaalinen signaalinkäsittely, digitaalinen kuva-analyysi, hahmontunnistus ja visualisointi- ja hakukonetekniikat.

Tutkijat loivat projektissa uusia tekoälytekniikoita, joiden avulla pystyttiin tunnistamaan puhujien (pääasiassa suomen- ja englanninkielisten) tunnetiloja äänisignaalista lähes yhtä automaattisesti ja täydellisesti kuin oikeat ihmiset. Hankkeessa luotiin myös uusia kuva-analyysitekniikoita videokuvan tulkitsemiseen: kuvat luokiteltiin ajallisten ja avaruudellisten värimuutosten perusteella. Lopuksi algoritmit yhdistettiin hakukoneeksi, jossa yhdistyivät ääni- ja video-ominaisuudet.

Rahoittajat ja yrityspartnerit

  • Jutel
  • Nokia
  • OPOY/Finnet -ryhmä
  • Tekes
Countess

Countess

1/1999-12/2000

Kaksivuotisessa Countess-projektissa tutkijat loivat uusia ratkaisuja sisältöperusteiseen kuvahakuun. Projektissa luotua hakukoneprototyyppiä voidaan käyttää kuvien hakemiseen digitaalisesta tietokannasta niiden sisällön perusteella.

Rahoittajat ja yrityspartnerit

  • Acta Systems
  • OPOY/Finnet -ryhmä
  • Tekes
  • Yritys-Sampo

Valikoituja julkaisuja

Rautiainen M, Seppänen T & Ojala T (2006) On the significance of cluster-temporal browsing for generic video retrieval - a statistical analysis. ACM Multimedia 2006, Santa Barbara, CA, 125-128.

Juuso I & Seppänen T (2006) Novel tools for creating and visualising metadata for digital movie retrieval. Digital Humanities 2006, Paris, France, 107.

Rautiainen M & Seppänen T (2005) Comparison of visual features and fusion techniques in automatic detection of concepts from news video. Proc. 2005 IEEE International Conference on Multimedia & Expo, Amsterdam, The Netherlands. Tiedot

Lilja J, Juuso I, Kortelainen T, Seppänen T & Suominen V (2004) Mitä katsoja kertoo elokuvasta – elokuvan sisäisten elementtien tunnistaminen ja sisällönkuvailu. Informaatiotutkimus 23(3):59–69 (in Finnish).

Rautiainen M, Ojala T & Seppänen T (2004) Cluster-temporal browsing of large news video databases. Proc. 2004 IEEE International Conference on Multimedia and Expo, Taipei, Taiwan, 2:751–754. Tiedot

Rautiainen M, Ojala T & Seppänen T (2003) Cluster-temporal video browsing with semantic filtering. Proc. Advanced Concepts for Intelligent Vision Systems, Ghent, Belgium, 116-123. Tiedot

Rautiainen M, Penttilä J, Pietarila P, Noponen K, Hosio M, Koskela T, Mäkelä SM, Peltola J, Liu J, Ojala T & Seppänen T (2003) TRECVID 2003 experiments at MediaTeam Oulu and VTT. Proc. TRECVID Workshop at Text Retrieval Conference TREC 2003, Gaithersburg, MD. Tiedot

 

Ojala T, Pietikäinen M & Mäenpää T (2002) Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7):971 - 987. Tiedot

Rautiainen M & Doermann D (2002) Temporal color correlograms for video retrieval. Proc. 16th International Conference on Pattern Recognition, Quebec, Canada, 1:267 - 270. Tiedot

Rautiainen M, Penttilä J, Vorobiev D, Noponen K, Väyrynen P, Hosio M, Matinmikko E, Mäkelä SM, Peltola J, Ojala T & Seppänen T (2002) TREC 2002 Video Track experiments at MediaTeam Oulu and VTT. Proc. Text Retrieval Conference TREC 2002 Video Track, Gaithersburg, MD. Tiedot

Ojala T, Kauniskangas H, Keränen H, Matinmikko E, Aittola M, Hagelberg K, Rautiainen M & Häkkinen M (2001) CMRS : Architecture for content-based multimedia retrieval. Proc. Infotech Oulu International Workshop on Information Retrieval, Oulu, Finland, 179-190. Tiedot

Doermann D, Sauvola J, Kauniskangas H, Shin C, Pietikäinen M & Rosenfeld A (1997) The development of a general framework for intelligent document image retrieval. In: Document Analysis Systems II, Series in Machine Perception and Artificial Intelligence, World Scientific, 28 p.

Valikoituja väitöskirjoja

Rautiainen M (2006) Content-based search and browsing in semantic multimedia retrieval. Dissertation, Acta Univ Oul C 262, Department of Electrical and Information Engineering, University of Oulu, Finland. Tiedot

Kauniskangas H (1999) Document image retrieval with improvements in database quality. Dissertation, Acta Univ Oul C 140, Department of Electrical Engineering, University of Oulu, Finland Tiedot

Ojala T (1997) Nonparametric texture analysis using spatial operators, with applications in visual inspection. Dissertation, Acta Univ Oul C 105, Department of Electrical Engineering, University of Oulu, Finland. Tiedot

Sauvola J (1997) Document analysis techniques and system components with applications in image retrieval. Dissertation, Acta Univ Oul C 98, Department of Electrical Engineering, University of Oulu, Finland Tiedot

Valikoituja diplomitöitä

Matinmikko E (2002) Image database browsing system. M.Sc. thesis, Department of Electrical Engineering, University of Oulu, Finland (in Finnish). Tiedot

Keränen H (2001) A mobile retrieval user interface for heterogeneous multimedia document bases. M.Sc. thesis, Department of Electrical Engineering, University of Oulu, Finland (in Finnish). Tiedot

Rautiainen M (2001) Finding semantic knowledge from images in visual information retrieval and surveillance applications. M.Sc. thesis, Department of Electrical Engineering, University of Oulu, Finland (in Finnish). Tiedot

Hagelberg K (2000) Sisältöpohjaisten kuvanhakujärjestelmien hakutekniikat. Master´s Thesis, Department of Information Processing Science, University of Oulu, Finland (in Finnish). Tiedot

Koivusaari M (1998) Implementation of content-based document image retrieval system. M.Sc. thesis, Department of Electrical Engineering, University of Oulu, Finland (in Finnish). Tiedot