Projektit

1/2003 - 12/2006

Tässä prosodiseen analyysiin keskittyvässä hankkeessa pyritään syventämään puheessa ilmenevien tunnetilojen korrelaattien kielitieteellistä tutkimusta ja löytämään sille sovelluskohteita etenkin informaatioteknologian alueelta. Erityinen tavoite on kartoittaa ne foneettiset ja fonologiset korrelaatit, jotka välittävät tunteita suomenkielisessä puheessa, sekä kehittää hahmontunnistusmenetelmiä emootiopuhesignaalien luokittelemiseksi. Tutkijat ovat kiinnostuneita siitä, miten ääni ja sen sävy heijastavat erilaisia emootioita, eivät niinkään leksikaalisista eli sanastollisista esiintymistä.

Tutkimuksen ylätason tavoitteena on kehittää ensimmäinen systemaattinen, usean kielentason huomioon ottava emootioiden kuvausmalli nimenomaan puhuttua suomen kieltä varten. Vastaavantyyppistä tutkimusta on toki tehty muitten kielten, etenkin englannin, osalta, mutta tämän tutkimuksen keskiössä on juuri suomen kieli. Tutkimuksessa luodaan teoreettinen malli, jota on tarkoitus soveltaa ainakin moniulotteisissa puhetietokannoissa ja niitä varten suunnitelluissa hakukoneissa.

Puhujan tunnetilojen korrelaatteja tutkitaan yhtäältä abstraktin fonologisen tason piirteinä, toisaalta konkreettisten foneettisten parametrien osalta. Tutkimus ottaa siten huomioon kategorisen, intonaatiokontuurien ja lauseaksenttien tyyppien esiintymiseen liittyvän kielellisen tiedon sekä jatkuvaluonteisen, foneettisen tiedon esimerkiksi perustaajuusilmiöistä ajan funktiona.

Puhesignaalia tutkitaan sekä instrumentaalisesti puheentutkimusalgoritmeilla (signaalinkäsittely ja tilastollinen luokittelu) että auditiivisesti fonologisen rakenteen osalta. Käytännössä tämä tarkoittaa sitä, että puhemateriaalia tutkitaan sekä korvavaraisesti että koneellisesti. Tutkija tekee aina tulkintoja siitä, onko jokin tavu painotettu vai ei. Puheentutkimusalgoritmit taas antavat helposti käsiteltävää numeraalista tietoa, ja tutkijan tehtävänä onkin yhdistää nämä kaksi tiedon muotoa.

Tutkimushanke on osa suurempaa “Emootion ilmaisun monitieteellinen tutkimus puhutussa suomen kielessä” -projektia. Se toteutetaan kolmessa yliopistossa (Oulun yliopisto, Tampereen yliopisto ja Teknillinen korkeakoulu) toimivien kolmen tutkimusryhmän yhteistyönä.

Hanke on niin ikään osa MediaTeamin informaation sisältöpohjaiseen analyysiin ja hakuun keskittyvää tutkimusohjelmaa. Ohjelmaan kuuluvat lisäksi Tekesin ja yritysten rahoittama Vikings-projekti ja Suomen Akatemian rahoittamat CBIR- sekä Filling of the Semantic Gap in the Retrieval of Audio and Video Recordings -projektit.

Toivanen J, Alku P, Laukkanen A-M, Seppänen T, Väyrynen E & Waaramaa T (2005)
Emotions in /a:/: A perceptual and acoustic study.
Proc. 6th Pan European Voice Conference, London, UK.

Väyrynen E, Keränen H, Seppänen T &Toivanen J (2005)
Performance of /f0Tool/ – a new speech analysis software for analyzing large speech data sets.
Proc. 2nd Baltic Conference on Human Language Technologies, Tallinn, 353-358.

Iivonen A, Seppänen T, Noponen K & Toivanen J (2004)
Visualisation application of speaker's temporal voice range.
Puhe ja kieli 24(1):5-16. (in Finnish)
Tiivistelmä

Keränen H, Väyrynen E, Pääkkönen R, Leino T, Kuronen P, Toivanen J & Seppänen T (2004)
Prosodic feature analysis of flight pilots in extreme conditions.
Proc. Fonetiikan päivät 2004, Oulu, Finland.
Tiivistelmä  Artikkeli (PDF)

Suomi K, Toivanen J & Ylitalo R (2003)
Durational and tonal correlates of accent in Finnish.
Journal of Phonetics 31(1):113 - 138.
Tiivistelmä  Artikkeli (PDF)

Toivanen J (2003)
Tone choice in the English intonation of proficient non-native speakers.
Proc. Fonetik 2003, Umeå/Lövånger, Sweden, 165 - 168.
Tiivistelmä  Artikkeli (PDF)

Toivanen J & Seppänen T (2003)
Creation and utilization of the MediaTeam Emotional Speech Corpus.
Proc. Corpus Linguistics 2003, Lancaster, UK, 16(2):791 - 799.
Tiivistelmä  Artikkeli (PDF)

Toivanen J, Seppänen T & Väyrynen E (2003)
Automatic recognition of emotion in spoken Finnish: preliminary results and applications.
Proc. Prosodic Interfaces 2003, Nantes, France, 85 - 89.
Tiivistelmä  Artikkeli (PDF)

Väyrynen E, Seppänen T & Toivanen J (2003)
An experiment in emotional content classification of spoken Finnish using prosodic features.
Proc. 2003 Finnish Signal Processing Symposium, Tampere, Finland, 264 - 267.
Tiivistelmä  Artikkeli (PDF)

Väyrynen P & Seppänen T (2002)
Utilising prosodic features of speech in content descriptions and retrieval of audio recordings.
Informaatiotutkimus 4:83 - 89. (in Finnish)
Tiivistelmä  Artikkeli (PDF)

Suomen Akatemia

Tapio Seppänen