University of Oulu

EM- ja MCEM-algoritmi apuvälineenä suurimman uskottavuuden estimoinnissa

Saved in:
Author: Kuismin, Markku1
Organizations: 1University of Oulu, Faculty of Science, Department of Mathematical Sciences, Statistics
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 2.4 MB)
Persistent link: http://urn.fi/URN:NBN:fi:oulu-201312051972
Language: Finnish
Published: Oulu : M. Kuismin, 2013
Publish Date: 2013-12-05
Physical Description: 68 p.
Thesis type: Master's thesis
Tutor: Sillanpää, Mikko
Reviewer: Sillanpää, Mikko
Läärä, Esa
Description:
Tutkielmassa tutkitaan suurimman uskottavuuden menetelmään perustuvaa Expected Maximization-algoritmia (EM-algoritmi). Työn pääpaino on algoritmin ominaisuuksien teoreettisessa tarkastelussa eikä siinä käsitellä todellisia tutkimusongelmia tai empiirisiä aineistoja. Aluksi tarkastellaan algoritmia matemaattisesti SU-menetelmän tavoin. Tämä teoriaosuus perustuu pääsääntöisesti McLachlanin ja Krishnanin kirjaan The EM Algorithm and Extensions (1997). Algoritmin avulla tutkitaan kahden normaalijakauman sekoitusta ja tähän liittyviä parametreja. Tämä esimerkki perustuu pääsääntöisesti Louisin (1982) artikkeliin. EM-algoritmin lisäksi tutkitaan Monte Carlo EM-algoritmia (MCEM-algoritmi). Algoritmia sovelletaan yksinkertaisen yleistetyn lineaarisen sekamallin parametrien analysoinnissa. Aineistona käytetään McCullochin artikkelin esimerkin mukaan simuloitua binääristä dataa. Tässä osuudessa lähteinä on pääsääntöisesti käytetty McCullochin artikkelia Maximum likelihood algorithms for generalized linear mixed models (1997) ja Robertin ja Casellan kirjaa Introducing Monte Carlo Methods with R (2010). Lopuksi vertaillaan muodostetulla MCEM-algoritmilla laskettuja estimaatteja toiseen Markovin ketju Monte Carlo-menetelmään. Tätä varten simuloitua aineistoa analysoidaan myös bayesiläisittäin soveltamalla Gibbsin otantaa parametrien posteriorien simuloimisessa. Pääasiallisena lähteenä on käytety Läärän kirjoittamaa luentomonistetta Johdatus bayesiläiseen tilastotieteeseen (2013). EM-algoritmilla saatiin normaalijakaumien sekoituksessa erittäin hyviä SU-estimaatteja. Algoritmi on herkkä alkuarvojen valinnalle ja kaukana SU-estimaateista valituilla alkuarvoilla algoritmia on ajettava kauan uskottavuuden maksimoimiseksi. MCEM-algoritmin tapauksessa Monte Carlo otoskoon valitseminen liian suureksi lähinnä hidastaa algoritmia kohtuuttomasti eikä millään tavalla edistä algoritmin stabiloitumista. Tutkielmassa ei saatu MCEM-algoritmilla estimaatteja, jotka olisivat maksimoineet uskottavuusfunktion arvon. Laskemalla aineistosta bootsrap-estimaatit saatiin paremmat tulokset, joilla uskottavuusfunktion arvo on MCEM-estimaatteja suurempi.
see all

Subjects:
Copyright information: © Markku Kuismin, 2013. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.