JultikaUniversity of Oulu repository

Abstract

This thesis compares the results of clustering image sets by features extracted using different layers of a convolutional neural network. The image features were extracted with layers of a pre-trained image classification network which layer weights were trained with ImageNet dataset. Eight image sets were used to test which extracted features achieve the best clustering accuracies. Features from the test image sets were extracted with the layers of the network architecture, and the features were clustered on a layer by layer basis. The clustering accuracies were measured with normalized mutual information (NMI).

The results show that the clustering accuracies depend on the characteristic of the image set being clustered. The image sets with more than two image categories had the best NMI scores with the features from the second last layer in the architecture, while the image sets with two categories had different layers give the best NMI scores. Moreover, the image set with blurred images had the best result come from few of the first layers, showing that the current method of selecting the second last layer for feature extraction in pre-trained CNNs is not always optimal.

Piirteiden vaikutus kuvaryhmän klusterointiin käyttäen konvoluutioverkolla irroitettuja piirteitä

Tiivistelmä

Tässä työssä vertaillaan kuvajoukkojen klusterointituloksia eri piirteillä. Piirteiden irrotukseen kuvista käytettiin valmiiksi koulutetun konvoluutio neuroverkon eri tasoja. Neuroverkko oli koulutettu kuvaluokitteluun ImageNet datajoukolla. Kahdeksan kuvajoukkoa klusteroitiin eri piirteillä, jotka oli irrotettu neuroverkon eri tasoilla. Näiden kuvajoukkojen klusterointitarkkuus mitattiin parhaan piirreirrotus tason löytämiseksi kullekin kuvajoukolle. Klusteroinnin tulos mitattiin normalisoidulla yhteisen informaation metriikalla (normalized mutual information).

Työn tulos osoitti, että klusterointitulos taso tasolta mitatessa riippuu klusteroitavasta kuvajoukosta. Kuvajoukot, jotka sisälsivät kuvia useammasta kuin kahdesta kategoriasta, klusteroituvat parhaiten verkon toiseksi viimeisellä tasolla irrotetuilla piirteillä. Kahden kategorian kuvajoukkojen parhaat klusterointi tulokset tulivat eri tasoilla. Kuvajoukko joka sisälsi kuvia sumeista ja tarkoista kuvista, saavutti parhaat klusterointitulokset piirteillä, jotka oli irrotettu verkon ylemmiltä tasoilta. Tulokset osoittavat, että yleisesti käytetty menetelmä valita valmiiksi koulutetun verkon toiseksi viimeinen taso piirreirrotukseen ei aina anna optimaalista tulosta.