Convolutional Neural Network Based Emotion Recognition from Facial Expressions Using Different Feature Engineering Methods

Abstract

With the impact of advancing technology, the automatic detection of human emotions is of great interest in various industries. Emotion recognition systems from facial images are important to meet the needs of various industries in a wide range of application areas, such as security, marketing, advertising, and human-computer interaction. In this study, automatic facial expression detection of 7 different emotions (anger, disgust, fear, happy, neutral, sad, and surprised) from facial image data has been performed. The process steps of the study are as follows: (i) preprocessing the image data with image grayscale and image enhancement methods, (ii) feature extraction by applying Gradient Histogram, Haar Wavelet, and Gabor filter methods to the preprocessed image, (iii) modeling the feature sets obtained from three different feature extraction methods with Convolutional Neural Network method, (iv) calculating the most successful feature extraction method in the detection of 7 different emotions with Convolutional Neural Network. As a result of the experimental studies, it has been determined that the Gabor filter feature extraction method is thriving with an accuracy rate of 83.12%. When the results of these methods are compared with other studies, the model developed contributes to the literature by making a difference in recognition rate, dataset size, and feature engineering methods.

Gelişen teknolojinin etkisiyle, insan duygularının otomatik olarak algılanması çeşitli sektörlerde büyük ilgi görmektedir. Yüz görüntülerinden duygu tanıma sistemleri, güvenlik, pazarlama, reklamcılık ve insan-bilgisayar etkileşimi gibi çok çeşitli uygulama alanlarında çeşitli endüstrilerin ihtiyaçlarını karşılamak için önemlidir. Bu çalışmada, yüz görüntüsü verilerinden 7 farklı duygunun (kızma, iğrenme, korku, mutlu, nötr, üzgün ve şaşkın) otomatik ifade tespiti gerçekleştirilmiştir. Çalışmanın işlem adımları şöyledir: (i) görüntü verilerinin görüntü gri tonlama ve görüntü iyileştirme yöntemleri ile ön işleme uygulanması, (ii) ön işlem uygulanan görüntüye Gradient Histogram, Haar Wavelet ve Gabor filtre yöntemlerinin uygulanarak özellik çıkarımı yapılması, (iii) üç farklı özellik çıkarım yönteminden elde edilen özellik setlerinin Evrişimsel Sinir Ağı yöntemi ile modellenmesi, (iv) 7 farklı duygunun tespitinde en başarılı özellik çıkarım yönteminin Evrişimsel Sinir Ağı ile hesaplanmasıdır. Yapılan deneysel çalışmalar sonucunda Gabor filtresi özellik çıkarma yönteminin %83,12 doğruluk oranı ile başarılı olduğu tespit edilmiştir. Bu yöntemlerin sonuçları ile diğer çalışmaların sonuçları karşılaştırıldığında, geliştirilen model tanıma oranı, veri kümesi boyutu ve özellik mühendisliği yöntemleri açısından fark oluşturarak literatüre katkı sağlamaktadır.