Vücut kinematiği izleme verilerinin analitiği

Abstract

İnsan etkinlikleri tanıma konusu; bilgisayar-insan etkileşimi, robotik, kablosuz sensör ağları gibi birçok konuları içermekte ve çok aktif bir araştırma konusu olmaktadır. Aktivitelerin tanınması üzerine araştırmalar ağırlıklı olarak RGB videolar ve giyilebilir sensörleri kapsamaktadır. Aktivitelerin tanınması, tehlikeli olayları tespit etmek veya yalnız yaşayan insanları izlemek gibi birçok alana uygulanabilir. Özellikle günlük faaliyetlerin izlenmesi kişiler için daha önemli olmakla birlikte; yapılandırılmamış günlük aktivitelerin tanınması çok daha zor bir görev haline gelir. Aktiviteleri doğru tanımlama; sensörlerin konumları, pil durumları, ortamda sensörleri etkileyecek çevresel faktörler, verideki gürültü gibi birçok parametreye bağlı olduğu için hala çözülmesi gereken birçok probleme sahiptir. Çalışmanın temel amacı, kablosuz iki vücut sensöründen elde edilen vücut kinematiği verilerinin (ham verilerin) işlenerek derin öğrenme ve makine öğrenmesi metotlarının uygulanmasıdır. Son yıllarda derin öğrenme temelli yaklaşımlar, görüntü sınıflandırma, nesne tanıma vb. birçok alanda büyük başarılar elde etmiştir. Bu nedenle bu çalışmada makine öğrenmesi ve derin öğrenmesi yaklaşımlarını başarıları karşılaştırılmaktadır. Uygulanan metotların doğrulukları kıyaslanarak verimize en uygun metot veya metotlar belirlenmiş olacaktır. Metotların başarı kıyaslamalarına ek olarak çalışmamızda derin öğrenme metoduyla eğitilecek LSTM sinir ağında kullanılacak hiperparametreler için en uygun değerler test edilerek belirlenmiştir. Metotlar uygulanmadan önce veride birçok ön işleme yapılmıştır. Kablosuz iki vücut sensörünün birbirine göre hareketleri inceleneceği için sensörlerden kaydedilen verilerin ardışık sırayla gelmesi beklenmektedir. Sırasız veya farklı sırayla gelen verilerin eşleştirilmesi için bir metot geliştirilmiştir. Eşleştirilen veri (ham veri) üzerinde bir dizi dönüşüm işlemi yapılmıştır. Kuaterniyon cinsinden kaydedilen veri öncelikle rotasyon matrisine, rotasyon matrisinden de Euler açılarına dönüştürülmüştür. Kaydedilen veri, gerek ortamdan kaynaklanan gerek sensörlerden kaynaklanan sorunllar nedeniyle gürültü bir veri olduğu için, verilerin eşleştirilmesi ve dönüştürülmesi işlemlerinden sonra filrelenmesi gerekmekteydi. Bu amaçla, medyan filtre kullanılarak gürültülü sinyaller ve uç değerler düzeltilmiştir. Filtrelenmiş veri üzerinde öncelikle LSTM sinir ağı eğittiğimiz derin öğrenme metodu için test edilerek en uygun hiperparametreler belirlenmiştir. Denetimli makine öğren- mesi metotlarından DecisionTree, RandomForest, GradientBoosting, AdaBoost, KNN, GaussianNaiveBayes metotları denenmiştir. Test edilen makine öğrenmesi metotlarının doğrulukları kendi aralarında ve derin öğrenme metodu ile karşılaştırılmış ve sonuç olarak LSTM sinir ağı geliştirilerek oluşturulmuş derin öğrenme metodunun daha başarılı olduğunu gösterilmiştir.

Recognition of human activities; includes many threads such as computer-human interaction, robotics, wireless sensor networks and it is a very active research topic. Research on recognition of activities mainly includes RGB videos andwearable sensors. The recognition of activities can be applied to many areas, such as detecting dangerous events or watching people living alone. In particular, monitoring of daily activities is more important for people; recognition of unstructured daily activities becomes a much more difficult task. Accurate description of activities; Since it depends on many parameters such as the location of the sensors, battery conditions, environmental factors affecting the sensors in the environment, noise in the data, it still has many problems to be solved. The main purpose of the study is to apply deep learning and machine learning methods by processing body kinematics data (raw data) obtained from two wireless body sensors. In recent years, deep learning based approaches, image classification, object recognition and so on. has achieved great success in many areas. Therefore, in this study, machine learning and deep learning approaches are compared. By comparing the accuracy of the applied methods, the most efficient methods or methods will be determined. In addition to the success comparisons of the methods, the most effective values for the hyperparameters to be used in the LSTM neural network to be trained with the deep learning method were determined by testing. Before the methods were applied, several preprocesses were made on the raw data. Since the movements of the two wireless body sensors relative to each other will be examined, it is expected that the data recorded from the sensors will come in sequential order. A method has been developed for mapping data from unordered or different order. A series of conversions were performed on the matched data (raw data). The data recorded in quaternion were first converted to rotation matrix and from rotation matrix to Euler angles. Since the recorded data was a noise data due to both environmental and sensor problems, the data had to be filtered after mapping and conversion. For this purpose, noisy signals and extreme values were corrected using the median filter. The most appropriate hyperparameters were determined on the filtered data by testing the LSTM neural network for deep learning method. Decision Tree, Random Forest, Gradient Boosting, AdaBoost, KNN, GaussianNaiveBayes supervised machine learning methods were tried. The accuracy of the machine learning methods tested was compared with each other and with the deep learning method and as a result it was shown that the deep learning method which was formed by developing LSTM neural network was more successful.