Yapay Zekâ ile Üretilmiş Türkçe Bir Metni Tespit Etmek

Abstract

Dil modeli teknolojilerinin hızla gelişmesiyle birlikte, yapay zekâ tarafından üretilen metinleri insan yazımı metinlerden ayırt etmek giderek daha zor bir yetenek haline gelmektedir. Bu tez çalışması, ChatGPT-4 tarafından oluşturulan akademik makale özetleri ile insan makale özetlerini tespit ederek sınıflandırmayı amaçlamaktadır. Veri seti oluşturulurken, DergiPark Akademik platformunda yayımlanmış sağlık, hukuk, sosyoloji ve mühendislik alanlarının her birinden 250’şer adet makale seçilmiştir. Veri seti içerisinde toplam 2000 adet olan özetlerin 1000 tanesi Dergipark’tan seçilen bahsi geçen 1000 adet insan yazımı özet iken, kalan 1000 tanesi ise her makalenin başlığı ve anahtar kelimeleri ChatGPT-4 uygulamasına verilerek oluşturulan yapay özetlerdir. Metin sınıflandırması için LSTM, CNN, GRU, GPT-2 ve BERTurk gibi oldukça popüler olan derin öğrenme modelleri kullanılmıştır. Modellerin başarıları doğruluk, f1-skoru gibi sınıflandırma metrikleriyle; kaynak kullanımı ise eğitim süresi ve donanım tüketimi metrikleri ile değerlendirilmiştir. Hem doğruluk hem de modellerin eğitim süresi birlikte değerlendirildiğinde en başarılı ve etkili olan model LSTM olmuştur. Bu çalışma, yapay zekâ tarafından üretilen akademik metinlerin tespiti için farklı derin öğrenme modellerinin farklı veri setleri üzerindeki performans ölçümleri ve karşılaştırmalarının yanı sıra insan-yapay zekâ sınıflandırması için etkili bir yaklaşım sunmaktadır.

With the rapid development of language modeling technologies, distinguishing AIgenerated text from human-written text is becoming increasingly challenging. This thesis aims to identify and classify academic article abstracts generated by ChatGPT4 and human-written abstracts. To create the dataset, 250 articles from each of the fields of health, law, sociology, and engineering published on the DergiPark Academic platform were selected. Of the 2000 abstracts in the dataset, 1000 were human-written abstracts selected from DergiPark, while the remaining 1000 were artificial abstracts generated by feeding the title and keywords of each article to ChatGPT-4. Popular deep learning models such as LSTM, CNN, GRU, GPT-2, and BERTurk were used for text classification. Model performance was evaluated using classification metrics such as f1-score and accuracy, while resource utilization was evaluated using training time and hardware consumption. When both accuracy and training time of the models are evaluated together, the most successful and effective model is the LSTM. This study provides performance measurements and comparisons of different deep learning models on different datasets for the detection of academic texts generated by AI, as well as an effective approach for human-AI classification.