Pekiştirmeli öğrenme tabanlı bağlam bilinçli akıllı trafik ışık kontrolü

Abstract

Bu çalışmanın konusunu trafik ışıklarının akıllı bir şekilde yönetilip, verimli bir trafik politikası arayışı için girdi sağlama kapsamı oluşturmaktadır. Çalışmada, bağlam bilinçli bir yaklaşım ile, pekiştirmeli öğrenme algoritmalarından yararlanılarak, trafik kavşaklarında trafik ışık politikasının zaman ve faz sıralamasını öğrenmek amaçlanmıştır. Hem tek bir kavşak için hem de birden çok kavşağın oluşturduğu sistem için model önerilmiştir. Gerçek trafik verilerinin kullanımı ile yapılan testlerde, önerilen model ile sabit süreli trafik ışık politikası karşılaştırılmıştır. Tek kavşak sistemleri için faz süre ve sıralamaları, çoklu kavşak sistemleri için de tüm kavşakları bağımsız bir şekilde kapsayacak düzeyde faz süre ve sıralamaları tahmin edilmiştir. Ayrıca trafikte gerçekleşecek acil durum senaryolarının, ortaya konan model içerisinde tek kavşak için iyileştirme önerisi ile, kapsayıcı bir akıllı trafik ışık yönetimi modeli çalışılmıştır. Testlerde gözlemlenen sonuçlara göre, sabit süreli ve sabit sıralaması olan kavşak sistemlerine göre, önerilen modeller daha başarılı sonuçlar üretmiş ve trafik akışı daha verimli olmuştur. %20 ila %40 arası verim artışının gözlemlendiği sonuçlarda, önerilen model sayesinde kavşak düzenleri için daha uygun ve öğrenen trafik politikaları geliştirilebilecektir.

This study aims at intelligent management of traffic lights and providing input for an efficient traffic policy search. In the study, adaptive models proposed to learn the time and phase sequence of the traffic lights at traffic intersections by using reinforcement learning algorithms with a context-aware approach. Proposed models cover both of a single intersection and a system formed by multiple intersections. Real traffic data is used in testing process and tests are held for both the proposed model and the fixed-time traffic light policy. Phase durations and sequences were estimated for single-intersections systems. Phase durations and sequences also estimated for multiple intersections with the scope of all intersections independently for multi-junction systems. Based on intelligent traffic light management, an inclusive smart traffic light management model has been studied with an improvement proposal for a single intersection within the model that will occur in traffic emergency scenarios also included. According to the results observed in the tests, the proposed models produced more successful results and the traffic flow was more efficient compared to the fixed duration and fixed sequence approach. Increase in efficiency between 20% and 40% is observed with proposed model. Therefore, more appropriate and learning traffic policies for intersection layouts could be developed with the use of the proposed model.