Intelligent Coordinate Determination System for Autonomous Vehicles Using Computer Vision and Web Mining

Abstract

The robust autonomous navigation system relies on mapping, locomotion, path planning, and localization factors. Localization, one of the most essential factors of navigation, is a crucial requirement for a mobile robot because it needs the capability to localize itself in the environment. Global Positioning Systems (GPS) are commonly used for outdoor mobile robot application localization tasks. However, various environmental circumstances, such as high-rise buildings and trees, affect GPS, which leads to reduced precision or complete signal blockage. This dissertation proposes a visual-based localization system for outdoor mobile robots in crowded urban environments. The proposed system comprises 3 steps. The first step of the dissertation is to detect the text in urban areas using the “Efficient And Accurate Scene Text Detector (EAST)” algorithm. Easy, Tesseract, and Keras Optical Character Recognition (OCR) algorithms were applied to the detected text to find optimal ones by performing a comparative analysis of character recognition methods. In addition, the applied text detection and recognition algorithms were enhanced by applying post-processing and word similarity algorithms. In the second step, once the text detection and recognition process is completed, we pass the recognized word (label) to the Places API in order to return the recognized word’s respective coordinates within the specified radius. By doing so, Points Of Interest (POI) data was collected for a particular area. Following this, the algorithm was developed to search the obtained data for the corresponding label and return the most appropriate coordinate through the Haversine formula. In the final step, a web-based map was developed to represent both the generated coordinates in the previous step and the coordinates from the GPS module.The proposed system was tested in three distinct urban areas by creating five scenarios under different lighting conditions, like morning and evening hours. The outdoor delivery robot utilized in this dissertation was used for each scenario. In the experiments, it has been shown that the proposed system provides a low error of around 4 meters for localization tasks. Compared to existing works, the proposed system consistently outperforms all other approaches using only a single sensor. This indicates the efficacy of the proposed system for localization tasks in environments where GPS signals are limited or completely blocked.

Sağlam otonom navigasyon sistemi; haritalama, hareket, yol planlama ve lokalizasyon içeren faktörlere dayanır. Navigasyonun en önemli faktörlerinden biri olan lokalizasyon, mobil bir robot için çok önemli bir gerekliliktir. Çünkü ortamda kendisini konumlandırma yeteneğine sahip olması gerekir. Küresel Konumlandırma Sistemleri (GPS), dış mekan mobil robot uygulamalarında lokalizasyon görevleri için yaygın olarak kullanılır. Ancak GPS, yüksek binalar ve ağaçlar gibi çeşitli çevresel koşullardan etkilenir ve bu da hassasiyetin azalmasına veya sinyalin tamamen engellenmesine neden olur. Bu tez, kalabalık şehir ortamlarında dış mekan mobil robotları için görsel tabanlı konumlandırma sistemi önermektedir. Önerilen sistem üç adımdan oluşmaktadır. Tezin ilk adımı, “Etkili ve Doğru Sahne Metin Dedektörü (EAST)” algoritmasını kullanarak şehir alanlarındaki metni tespit etmektir. Karakter tanıma yöntemlerinin karşılaştırmalı analizi yapılarak en uygun olanları bulmak için tespit edilen metne Easy, Keras, ve Tesseract Optik Karakter Tanıma (OCR) algoritmaları uygulandı. Daha sonra uygulanan metin tespit ve tanıma algoritmaları, son işleme ve kelime benzerliği algoritması uygulanarak geliştirilmiştir. İkinci aşamada, metin algılama ve tanıma işlemi tamamlandıktan sonra tanınan kelimenin ilgili koordinatlarını belirtilen yarıçap içinde döndürmek için tanınan kelimeyi (etiketi) Places API’ye iletiyoruz. Bunu yaparken belirli bir yarıçap içindeki ticari veya ticari olmayan bütün yerlerin (POI dataları) verileri toplandı. Ardından elde edilen verilerde kameradan tespit edilen etiketi aramak ve Haversine formülü aracılığıyla son alınan GPS verisine en yakın koordinatı döndürmek için algoritma geliştirildi. Son olarak hem önceki adımda oluşturulan koordinatları hem de GPS modülünden alınan koordinatların yansıtıldığı web tabanlı bir harita geliştirildi.Önerilen sistem, sabah ve akşam saatleri gibi farklı ışık koşullarında 5 senaryo oluşturarak üç farklı kalabalık şehir ortamda test edilmiştir. Bu tezde her senaryo için dış mekan teslimat robotu kullanıldı. Yapılan deneylerde önerilen sistemimizden üretilen ve GPS modülünden elde edilen koordinatlar karşılaştırıldığında yaklaşımımızın diğer çalışmalara göre daha düşük hata oranı sağladığı gösterilmiştir. Bu, önerilen sistemin GPS sinyallerinin sınırlı olduğu veya tamamen engellendiği ortamlarda konum belirleme görevi için etkili olduğunu göstermektedir.