홍스터치

프로젝트 개요

기술개발 과제

딥러닝 기반 보행자 인식 소프트웨어(YOLO)를 활용한 무단횡단 사고 예방 시스템

{영문 : Jaywalking accident prevention system using deep learning-based pedestrian recognition software(YOLO)}

과제 팀명

홍스터치

지도교수

홍완식 교수님

개발기간

2022년 3월 ~ 2022년 6월 (총 4개월)

구성원 소개

서울시립대학교 신소재공학부·과 홍영규(팀장)

서울시립대학교 신소재공학부·과 김찬중

서울시립대학교 신소재공학부·과 임재홍

서울시립대학교 신소재공학부·과 송기범

서론

개발 과제의 개요

개발 과제 요약

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석 시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 줄어들고 있는 추세지만, 횡단보도 내에서의 무단횡단은 여전히 많이 발생하고 있다. 추가적으로 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하는 실정이다.

이러한 사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록 특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술 발전에 따라 도로교통사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

하지만 이러한 발명이나 제품들은 보행자의 무단횡단을 원천적으로 예방하지 못한다. 따라서 운전자에게 무단횡단 사고 위험을 경고하여 운전자가 능동적으로 사고를 회피할 수 있는 시스템이 필요하다. 본 설계는 보행자의 무단횡단을 예방하는 것뿐만 아니라 LED 경고등을 통해 운전자에게 사고 위험을 알려 운전자가 능동적으로 사고를 회피할 수 있는 무단횡단 사고 예방 시스템에 관한 것이다.

개발 과제의 배경

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 많이 줄어들고 있지만, 횡단보도 내에서의 무단횡단은 여전히 많다. 이뿐 아니라, 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하였다. 이러한 교통사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술발전에 따라 도로교통 사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

개발 과제의 목표

본 발명의 목표는 신호등 상단에 설치된 카메라 영상을 기반으로 보행자 감지 소프트웨어(YOLO)를 통해 LED 경고등 및 스피커를 출력하여, 상기 사고를 예방함과 동시에 횡단보도에서 발생하는 인명피해 및 교통사고를 줄이는 것이다.

개발 과제의 내용

◇ 보행자의 인식 방안

 신호등 위에 카메라를 설치하여 카메라 영상을 촬영한다. 촬영된 영상을 실시간으로 연동하여 보행자 인식 프로그램인 YOLO를 작동한다. YOLO는 영상 내의 픽셀로부터 bounding box의 위치와 클래스 확률(class probabilities)을 계산하여 작동한다. 즉, 영상 내의 이미지에 객체로 보이는 것들에 bounding box를 만들고, bounding box를 나누어 각 box마다 클래스 확률을 계산하고 그것의 score가 5점 이상에 해당할 때, 그 객체를 보행자로 인식한다. 이러한 YOLO는 단일 신경망 구조로 구성이 단순하며 빠른 처리 속도를 보여준다. 또한, 주변 정보까지 학습하여 이미지 전체를 처리하기 때문에 background error가 적다는 장점이 있다. 보행자 인식은 교통 상황에 맞추어, 신호등에 따라 작동 여부를 설정할 수 있다. 예를 들면, 차량 신호의 초록색 불이 켜졌을 땐 작동하지 않고, 주황불과 빨간색 불이 켜졌을 때 작동하는 방식이 있다.

◇ 보행자 인식 범위 설정

 상기 카메라로 보행자를 인식하되, 보행자가 횡단보도에 진입하지 않았을 때 경고LED 및 스피커가 작동하면 큰 혼란을 야기한다. 따라서 보행자가 횡단보도에 진입했을 때, 보행자를 인식하도록 설정하였다. 촬영한 영상의 최대 Frame을 기반으로, 횡단보도 진입에 해당하는 좌표를 촬영된 영상 Frame에 배열로 도입하여 실제 보행자가 인식되는 범위를 제한하였다. 이는 횡단보도에 해당하는 X, Y 좌표를 배열로 추가하면 되므로 간단하게 좌표를 바꿀 수 있는 장점이 있다. 이를 통해 횡단보도의 픽셀 영역에서만 Yolo가 보행자를 인식하므로 무단횡단 보행자만을 인식할 수 있다.

◇ 라즈베리 파이와 통신 및 LED 점멸 구현

 카메라가 무단횡단 보행자를 인식한 후 LED(경고등)를 점멸 시킴으로써 운전자가 무단횡단 보행자의 여부를 인지할 수 있도록 본 시스템을 설계하였다. 이를 라즈베리 파이와 LED를 이용하여 구현하였다. 보행자 인식 정보를 소켓 통신을 통해 라즈베리 파이로 송신한 다음 라즈베리 파이가 보행자 감지 신호를 수신하면, LED 등이 점멸을 한다.

◇ 스피커를 통한 경고음 출력

 파이썬의 Playsound 라이브러리를 활용하여, 보행자를 인식했을 때 경고음이 출력되도록 설계하였다. 보행자 인식 프로그램이 작동 중에 경고음이 출력된다면, 경고음이 출력될 때까지 시스템이 작동하지 않게 된다. 이는 파이썬에서 코드를 실행할 때 직렬 처리 방법으로 코드가 실행되기 때문에 발생하는 문제이다. 이러한 문제를 해결하기 위하여 파이썬에서 작성된 코드가 병렬 프로세스 기법으로 처리 될 수 있도록 알고리즘을 구현하였다. 이러한 방법으로 보행자 인식 소프트웨어가 작동하는 중에도 경고음이 출력될 수 있도록 시스템을 개발하였다.

개발 과제의 기대효과

◇ 운전자 및 보행자 모두에게 무단횡단 사고 위험을 경고하는 시스템

 대부분의 무단횡단 사고 방지 시스템은 보행자에게만 위험을 경고하여 무단횡단을 예방하는 시스템이었다. 또한, 운전자로부터 사각지대에 있는 보행자를 알려주어 사고를 방지하는 기술은 없었다. 본 설계는 무단횡단하는 보행자뿐만 아니라 운전자에게도 위험을 경고함으로써, 이중으로 사고 예방 장치를 제공한다. 이를 통해 사각지대에 위치한 무단횡단 보행자를 인식하여 운전자에게 알려주어, 기존보다 사고를 더 줄일 수 있을 것으로 기대된다. 추가로, 시중의 제품들과 달리, 별도의 추가적인 센서를 사용하지 않고 오직 카메라로 인식하기 때문에 비용이 절감된다는 장점이 있다. 마지막으로 카메라 인식 범위를 프로그래밍으로 구현함으로써, 카메라 인식 범위를 설정하기 위한 분리막 등이 필요하지 않다. 따라서 설치가 용이하고 간단하다.

결과 및 평가

향후계획

◇ 스피커 볼륨 테스트
 도로교통상황에 따라, 모두 소음이 다를 것이다. 따라서 사람이 붐비는 곳과 한적한 곳에서 데시벨(dB)을 측정하여 각각의 장소에서 어느정도의 소리로 경고음을 출력하면 합리적인지 확인해보고자 한다. 

◇ 외관
본 설계의 외관은 프로토타입에 해당된다. 즉, 프로그램이 제대로 작동하는지 시연하는데 중점을 두었다. 따라서 본 설계를 도로교통에 적용될 수 있도록 외관을 주변 환경에 맞추어 제작하고 설계할 것이다.

◇ 소프트웨어 인식률 및 딜레이 개선
본 설계의 소프트웨어는 YOLO로 도로교통 상황의 사람 혼잡도에 따른 인식률을 개선할 필요가 있다. 그에 따른 적합한 YOLO 버전 등을 채택하여 장소에 따른 최적의 인식률을 구현할 것이다.

◇ 감지 전 행동인식
본 설계의 다른 아이디어로는 보행자 인식이 아닌, 보행자의 행동을 인지하는 것이다. 즉, 보행자가 무단횡단할 때 하는 동작을 패턴으로 학습시켜, 보행자 인식이 작동하도록 하는 방안이다.