홍스터치

프로젝트 개요

기술개발 과제

딥러닝 기반 보행자 인식 소프트웨어(YOLO)를 활용한 무단횡단 사고 예방 시스템

{영문 : Jaywalking accident prevention system using deep learning-based pedestrian recognition software(YOLO)}

과제 팀명

홍스터치

지도교수

홍완식 교수님

개발기간

2022년 3월 ~ 2022년 6월 (총 4개월)

구성원 소개

서울시립대학교 신소재공학부·과 홍영규(팀장)

서울시립대학교 신소재공학부·과 김찬중

서울시립대학교 신소재공학부·과 임재홍

서울시립대학교 신소재공학부·과 송기범

서론

개발 과제의 개요

개발 과제 요약

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석 시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 줄어들고 있는 추세지만, 횡단보도 내에서의 무단횡단은 여전히 많이 발생하고 있다. 추가적으로 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하는 실정이다.

이러한 사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록 특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술 발전에 따라 도로교통사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

하지만 이러한 발명이나 제품들은 보행자의 무단횡단을 원천적으로 예방하지 못한다. 따라서 운전자에게 무단횡단 사고 위험을 경고하여 운전자가 능동적으로 사고를 회피할 수 있는 시스템이 필요하다. 본 설계는 보행자의 무단횡단을 예방하는 것뿐만 아니라 LED 경고등을 통해 운전자에게 사고 위험을 알려 운전자가 능동적으로 사고를 회피할 수 있는 무단횡단 사고 예방 시스템에 관한 것이다.

개발 과제의 배경

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 많이 줄어들고 있지만, 횡단보도 내에서의 무단횡단은 여전히 많다. 이뿐 아니라, 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하였다. 이러한 교통사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술발전에 따라 도로교통 사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

개발 과제의 목표

본 발명의 목표는 신호등 상단에 설치된 카메라 영상을 기반으로 보행자 감지 소프트웨어(YOLO)를 통해 LED 경고등 및 스피커를 출력하여, 상기 사고를 예방함과 동시에 횡단보도에서 발생하는 인명피해 및 교통사고를 줄이는 것이다.

개발 과제의 내용

◇ 보행자의 인식 방안 신호등 위에 카메라를 설치하여 카메라 영상을 촬영한다. 촬영된 영상을 실시간으로 연동하여 보행자 인식 프로그램인 YOLO를 작동한다. YOLO는 영상 내의 픽셀로부터 bounding box의 위치와 클래스 확률(class probabilities)을 계산하여 작동한다. 즉, 영상 내의 이미지에 객체로 보이는 것들에 bounding box를 만들고, bounding box를 나누어 각 box마다 클래스 확률을 계산하고 그것의 score가 5점 이상에 해당할 때, 그 객체를 보행자로 인식한다. 이러한 YOLO는 단일 신경망 구조로 구성이 단순하며 빠른 처리 속도를 보여준다. 또한, 주변 정보까지 학습하여 이미지 전체를 처리하기 때문에 background error가 적다는 장점이 있다. 보행자 인식은 교통 상황에 맞추어, 신호등에 따라 작동 여부를 설정할 수 있다. 예를 들면, 차량 신호의 초록색 불이 켜졌을 땐 작동하지 않고, 주황불과 빨간색 불이 켜졌을 때 작동하는 방식이 있다.

◇ 보행자 인식 범위 설정 상기 카메라로 보행자를 인식하되, 보행자가 횡단보도에 진입하지 않았을 때 경고LED 및 스피커가 작동하면 큰 혼란을 야기한다. 따라서 보행자가 횡단보도에 진입했을 때, 보행자를 인식하도록 설정하였다. 촬영한 영상의 최대 Frame을 기반으로, 횡단보도 진입에 해당하는 좌표를 촬영된 영상 Frame에 배열로 도입하여 실제 보행자가 인식되는 범위를 제한하였다. 이는 횡단보도에 해당하는 X, Y 좌표를 배열로 추가하면 되므로 간단하게 좌표를 바꿀 수 있는 장점이 있다. 이를 통해 횡단보도의 픽셀 영역에서만 Yolo가 보행자를 인식하므로 무단횡단 보행자만을 인식할 수 있다.

◇ 라즈베리 파이와 통신 및 LED 점멸 구현 카메라가 무단횡단 보행자를 인식한 후 LED(경고등)를 점멸 시킴으로써 운전자가 무단횡단 보행자의 여부를 인지할 수 있도록 본 시스템을 설계하였다. 이를 라즈베리 파이와 LED를 이용하여 구현하였다. 보행자 인식 정보를 소켓 통신을 통해 라즈베리 파이로 송신한 다음 라즈베리 파이가 보행자 감지 신호를 수신하면, LED 등이 점멸을 한다.

◇ 스피커를 통한 경고음 출력 파이썬의 Playsound 라이브러리를 활용하여, 보행자를 인식했을 때 경고음이 출력되도록 설계하였다. 보행자 인식 프로그램이 작동 중에 경고음이 출력된다면, 경고음이 출력될 때까지 시스템이 작동하지 않게 된다. 이는 파이썬에서 코드를 실행할 때 직렬 처리 방법으로 코드가 실행되기 때문에 발생하는 문제이다. 이러한 문제를 해결하기 위하여 파이썬에서 작성된 코드가 병렬 프로세스 기법으로 처리 될 수 있도록 알고리즘을 구현하였다. 이러한 방법으로 보행자 인식 소프트웨어가 작동하는 중에도 경고음이 출력될 수 있도록 시스템을 개발하였다.

개발 과제의 기대효과

◇ 운전자 및 보행자 모두에게 무단횡단 사고 위험을 경고하는 시스템 대부분의 무단횡단 사고 방지 시스템은 보행자에게만 위험을 경고하여 무단횡단을 예방하는 시스템이었다. 또한, 운전자로부터 사각지대에 있는 보행자를 알려주어 사고를 방지하는 기술은 없었다. 본 설계는 무단횡단하는 보행자뿐만 아니라 운전자에게도 위험을 경고함으로써, 이중으로 사고 예방 장치를 제공한다. 이를 통해 사각지대에 위치한 무단횡단 보행자를 인식하여 운전자에게 알려주어, 기존보다 사고를 더 줄일 수 있을 것으로 기대된다. 추가로, 시중의 제품들과 달리, 별도의 추가적인 센서를 사용하지 않고 오직 카메라로 인식하기 때문에 비용이 절감된다는 장점이 있다. 마지막으로 카메라 인식 범위를 프로그래밍으로 구현함으로써, 카메라 인식 범위를 설정하기 위한 분리막 등이 필요하지 않다. 따라서 설치가 용이하고 간단하다.

관련 기술의 현황

가. State of art

◇ 무단횡단 방지 및 운전자 알림 기능 현재의 무단횡단 사고를 방지하는 기술에 오기까지 많은 기술들이 적용되었다. 도로 중간에 울타리를 설치하고, 횡단보도 안전선 앞에 센서를 부착하여 적색불일 때 경고음을 내는 등의 기술이 존재한다. 최근에는 잠실역에 스마트 횡단보도가 도입되었다. 안전한 횡단을 위한 “보행신호 음성 보조 장치”로 보행자 안전 시스템이다. 이는 보행자와 교통약자의 안전을 위해 센서 기술과 음성 안내 기술을 사용해 보행자로 하여금 무단횡단을 하지 않도록 유도하는 스마트한 보행자 안전 시스템이다. 하지만 이러한 기술의 발전에도 불구하고, 무단횡단은 지속적으로 발생하며 근본적으로 막을 방안이 없다. 도로교통공사에 따르면 많은 무단횡단 보행자들이 고의성을 가지고 무단횡단을 시도하기 때문이다. 이에 의해 많은 운전자가 무단횡단 보행자에 의해 당혹스러움을 겪고 있다. 교통 실정이 이러함에도 불구하고, 이러한 보행자를 확인하지 못했을 때 운전자에게 일정 신호를 통해 알리는 기술의 도입은 아직 미흡한 실정이다.

◇ 라즈베리 파이를 활용한 LED 제어 라즈베리 파이는 영국의 라즈베리 파이 재단에서 만든 초소형/초저가의 컴퓨터이다. 교육용 프로젝트로 개발되었으며, 이 때문에 RCA(CVBS) 출력 책을 가지고 있다. 첫 출시는 2012년 3월이었고, 제품은 모델 A였다. 현재는 개발을 거듭하여 4.0 모델 B 버전까지 업그레이드되었다. 이러한 라즈베리 파이는 28nm 공정으로 개선되어 클럭 수가 1.5Ghz까지 올라갔다. 또한, 블루투스 5.0을 탑재하고, VideoCore Vl GPU을 개선하는 등 성능이 많이 향상되었다. 또한, 8GB의 LPDDR4 SDRAM의 메모리를 탑재하여, 속도도 빠른 수준을 보인다. 따라서 라즈베리파이는 얼굴인식이나 보행자 인식 등 다양한 기능을 실현 가능하다. 또한, 개발보드에 걸맞게 LED 등과 같은 기본적인 것 역시 가능하며, 릴레이 모듈 등의 다양한 모듈을 사용하여 개발하고자 하는 제품을 구현할 수 있다.

◇ 딥러닝 기반 보행자 인식 소프트웨어 Yolo Yolo(Yolo Only Look Once : Unified, Real-Time Object Detection)는 사물 감지 소프트웨어이다. Yolo의 기존의 사물 인식 소프트웨어인 R-CNN에 비해 약 10배 빠른 인식 속도를 가지고 있고 인식 정확도 또한 R-CNN에 크게 뒤떨어지지 않는 장점이 있다. 기존의 R-CNN 계열의 오브젝트 검출 방법은 영상을 인식하고 클래스를 분류하는 과정에서 많은 레이어를 거쳐 오브젝트를 검출한다. 이러한 과정에서 역할이 다른 세 가지의 네트워크를 이용하기 때문에 인식 속도가 느리다. 하지만 Yolo의 경우에는 영상 인식과 클래스를 분류하는 과정이 동시에 이루어지고 이 과정이 하나의 네트워크에서 이루어지기 때문에 간단하고 빠르다는 장점이 있다.

기술 로드맵

◇ 무단횡단 사고 예방 방법

무단횡단 사고를 예방하기 위한 과거 기술들은 보행자의 무단횡단 행위 자체를 막는 것에 대해 초점이 맞춰져 있다. 그 예시로 무단횡단 방지 펜스를 설치하여 보행자의 무단횡단을 물리적으로 막는 방법 등 있다. 하지만 이러한 방법들이 동원되었음에도 불구하고 무단횡단으로 인한 보행자 사고는 꾸준히 발생하고 있다.

본 기술은 무단횡단을 예방하기 위해 보행자에게만 초점을 맞춘 것이 아니라, 운전자에게도 무단횡단 보행자의 여부를 알려 보행자와 운전자 모두 무단횡단 사고를 예방할 수 있도록 하는 것을 목적으로 한다.

◇ 과거 기술

- 보행자에 초점을 맞춰 무단횡단을 근절하기 위한 기술

1) 그림자 조명

[그림 1. 무단횡단 예방 방지 포스터]

2) 횡단보도에 설치되는 신호 알림 경고 LED

[그림 2. 신호 알림 경고 LED의 예시]

3) 무단횡단 방지 펜스

[그림 3. 무단횡단 방지 펜스]

◇ 기술의 발전 방향

미래의 무단횡단 예방 기술은 보행자의 무단횡단만을 근절하기 위한 기술에서 벗어나 운전자의 사각지대에서 무단횡단 발생 시 운전자가 무단횡단 여부를 사전에 인지하여 무단횡단 사고를 회피할 수 있어야 한다. 따라서 본 기술은 보행자 인식 카메라와 LED 경고등 및 스피커를 이용하여 운전자와 보행자 모두의 무단횡단 사고 회피를 용이하도록 하는 기술이다.

특허 조사

다. 특허조사

◇ 보행자를 감지하여 운전자에게 경고하는 시스템 및 방법 (등록번호 10-2310433)

특허 전략

라. 특허전략

◇ 적외선으로 보행자를 인식하는 특허 기술이 존재하지만, 운전자에게 무단횡단 보행자를 경고하는 기술은 존재하지 않는다. 또한 카메라를 이용하여 신호 대기 중인 보행자를 운전자에게 알리는 경고등이 있지만 시야 사각지대에 존재하는 보행자를 경고하는 특허도 존재하지 않는다. 이러한 이유로 카메라를 이용한 보행자 인식 기술을 이용하여 운전자의 사각지대에 존재하는 무단횡단 보행자를 운전자에게 경고하고 보행자에게 경고 음성을 보내는 시스템을 개발하여 특허를 출원한다.

시장상황에 대한 분석

경쟁제품 조사 비교

가. 경쟁제품 조사 비교

마케팅 전략

나. 마케팅 전략

◇ 도로교통법 개정

2022년 7월부터 횡단보도 우회전 시 단속 기준이 바뀐다. 기존에는 우회전시 횡단보도에 사람이 있으면 일단 정지하고 없으면 그냥 통과해도 되었지만, 앞으론 보행자가 횡단보도를 통행하거나 통행하려고 할 때 일시 정지하여야 한다. 즉, 횡단보도 불이 적색불일때 보행자가 건너면 안되는 상황임에도, 횡단보도에 사람이 서 있는 상황 뿐 아니라 통행하려는 모습이 포착된다면 운전자는 무조건 정지 해야 하는 것이다. 이는 운전자에게 운전중 위험 부담을 가중시키게 된다. 따라서 운전자의 부담을 덜어줄 장치가 필요한데, 위 발명이 보행자의 유무를 LED 점멸 등을 통해 알려줌으로써 그 역할을 해낼 수 있다. 앞의 대형화물차에 의해 시야가 가려지는 경우를 포함하여 간혹 운전자가 확인하지 못했을 때도, LED 점멸등을 통해 알림으로써 운전자의 부담을 줄일 수 있다.

◇ 도시의 스마트시티화

이 발명은 카메라를 활용하여 자동으로 보행자를 인식해주고, 인식한 것을 신호로 처리하여 LED 점멸등과 소리로 보행자와 운전자에게 경고해준다. 즉, 스마트기기로써 도시의 교통사고의 안전을 보장할 수 있다. 또한, 세계 스마트시티 시장이 연평균 13.8%의 성장률을 보이고 있으며, 우리나라에서도 군포나 광주 등에서 스마트 시티 인프라 구축에 예산 집행을 늘리고 있다. 이런 스마트시티에 이 발명은 스마트기기로 걸맞는 제품이며, 그 수요가 늘어날 것으로 전망된다.

◇ SWOT 분석

[그림 4. SWOT 분석표]

◇ SWOT analysis

]

[그림 5. SWOT 전략 분석표]

◇ QFD(Quality Function Deployment)

[그림 6. QFD 도식도]

개발과제의 기대효과

기술적 기대효과

가. 기술적 기대효과

1. 보행자를 카메라로 인식하여 LED 점멸등을 통해, 보행자를 볼 수 없는 상황의 운전자에게 정보를 전달하여, 운전자의 시각적 제약을 극복할 수 있도록 해준다.

2. 보행자 인식 영역을 설정하여 무단횡단 보행자만을 인식하는 기술을 통해 불필요한 연산처리를 줄여 인식 속도가 증가할 수 있다.

3. 카메라를 활용하여 보행자를 인식하고, 인식 신호를 LED와 스피커에 전달하는 자동화 알고리즘을 통해 무단횡단 방지를 위한 인력 소모를 최소화할 수 있다.

경제적, 사회적 기대 및 파급효과

나. 경제적 및 사회적 파급효과

1. 신호등에 손쉽게 카메라와 스피커를 설치할 수 있으므로 설치가 쉽다는 장점이 존재한다.

2. 한번 설치하면 그 후에 유지하기 수월하여 설치에 대한 부담을 줄일 수 있고, 교통 안전의 발전과 안정화를 기대할 수 있다.

3. 운전자에게 LED 점멸을 통해 경고함으로써, 운전자의 사각지대에 존재하는 보행자의 존재를 알려 무단횡단 사고를 예방할 수 있다.

4. 스피커를 통해 보행자에게 무단횡단 경고 메세지를 알림으로써 무단횡단을 사전에 방지하여 무단횡단 사고를 예방할 수 있다.

5. 현행법상 횡단보도 부근에서 사고 발생 시, 운전자의 책임이 무겁게 다루어지고 있는 실정이다. 따라서 운전자의 사각지대에 존재하는 무단횡단 보행자를 운전자에게 경고함으로써, 운전자가 무단횡단 사고를 능동적으로 회피할 수 있다.

기술개발 일정 및 추진체계

개발 일정

가. 일정

구성원 및 추진체계

나. 구성원 및 추진체계

설계

설계사양

제품의 요구사항

가. 제품 요구사항

◇ 요구사항 목록

설계 사양

나. 설계 사양 ◇ 인식 정확도 - 보행자 인식 프로그램을 실행했을 때, 30초 동안 50명의 사람이 이동하는 것을 인식하게 하고 오인식을 하는 횟수를 1번 이하로 설계한다. 즉, 보행자 인식률을 98% 이상으로 하는 것을 목표로 설계한다.

◇ 인식 딜레이 - 보행자를 인식할 때 구동하고 있는 소프트웨어와 라이브캠 간의 딜레이 속도를 0.3초 이하로 설계한다.

◇ 기타 -스피커: 최대 출력 설정 시 5m 거리에서 측정했을 때 ,60db 이상의 경고음이 출력되는 스피커를 사용하여 보행자의 인식률을 높인다. -LED 경고등: 10W 이상의 빛을 발광하는 LED 경고등을 사용하여 운전자의 가시성을 높인다.

개념설계안

◇ 딥러닝 기반 사물 감지 소프트웨어(YOLO)

- YOLO(You Only Look Once)는 딥러닝 기반 사물 감지 소프트웨어이다. YOLO에는 사람을 인식하는 알고리즘이 존재한다. 본 설계는 YOLO의 사람 인식 알고리즘을 응용하여 무단 횡단하는 보행자를 감지한 후 운전자와 무단횡단 보행자에게 위험을 경고하는 시스템에 관한 것이다.

다음 그림은 YOLO의 작동 원리를 알고리즘화 하여 나타내었다. YOLO는 실시간으로 입력되는 영상을 S X S grid로 분할한 뒤 bounding box를 생성하고, confidence score를 예측해서 cofidence score가 5점 이상이면, class 객체의 싱크로율을 판단하여 객체를 식별하는 방식이다.

[그림 7. YOLO 작동 원리]

◇ 무단횡단 보행자만을 인식하는 카메라

보행자 감지 기술에 있어 중요한 요소는 보행자 인식 속도와 인식 정확도가 있다. 본 설계에서는 무단횡단을 하는 보행자만을 정확하게 인식하여야 하며, 그 속도가 빨라야 한다. 하지만 인식 속도와 인식 정확도는 Trade-off 관계를 가진다. 인식 정확도가 높을수록 요구되는 연산 처리량이 증가하여 인식 속도가 떨어지게 된다. 반대로 인식 속도가 빠를 때에는 연산 처리량이 적어 딜레이가 감소하지만 인식 정확도가 떨어지게 된다. 따라서 설계에 적합한 Yolo의 인식 속도와 정확도를 설정하는 것이 중요하다.

(a) 본 설계에 사용할 카메라의 예시 (b) 사물 감지 소프트웨어(YOLO)의 활용 예시 [그림 8. 카메라와 YOLO 소프트웨어의 활용 모식도]

◇ 보행자 인식 후 운전자에게 위험을 경고하는 LED 경고등 및 무단횡단 보행자에게 경고하는 스피커

무단횡단 보행자 감지 카메라가 무단횡단 보행자를 감지하면 그 신호가 LED와 스피커에 전달된다. LED에 신호를 송신하기 위해서 라즈베리 파이를 사용한다. 라즈베리 파이가 노트북으로부터 보행자 감지 신호를 받으면 그 신호를 전기 신호로 바꾸어 LED가 점멸하게 된다. 이러한 LED의 점멸을 통해 운전자에게 사각지대에 존재하는 무단횡단 보행자를 경고할 수 있다. 이때 노트북과 라즈베리 파이에서 이루어지는 통신은 소켓 통신을 이용한다.

무단횡단 보행자가 감지되면 스피커는 보행자에게 경고 메세지를 출력한다. 무단횡단 보행자에게 경고를 통해 보행자의 무단횡단을 예방할 수 있을 것이다. 이 과정에서 노트북과 스피커는 블루투스 통신을 통해 신호를 송수신한다.

(a) LED 경고등의 예시 (b) 스피커의 예시 [그림 9. LED 경고등과 스피커의 활용 모식도]

◇ YOLO의 작동 픽셀 영역을 횡단보도 위로 제한

무단횡단 사고를 예방하기 위해서는 무단횡단 보행자만을 감지하는 기술이 필수적이다. 카메라는는 무단횡단 보행자와 일반 보행자를 구별할 수 없으므로 추가적인 알고리즘을 도입하여 이를 구분하여야 한다. 이를 위해 실시간 영상에서 Yolo가 작동하는 픽셀을 따로 설정하여 그 픽셀 안에 보행자가 인식되면 무단횡단 보행자로 간주하는 방법을 채택하였다. 이때 Yolo가 작동하는 픽셀 영역을 횡단보도 위로 설정함으로써 횡단보도 위를 지나가는 무단횡단 보행자를 효과적으로 인식할 수 있다.

[그림 10. 오른쪽 절반 영역에서만 사람을 인식하도록 프로그래밍 된 YOLO]

◇ 제품 디자인

상기 개념설계안을 종합하여 최종적으로 다음과 같은 설계를 진행하고자 한다. 횡단보도가 적신호일 시, YOLO가 접목된 카메라가 횡단보도 위에서 보행자를 인식하면 중앙처리장치에서 이 신호를 라즈베리 파이로 보내고, 동시에 스피커 경고음으로 출력한다. 또한, 라즈베리 파이에서 해당 신호를 LED 경고등으로 출력하여 LED 경고등이 점멸하게 되는 구조이다. 이를 Flow-Chart로 나타내보면 다음 그림과 같다.

[그림 11. 설계 전체 Flow-Chart]

최종 개념설계안에 대한 입체 모식도를 나타내보면 다음과 같다.

(a) 설계가 적용된 신호등 모식도 (b) 설계가 적용된 도로 모식도 [그림 12. 설계의 디자인 모식도]

이론적 계산 및 시뮬레이션

◇ 필요 전력량

본 설계에서 전력이 필요한 부품으로는 라즈베리파이와 릴레이모듈 그리고 LED가 있다. 제품의 전력(W)은 실제 필요 전류 [A] X 출력 전압 [V]로 구할 수 있다. 이에 따라 본 발명에 사용되는 제품별로 전압, 전류, 소비전력을 표로 정리하였다.

◇ 카메라의 보행자 인식 범위

일반적으로 횡단보도의 길이는 20m를 채택한다. 따라서 본 설계에서는 보다 넓은 도로교통 상황에 적용할 수 있도록 가시거리 20m보다 약 30m에 해당하는 5000만화소 카메라를 채택하였다. 또한, Full HD(1920X1080) 해상도의 카메라를 채택하여, 객체를 보행자와 비보행자의 구별성을 좀 더 뚜렷하게 하고자 하였다. 마지막으로 카메라 렌즈의 화각이 78도에 해당하는 것을 채택하여 횡단보도에 진입하는 모든 보행자를 포괄적으로 담아, 카메라에 인식되지 않는 보행자를 없도록 하였다.

◇ 스피커의 출력과 인지 가능 범위

횡단보도의 보행자 대기 라인의 규격은 50cm에 해당한다. 이에 맞추어 스마트폰으로 녹음 파일을 재생하는 시뮬레이션을 진행했을 때, 최대음량을 설정하지 않아도 충분히 보행자가 녹음 파일의 내용을 인지할 수 있었다. 하지만, 안전에 직접적으로 연결된 문제인 점과 차량의 소음에 의해 출력이 잘 들리지 않을 수 있다는 점에 초점을 맞추어, 작동거리가 10m에 해당하는 스피커를 채택하였다.

상세설계 내용

조립도

◇ 인식부 (카메라 및 PC)

[그림 13. 카메라 및 노트북(Laptop)]

본 카메라는 27*80*40mm의 크기를 가지며 신호등 대 위에 부착된다. PC와 유선으로 연결되어 전력을 공급받고 횡단보도 영역을 실시간으로 촬영하며 보행자 인식 프로그램인 YOLO를 통해 보행자를 인식한다. 본 카메라는 5000만 화소와 Full HD(1920X1080)의 해상도를 가져 더욱 선명하게 보행자를 인식할 수 있고, 화각이 78도로 횡단보도에 사각지대가 존재하지 않도록 설정할 수 있다. 또한 YOLO 소프트웨어의 구역 제한을 통해 횡단 보도 구역을 제한한 함으로써 도보가 아닌 횡단보도 위에만 존재하는 보행자를 인식하도록 설정하여 정확도를 높였다. 카메라를 통해 횡단보도를 촬영하면 해당 실시간 영상 정보가 PC로 송신되어 YOLO를 통해 보행자를 인식하고 해당 신호를 송출부로 송신할 준비를 한다.

◇ 송출부 (라즈베리 파이, LED 점멸등 및 스피커)

[그림 14, 15, 16. 라즈베리파이 4B, LED 점멸등, 스피커]

송출부 본체는 라즈베리 파이이고, 그 규격은 85.60mm × 56.50mm × 17.00mm에 해당한다.

◇ 최종 조립도

(a) 설계가 적용된 신호등 모식도 (b) 설계가 적용된 도로 모식도

[그림 17. 설계의 디자인 모식도]

부품도

◇ 라즈베리 파이 ◇ 웹캠 ◇ 스피커 ◇ LED 등 ◇ 릴레이 모듈 ◇ LED 경고등 연결 소켓

제어부 및 회로설계

가. 회로 구성품

[그림 19. 본 설계의 간이 설계도]

보행자 인식 소프트웨어를 실행하는 컴퓨터와 각 기기들을 제오하는 라즈베리 파이를 동일한 인터넷으로 연결하여 소켓 통신을 활용한다. 컴퓨터에 카메라를 연결하여 YOLO를 통해 보행자를 인식하고 해당 신호를 라즈베리 파이로 송신하여 스피커 및 LED등을 작동시킨다.

소프트웨어 설계

컴퓨터 Python의 OpenCV 라이브러리를 이용하여 보행자 인식 소프트웨어인 YOLO(You only look once)를 실행시켜 횡단보도 위 보행자를 인식한다. 이때 횡단보도의 구역은 시스템 자체에 구역을 설정하여 횡단보도만 인식하게끔 설정해준다. 보행자가 인식이 되면 컴퓨터에서 라즈베리 파이로 신호를 송신하는데, 이때 라즈베리 파이와 컴퓨터는 동일한 인터넷으로 연결되어 기기 간의 소켓 통신을 한다. 신호를 받은 라즈베리 파이는 스피커와 LED등을 작동시킨다.

[그림 20. YOLO의 작동 원리]

[그림 21. 본 발명의 Flow Chart]

[그림 22. 본 발명의 최종 Algorithm]

추가적으로 보다 상세하게 파이썬 프로그래밍 과정을 이하에 서술하고자 한다. 지금까지 설계했던 요소들을 파이썬 프로그램에서 정확하게 구동하기 위하여 서버 프로그램에서 YOLO구동을 위한 open cv, 소켓 통신을 위한 socket 라이브러리를 import 해준다. 또한 병렬 프로세스 구동을 위한 multiprocessing 코드도 import 해준다. 이로써 본 설계는 YOLO 동작을 통한 보행자 인식과 경고음 출력을 동시에 할 수 있게 되었다.

추가적으로 웹캠 영상의 인식범위를 횡단보도로만 제한할 것이므로, X축과 Y축을 설정하고 이를 나누어 필요한 영역만 YOLO가 선택적으로 동작하도록 하도록 프로그래밍하였다. 또한 횡단보도 적용을 위해 신호등의 신호가 바뀌는 시간을 입력하여 보행자 신호일 때를 제외하고 주황불일 때까지도 모두 YOLO가 작동하도록 설계하였다. 상세한 코드와 프로그래밍 내용은 아래 첨부된 사진과 같다.

자재소요서

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

가. 프로토타입 사진

[그림 25. 설계의 프로토타입 전면부와 측면부]

[그림 26. 설계의 각 구성품과 뒷면의 회로]

포스터

관련사업비 내역서

(단위 : 천원)

완료작품의 평가

가. 평가 기준

◇ 주요 평가 항목에 대한 설명

1) 인식 정확도 본 설계는 카메라로 보행자를 인식한 후, 이를 신호로 처리하여 LED 등 점멸과 스피커 경고음을 출력을 한다. 따라서 보행자를 정확히 인식하는 것이 매우 중요하다. 그렇지 않으면 LED 점멸등과 스피커가 오작동하여, 사용자에게 불편을 야기할 것이기 때문이다. 또한, 도로교통에 사용되는 만큼, 교통사고와 직결되는 문제이므로 매우 중요한 기준이라고 할 수 있다. 이러한 인식 정확도를 먼저 HOG, YOLO 등의 소프트웨어 중에 어떤 것이 더 적합한지 비교해 보고, 그 후 소프트웨어의 버전별로 인식 정확도를 비교해 볼 것이다.

2) 인식 딜레이 인식 딜레이란 카메라로 보행자를 인식하고, 신호를 전달하여 LED 점멸등과 스피커 경고음을 출력하기까지의 시간을 의미한다. 이러한 딜레이는 짧은 시간 내에 교통사고가 발생하는 만큼 최소한으로 줄이는 것이 관건이다. 한편, YOLO는 딥러닝을 기반으로 한 소프트웨어이기 때문에 일반 노트북으로 그 성능을 온전히 구현하기가 어렵다. 따라서 이러한 딜레이를 측정한 후에도 이것이 코딩을 실행하는 데에서 오는 딜레이인지 아니면 노트북 사양에 의해 발생 딜레이인지 구별해야 할 필요가 있다.

나. 평가 내용

◇ 인식 정확도

1) 소프트웨어 별 비교 HOG와 YOLO을 각각 실행한 후, 30초동안 라이브캠으로 영상을 5회 촬영한 뒤, 각 소프트웨어의 오인식 횟수를 측정하였다. 이때 두 소프트웨어가 같은 조건에서 테스트되도록 하기 위해 영상 내에는 팀원들만 나오도록 하였고, 30초동안 지속적으로 보행하였다. 그 결과는 다음과 같다.

[표 1. HOG와 YOLO의 실험 당 오인식 횟수 비교]

오인식 횟수의 평균값을 계산해보면, HOG는 7.6회, YOLO는 0회임을 확인할 있다. 즉, 인식정확도면에서 큰 차이가 나타났다. 따라서 본 설계에는 YOLO을 사용하는 것이 더 적합하다고 판단하였다.

2) YOLO의 버전 별 비교 보행자를 인식할 때, 보행자 인식 정확도와 시간은 Trade-off 관계에 있다. 이때 YOLO는 인식 정확도에 따라 여러 가지 버전이 있어, 어떤 버전이 최적의 버전일지 선택하기 위해 딜레이 시간과 인식 정확도 테스트를 하였다. 사용된 버전은 가장 일반적인 YOLO와 그보다 가벼운 성능으로 작동하는 YOLO-tiny를 비교하였고, 그 결과는 다음 표와 같다.

[표 2. Tiny-YOLO와 Normal-YOLO의 실험 당 오인식 횟수 비교]

오인식 횟수의 평균값은 YOLO-tiny는 평균 1.6개, 일반 YOLO는 0개이다. 따라서 인식 정확도만 보았을 때, YOLO를 채택하는 것이 더 합리적인 것으로 보인다.

◇ 인식 딜레이

1) 노트북 사양 별 비교 본 설계를 구현할 때 발생하는 딜레이가 YOLO 코딩에 의해 발생한 것인지 컴퓨터의 성능에 의한 것인지 확인할 필요가 있다고 판단하였다. 따라서 다양한 사양의 컴퓨터로 YOLO을 실행하여 인식 딜레이가 각 컴퓨터에서 몇초동안 발생하는지 측정하였다. 실험에 사용한 컴퓨터는 LG그램 I5 7세대, 맥북 에어(Apple M1칩), PC방 컴퓨터(i9 및 GTX 3050 Ti의 그래픽카드) 등의 3대이다. 결과는 다음과 같다.

[표 3. 다양한 사양의 컴퓨터에 따른 딜레이 시간]

딜레이 시간의 평균값을 계산해보면, LG그램에서 0.6초, 맥북 에어에선 0.5초, PC방에서 0.25초임을 확인할 수 있었다. 즉, YOLO의 작동속도가 컴퓨터 사양에 따라 변한다는 것을 알 수 있다. 또한, 딜레이 시간은 0.25초로 본설계의 목표에 맞는다. 한편, 시제품으로 설계할 시, CPU와 GPU를 제공하는 서버를 이용하여 YOLO 소프트웨어를 실행할 것이므로, 딜레이 시간이 더 줄어들 것으로 예상된다.

2) YOLO의 버전 별 비교 앞서 언급했듯이, YOLO는 인식속도와 인식정확도에 따라 다양한 버전이 있다. 여기선 YOLO의 버전에 따른 딜레이 속도를 측정하고자 한다. 그 결과는 다음 표와 같다. [표 4. YOLO 버전에 따른 딜레이 시간]

딜레이 속도는 약 0.2초가량 차이나고, YOLO-tiny가 더 빠른 속도를 보인다. 하지만 앞서 언급했듯이, 인식 정확도의 측면에서 YOLO가 더 우수한 성능을 보이고, 이 두 기준을 종합하였을 때, 기존의 YOLO를 사용하는 것이 적합할 것으로 판단된다.

향후계획

◇ 스피커 볼륨 테스트 도로교통상황에 따라, 모두 소음이 다를 것이다. 따라서 사람이 붐비는 곳과 한적한 곳에서 데시벨(dB)을 측정하여 각각의 장소에서 어느정도의 소리로 경고음을 출력하면 합리적인지 확인해보고자 한다.

◇ 외관 본 설계의 외관은 프로토타입에 해당된다. 즉, 프로그램이 제대로 작동하는지 시연하는데 중점을 두었다. 따라서 본 설계를 도로교통에 적용될 수 있도록 외관을 주변 환경에 맞추어 제작하고 설계할 것이다.

◇ 소프트웨어 인식률 및 딜레이 개선 본 설계의 소프트웨어는 YOLO로 도로교통 상황의 사람 혼잡도에 따른 인식률을 개선할 필요가 있다. 그에 따른 적합한 YOLO 버전 등을 채택하여 장소에 따른 최적의 인식률을 구현할 것이다.

◇ 감지 전 행동인식 본 설계의 다른 아이디어로는 보행자 인식이 아닌, 보행자의 행동을 인지하는 것이다. 즉, 보행자가 무단횡단할 때 하는 동작을 패턴으로 학습시켜, 보행자 인식이 작동하도록 하는 방안이다.