"홍스터치"의 두 판 사이의 차이

2022년 6월 17일 (금) 02:19 판

프로젝트 개요

기술개발 과제

딥러닝 기반 보행자 인식 소프트웨어(YOLO)를 활용한 무단횡단 사고 예방 시스템

{영문 : Jaywalking accident prevention system using deep learning-based pedestrian recognition software(YOLO)}

과제 팀명

홍스터치

지도교수

홍완식 교수님

개발기간

2022년 3월 ~ 2022년 6월 (총 4개월)

구성원 소개

서울시립대학교 신소재공학부·과 홍영규(팀장)

서울시립대학교 신소재공학부·과 김찬중

서울시립대학교 신소재공학부·과 임재홍

서울시립대학교 신소재공학부·과 송기범

서론

개발 과제의 개요

개발 과제 요약

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석 시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 줄어들고 있는 추세지만, 횡단보도 내에서의 무단횡단은 여전히 많이 발생하고 있다. 추가적으로 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하는 실정이다.

이러한 사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록 특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술 발전에 따라 도로교통사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

하지만 이러한 발명이나 제품들은 보행자의 무단횡단을 원천적으로 예방하지 못한다. 따라서 운전자에게 무단횡단 사고 위험을 경고하여 운전자가 능동적으로 사고를 회피할 수 있는 시스템이 필요하다. 본 설계는 보행자의 무단횡단을 예방하는 것뿐만 아니라 LED 경고등을 통해 운전자에게 사고 위험을 알려 운전자가 능동적으로 사고를 회피할 수 있는 무단횡단 사고 예방 시스템에 관한 것이다.

개발 과제의 배경

2017년부터 최근 5년간 무단횡단 사고의 건수는 줄어드는 추세이지만 여전히 무단횡단 사고가 발생하고 있다. 2020년에는 6,224건의 무단횡단 사고가 발생하였고 이에 따른 사상자는 약 6,400명이다. TAAS 교통사고 분석시스템의 통계에 따르면, 횡단보도가 아닌 곳에서의 무단횡단은 많이 줄어들고 있지만, 횡단보도 내에서의 무단횡단은 여전히 많다. 이뿐 아니라, 도로 위에서 대형 화물차나 장애물에 의해 시야가 가려져, 운전자가 미처 보행자를 확인하지 못해 사고 역시 빈번하게 발생하였다. 이러한 교통사고를 줄이기 위해 무단횡단을 방지하기 위한 여러 제품들이 개발되고 있다. 특히 관련 기술인 물체를 감지하는 기술은 나날이 발전을 거듭하고 있다. 초음파 센서, 적외선 센서, 라이다 센서 그리고 카메라 모듈 등이 바로 그것이다. 그중 대표적으로 적외선 센서의 경우 등록특허 10-1455748과 같이 사물과 보행자를 비교적 정확하게 구별할 수 있는 수준으로 발전하였다. 이러한 기술발전에 따라 도로교통 사고를 방지하고자, 도로교통에 관한 스마트 도시 관련 사업이 증가하는 추세이다.

개발 과제의 목표

본 발명의 목표는 신호등 상단에 설치된 카메라 영상을 기반으로 보행자 감지 소프트웨어(YOLO)를 통해 LED 경고등 및 스피커를 출력하여, 상기 사고를 예방함과 동시에 횡단보도에서 발생하는 인명피해 및 교통사고를 줄이는 것이다.

개발 과제의 내용

◇ 보행자의 인식 방안

 신호등 위에 카메라를 설치하여 카메라 영상을 촬영한다. 촬영된 영상을 실시간으로 연동하여 보행자 인식 프로그램인 YOLO를 작동한다. YOLO는 영상 내의 픽셀로부터 bounding box의 위치와 클래스 확률(class probabilities)을 계산하여 작동한다. 즉, 영상 내의 이미지에 객체로 보이는 것들에 bounding box를 만들고, bounding box를 나누어 각 box마다 클래스 확률을 계산하고 그것의 score가 5점 이상에 해당할 때, 그 객체를 보행자로 인식한다. 이러한 YOLO는 단일 신경망 구조로 구성이 단순하며 빠른 처리 속도를 보여준다. 또한, 주변 정보까지 학습하여 이미지 전체를 처리하기 때문에 background error가 적다는 장점이 있다. 보행자 인식은 교통 상황에 맞추어, 신호등에 따라 작동 여부를 설정할 수 있다. 예를 들면, 차량 신호의 초록색 불이 켜졌을 땐 작동하지 않고, 주황불과 빨간색 불이 켜졌을 때 작동하는 방식이 있다.

◇ 보행자 인식 범위 설정

 상기 카메라로 보행자를 인식하되, 보행자가 횡단보도에 진입하지 않았을 때 경고LED 및 스피커가 작동하면 큰 혼란을 야기한다. 따라서 보행자가 횡단보도에 진입했을 때, 보행자를 인식하도록 설정하였다. 촬영한 영상의 최대 Frame을 기반으로, 횡단보도 진입에 해당하는 좌표를 촬영된 영상 Frame에 배열로 도입하여 실제 보행자가 인식되는 범위를 제한하였다. 이는 횡단보도에 해당하는 X, Y 좌표를 배열로 추가하면 되므로 간단하게 좌표를 바꿀 수 있는 장점이 있다. 이를 통해 횡단보도의 픽셀 영역에서만 Yolo가 보행자를 인식하므로 무단횡단 보행자만을 인식할 수 있다.

◇ 라즈베리 파이와 통신 및 LED 점멸 구현

 카메라가 무단횡단 보행자를 인식한 후 LED(경고등)를 점멸 시킴으로써 운전자가 무단횡단 보행자의 여부를 인지할 수 있도록 본 시스템을 설계하였다. 이를 라즈베리 파이와 LED를 이용하여 구현하였다. 보행자 인식 정보를 소켓 통신을 통해 라즈베리 파이로 송신한 다음 라즈베리 파이가 보행자 감지 신호를 수신하면, LED 등이 점멸을 한다.

◇ 스피커를 통한 경고음 출력

 파이썬의 Playsound 라이브러리를 활용하여, 보행자를 인식했을 때 경고음이 출력되도록 설계하였다. 보행자 인식 프로그램이 작동 중에 경고음이 출력된다면, 경고음이 출력될 때까지 시스템이 작동하지 않게 된다. 이는 파이썬에서 코드를 실행할 때 직렬 처리 방법으로 코드가 실행되기 때문에 발생하는 문제이다. 이러한 문제를 해결하기 위하여 파이썬에서 작성된 코드가 병렬 프로세스 기법으로 처리 될 수 있도록 알고리즘을 구현하였다. 이러한 방법으로 보행자 인식 소프트웨어가 작동하는 중에도 경고음이 출력될 수 있도록 시스템을 개발하였다.

개발 과제의 기대효과

◇ 운전자 및 보행자 모두에게 무단횡단 사고 위험을 경고하는 시스템

 대부분의 무단횡단 사고 방지 시스템은 보행자에게만 위험을 경고하여 무단횡단을 예방하는 시스템이었다. 또한, 운전자로부터 사각지대에 있는 보행자를 알려주어 사고를 방지하는 기술은 없었다. 본 설계는 무단횡단하는 보행자뿐만 아니라 운전자에게도 위험을 경고함으로써, 이중으로 사고 예방 장치를 제공한다. 이를 통해 사각지대에 위치한 무단횡단 보행자를 인식하여 운전자에게 알려주어, 기존보다 사고를 더 줄일 수 있을 것으로 기대된다. 추가로, 시중의 제품들과 달리, 별도의 추가적인 센서를 사용하지 않고 오직 카메라로 인식하기 때문에 비용이 절감된다는 장점이 있다. 마지막으로 카메라 인식 범위를 프로그래밍으로 구현함으로써, 카메라 인식 범위를 설정하기 위한 분리막 등이 필요하지 않다. 따라서 설치가 용이하고 간단하다.

관련 기술의 현황

가. State of art

◇ 무단횡단 방지 및 운전자 알림 기능

현재의 무단횡단 사고를 방지하는 기술에 오기까지 많은 기술들이 적용되었다. 도로 중간에 울타리를 설치하고, 횡단보도 안전선 앞에 센서를 부착하여 적색불일 때 경고음을 내는 등의 기술이 존재한다. 최근에는 잠실역에 스마트 횡단보도가 도입되었다. 안전한 횡단을 위한 “보행신호 음성 보조 장치”로 보행자 안전 시스템이다. 이는 보행자와 교통약자의 안전을 위해 센서 기술과 음성 안내 기술을 사용해 보행자로 하여금 무단횡단을 하지 않도록 유도하는 스마트한 보행자 안전 시스템이다. 하지만 이러한 기술의 발전에도 불구하고, 무단횡단은 지속적으로 발생하며 근본적으로 막을 방안이 없다. 도로교통공사에 따르면 많은 무단횡단 보행자들이 고의성을 가지고 무단횡단을 시도하기 때문이다. 이에 의해 많은 운전자가 무단횡단 보행자에 의해 당혹스러움을 겪고 있다. 교통 실정이 이러함에도 불구하고, 이러한 보행자를 확인하지 못했을 때 운전자에게 일정 신호를 통해 알리는 기술의 도입은 아직 미흡한 실정이다. ◇ 라즈베리 파이를 활용한 LED 제어 라즈베리 파이는 영국의 라즈베리 파이 재단에서 만든 초소형/초저가의 컴퓨터이다. 교육용 프로젝트로 개발되었으며, 이 때문에 RCA(CVBS) 출력 책을 가지고 있다. 첫 출시는 2012년 3월이었고, 제품은 모델 A였다. 현재는 개발을 거듭하여 4.0 모델 B 버전까지 업그레이드되었다. 이러한 라즈베리 파이는 28nm 공정으로 개선되어 클럭 수가 1.5Ghz까지 올라갔다. 또한, 블루투스 5.0을 탑재하고, VideoCore Vl GPU을 개선하는 등 성능이 많이 향상되었다. 또한, 8GB의 LPDDR4 SDRAM의 메모리를 탑재하여, 속도도 빠른 수준을 보인다. 따라서 라즈베리파이는 얼굴인식이나 보행자 인식 등 다양한 기능을 실현 가능하다. 또한, 개발보드에 걸맞게 LED 등과 같은 기본적인 것 역시 가능하며, 릴레이 모듈 등의 다양한 모듈을 사용하여 개발하고자 하는 제품을 구현할 수 있다.

◇ 딥러닝 기반 보행자 인식 소프트웨어 Yolo

Yolo(Yolo Only Look Once : Unified, Real-Time Object Detection)는 사물 감지 소프트웨어이다. Yolo의 기존의 사물 인식 소프트웨어인 R-CNN에 비해 약 10배 빠른 인식 속도를 가지고 있고 인식 정확도 또한 R-CNN에 크게 뒤떨어지지 않는 장점이 있다. 기존의 R-CNN 계열의 오브젝트 검출 방법은 영상을 인식하고 클래스를 분류하는 과정에서 많은 레이어를 거쳐 오브젝트를 검출한다. 이러한 과정에서 역할이 다른 세 가지의 네트워크를 이용하기 때문에 인식 속도가 느리다. 하지만 Yolo의 경우에는 영상 인식과 클래스를 분류하는 과정이 동시에 이루어지고 이 과정이 하나의 네트워크에서 이루어지기 때문에 간단하고 빠르다는 장점이 있다.

기술 로드맵

◇ 무단횡단 사고 예방 방법

무단횡단 사고를 예방하기 위한 과거 기술들은 보행자의 무단횡단 행위 자체를 막는 것에 대해 초점이 맞춰져 있다. 그 예시로 무단횡단 방지 펜스를 설치하여 보행자의 무단횡단을 물리적으로 막는 방법 등 있다. 하지만 이러한 방법들이 동원되었음에도 불구하고 무단횡단으로 인한 보행자 사고는 꾸준히 발생하고 있다.
본 기술은 무단횡단을 예방하기 위해 보행자에게만 초점을 맞춘 것이 아니라, 운전자에게도 무단횡단 보행자의 여부를 알려 보행자와 운전자 모두 무단횡단 사고를 예방할 수 있도록 하는 것을 목적으로 한다.

◇ 과거 기술

 - 보행자에 초점을 맞춰 무단횡단을 근절하기 위한 기술

1) 그림자 조명 파일:화면 캡처 2022-06-17 172837.jpg

특허 조사

특허 전략

시장상황에 대한 분석

경쟁제품 조사 비교

마케팅 전략

개발과제의 기대효과

기술적 기대효과

경제적, 사회적 기대 및 파급효과

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

제품 평가내용

설계 사양

개념설계안

이론적 계산 및 시뮬레이션

상세설계 내용

조립도

부품도

소프트웨어 설계

자재소요서

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

완료작품의 평가

향후계획

◇ 스피커 볼륨 테스트
 도로교통상황에 따라, 모두 소음이 다를 것이다. 따라서 사람이 붐비는 곳과 한적한 곳에서 데시벨(dB)을 측정하여 각각의 장소에서 어느정도의 소리로 경고음을 출력하면 합리적인지 확인해보고자 한다.

◇ 외관
본 설계의 외관은 프로토타입에 해당된다. 즉, 프로그램이 제대로 작동하는지 시연하는데 중점을 두었다. 따라서 본 설계를 도로교통에 적용될 수 있도록 외관을 주변 환경에 맞추어 제작하고 설계할 것이다.

◇ 소프트웨어 인식률 및 딜레이 개선
본 설계의 소프트웨어는 YOLO로 도로교통 상황의 사람 혼잡도에 따른 인식률을 개선할 필요가 있다. 그에 따른 적합한 YOLO 버전 등을 채택하여 장소에 따른 최적의 인식률을 구현할 것이다.

◇ 감지 전 행동인식
본 설계의 다른 아이디어로는 보행자 인식이 아닌, 보행자의 행동을 인지하는 것이다. 즉, 보행자가 무단횡단할 때 하는 동작을 패턴으로 학습시켜, 보행자 인식이 작동하도록 하는 방안이다.

특허 출원 내용

@@ 83번째 줄: / 83번째 줄: @@
    - 보행자에 초점을 맞춰 무단횡단을 근절하기 위한 기술
 ) 그림자 조명
+[[파일:화면 캡처 2022-06-17 172837.jpg]]
 ====특허 조사====