6조-멈춰조

프로젝트 개요

기술개발 과제

국문 : 딥 러닝 기반 객체 인식을 이용한 이륜차의 안전운행 유도장치

영문 : A device for inducing safe driving of two-wheeled vehicles using deep learning-based object detection

과제 팀명

멈춰조

지도교수

이동찬 교수님

개발기간

2021년 9월 ~ 2021년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 2016430042 홍승범(팀장)

서울시립대학교 기계정보공학과 2016430034 임석진

서울시립대학교 기계정보공학과 2016430011 박영수

서울시립대학교 기계정보공학과 2016430027 이용하

서울시립대학교 기계정보공학과 2016430009 문규진

서론

개발 과제의 개요

개발 과제 요약

이륜차 전면의 카메라를 통해 비상 상황 또는 사고 유발 상황 이전에 운전자에게 경고를 주어 안전운행을 유도하는 장치를 개발하고자 한다. 통상적으로 자전거, 오토바이, 전동 킥보드 등의 이륜차는 보행자 및 차량간 사고가 잦고 운전자가 외부에 노출되어 있는 만큼 사고시에 상해가 치명적이므로 이에 대한 예방책을 제시한다. 장치는 이륜차 전면 부의 카메라 모듈과 운전자의 헬멧에 장착하는 신호 출력 모듈, 그리고 모듈을 제어하는 소프트웨어로 구성된다.

장치는 운전자의 안전과 보행자의 안전을 위해 운전자에게 위험 상황을 소리 신호와 진동 신호를 통해 알려준다. 장치의 정확한 상황판단과 작동을 통해 이륜차에 의한 사고 상황을 사전에 예방하고 이륜차에 대한 안전한 도로 문화를 만들고자 한다.

개발 과제의 배경

1) 전동 킥보드 이용량의 증가로 인한 위험성 증가

서울시와 코리아스타트업포럼, 퍼스널모빌리티산업협의회(SPMA)에 따르면 서울 지역 공유 전동킥보드의 2020년 3~8월 누적 이용 건수는 총 1519만 107건으로 지난해 (7~12월) 이용 건수 (350만여 건)와 비교하면 4.3배 이상 늘었다. 이용량이 늘어난 만큼 전동킥보드 사고도 증가 추세이다. 도로교통공단에 따르면 전동 킥보드 등 개인형 이동장치가 가해 운전자(과실 비율이 더 높은 경우)로 분류된 교통사고는 2018년 225건에서 2020년 897건으로 2년 만에 4배로 증가했다. 한국소비자원과 공정거래위원회는 최근 3년여간 소비자위해감시시스템에 접수된 전동킥보드 안전사고는 1252건이며 그 중 804건(64.2%)이 운전미숙과 과속에 의한 것으로 나타났다고 밝혔다. 설문 조사 결과 10명 중 6명은 전동킥보드 안전 문제에 대해 ‘개선책 마련이 필요한 심각한 수준’이라고 답했다. 또 3명은 ‘경각심을 가져야할 정도의 문제’라고 밝혀, 전동킥보드에 대한 대중들의 문제 인식이 큰 것으로 나타났다. 따라서 전동킥보드에 대한 안전 장치가 필요성이 부각되고 있다.

2) 오토바이 사고의 증가

코로나 팬데믹 이후 음식 배달 등의 수요 급증으로 인해 도로 위에 오토바이가 급격하게 증가하고 있다. 코로나19 유행 이후 1년간 늘어난 오토바이 대수는 코로나19 이전에 비해 연간 83% 급증했다. 급격한 오토바이 증가만큼 이로 인한 사고 또한 급격하게 증가하고 있다. 오토바이 법규 위반 사례가 코로나19 이전과 비교해 4배 가까이 늘고, 사고는 20% 넘게 증가했다. 교통안전공단과 경찰청 자료를 보면 오토바이 사고 원인의 50% 이상이 오토바이의 안전운전 의무 불이행으로 나타났다. 따라서 운전자의 안전운행을 유도할 수 있는 방법이 사고 감소에 효과적일 것이다.

개발 과제의 목표 및 내용

◆ 개발목표

1) 제어 시스템 설계

동력장치 전면부에 장착된 카메라를 통해 교통상황을 파악하고, 이미지 인식 딥러닝 모델로부터 운전자의 위법행위 여부를 판단한다. 위법행위는 도로교통법을 위반하는 신호 위반,  차선 이탈, 이륜차의 인도 주행, 횡단보도 가로지르기 등을 포함한다. 운전자가 교통법규를 위반할 것으로 판단되면 운전자에게 음성 신호를 주고 즉시 브레이크장치를 제어할 수 있도록 한다. 교통상황은 시시각각 변하고 언제든 예측할 수 없는 위험이 발생할 수 있기 때문에 때문에 신속하고 정확한 판단이 요구된다.

2) 브레이크 모델 제작

기존의 유압식 디스크 브레이크 모델에 전자제어 브레이크 시스템을 도입하여 T자 브레이크 라인으로 연결한다. 기존 디스크 브레이크의 경우 운전자가 브레이크 레버를 당겨 유압장치를 통해 압력을 전달한다. 전자제어 브레이크 역시 시스템 출력에 따라 피스톤에 힘을 가하여 브레이크 패드에 압력을 전달할 수 있도록 설계한다. 이 때 급정거나 급출발과 같은 위험으로 부터 운전자를 보호하기 위한 설계 또한 요구된다.

◆ 개발내용

1) 제어시스템 설계

1.1) 딥러닝 모델

제어시스템은 라즈베리파이와 카메라, 모터로 구성된다. 라즈베리파이는 카메라 모듈을 통해 데이터를 받는다. 이 데이터로 신호등의 신호, 표지판, 차선이나 차량, 보행자에 대해 딥러닝하여 신호 위반 및 차선 이탈과 같은 위법 행위를 분석 학습하고, 학습한 내용을 바탕으로 상황을 판단하여 전자식 유압기기를 조작한다. 위험 상황이 판단되면 모터를 작동시켜 작은 피스톤에 압력을 가해 브레이크 액을 압축한다. 압축된 브레이크 액은 반대쪽에 있는 캘리퍼 부분의 큰 피스톤에 압력을 가하며 이를 통해 브레이크를 작동시킨다.

2) 브레이크 모델 제작

2.1) T자 브레이크라인

기존 유압 디스크 브레이크 모델과 다르게 압력을 가하는 부분이 브레이크 레버와 전자 제어 부분 두 곳이므로 기존의 일자형 브레이크와 다른 구조가 필요하다.  기존에 구조에 t자 밸브를 연결하여 자동제어를 통한 압력도 전달이 가능하도록 설계한다.

2.2) 캘리퍼

캘리퍼 내부에 피스톤이 몇 개가 있는지에 따라서 브레이크 제동력이 달라진다. 흔히 캘리퍼 안에는 피스톤의 개수가 1개부터 6개까지 다양하게 있으며 피스톤의 개수가 많아질수록 미는 힘이 강해지지만 이륜차에 일반적으로 사용되는 2개를 사용한다.
이륜차는 적은 힘으로도 차를 정지시킬수 있어야 한다. 따라서, 우리는 적은 힘으로도 좀 더 확실하고 강한 힘을 전달할 수 있는 피스톤이 양쪽에 장착되는 방식으로 양쪽에서 둘 다 밀어내며 집게처럼 로터(디스크)를 잡는 방법인 고정 캘리퍼 형식으로 설계한다.

2.3) 디스크

오토바이는 차량에 비해 중량이 크지 않고 외부에 노출되어있기 때문에 발열에 대해 자연 냉각이 가능하다. 따라서, 원판 한 장의 형태로 되어있고 제조원가가 저렴한 솔리드 디스크형식으로 설계한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

◆ 안전을 위한 차량의 브레이크 제어 기술

2000년대 초반부터 자동차 업계는 충돌사고를 미리 예방하는 안전 기술을 발표했고, 능동적 안전 기술이 대두되며 소형차부터 대형차까지 폭넓게 적용되기 시작했다. 현재 자율주행차의 상용화가 이루어지기 시작하면서 안전한 차량 제어가 중요해졌고 지능형운전자보조시스템(ADAS: Advanced Driver Assistance Systems) 기술은 이에 필수적으로 이용되고 있다. 

현재 이륜차에 ABS나 TCS와 같은 기본적인 안전 시스템은 갖추어져 있기도 하지만 아직까지 안전을 위한 자율 제어 시스템이 갖추어져 있지 않기에 자동차의 ADAS 기술 중에 안전과 관련된 기술 파악을 통해 차량의 안전 기술을 살펴보고자 한다.

1) 전방 충돌방지 보조(FCA: Forward Collision-Avoidance Assist)

전방 충돌방지 보조 시스템(FCA)은 전방의 자동차나 보행자, 자전거 탑승자와의 충돌 위험을 감지하면 경고를 울리고 운전자가 브레이크 조작을 하지 않을 경우 자동으로 브레이크를 제어해 피할 수 있도록 도와주는 주행 안전 기술이다.

전방 카메라와 더불어 전방 레이더까지 추가해 자동차와 보행자와 더불어 자전거를 탄 사람까지 인식할 수 있는 기술을 개발했다. 전방 레이더는 전파를 이용해 사물과의 거리를 측정하는 센서로, 탐지 거리가 길고 다양한 날씨 조건에서도 우수한 측정 능력을 발휘한다. 하지만 동물이나 바위, 박스 등 불특정 사물을 모두 제어 시스템에 입력하는 데에는 물리적인 한계가 있을 수밖에 없다. 이런 이유로 우선 가장 중요한 자동차와 보행자, 자전거 탑승자부터 인식되도록 FCA를 개발했다. 그러나 ADAS 기술이 계속 발전하고 있기 때문에 앞으로 장애물 인식 범위는 매우 넓어지게 될 것이다.

2) 차로 이탈방지 보조(Lane Keeping Assist)와 차로 유지 보조 (Lane Following Assist)

LKA는 자동차가 차로를 벗어날 것 같은 순간에 조향을 보조해 차량이 차로를 벗어나지 않도록 도와준다. LKA는 자동차가 차로를 벗어나려 할 때쯤 조향을 제어하기 시작한다.  LKA는 차가 차로를 벗어나 옆 차로로 넘어가려는 순간에 보다 강한 힘으로 차로 이탈을 방지한다. 방향지시등을 켜지 않고 차로를 바꿀 때 스티어링 휠이 쉽게 돌아가지 않고 강하게 저항하는 듯한 느낌이 들 때가 바로 LKA의 작동 순간이다. 만약 이처럼 강한 힘이 항상 스티어링 휠에 가해진다면 자연스러운 운전이 힘들어질 수밖에 없다.  LKA는 사고를 방지하는 최후의 보루인 셈이다.

LKA는 카메라로 차선 정보만을 인식해 기능을 수행한다. 차로를 이탈하지 않기 위해서는 차선 정보만큼 중요한 것은 없기 때문이다. 하지만 앞 차 바로 뒤에 붙어서 운전할 경우 차선이 앞 차에 가려져 LKA 작동이 힘들다. 반면, 차의 속도가 어느 정도 높아지면 자연스럽게 앞 차와의 거리가 벌어진다. 그 순간부터 카메라가 차선을 인식할 수 있기 때문에 60km/h 이상에서 작동하도록 설정되어 있다.

3) 지능형 속도제한 보조 (ISLA: Intelligent Speed Limit Assist)

전방 카메라가 교통 표지판 정보를 인식하고 내비게이션이 교통 표지판 및 지도 정보를 파악해 도로의 제한속도를 초과하지 않도록 도와줍니다.

4) 안전 하차 보조 (SEA: Safe Exit Assist)

정차 후 탑승자가 차에서 내리려고 도어를 열 때, 후 측방에서 접근하는 차량이 감지되면 경고를 해줍니다. 또한 전자식 차일드락을 잠김 상태로 유지하여 문이 열리지 않도록 도와줍니다.

5) 운전자 주의 경고 (DAW: Driver Attention Warning)

주행 중 운전자의 주의 운전 상태를 표시해주며, 운전자 주의 수준이 ‘나쁨’으로 떨어지면 경고하고, 이후 휴식을 권유하는 팝업을 표시합니다.

◆ 딥러닝 기반 사물 인식

딥러닝의 발전으로 인공지능 이미지 인식 수준은 정확도 측면에서 사람의 수준을 뛰어넘기도 했지만, 의료산업, 자율주행, 제조산업, 안전 사업 영역 등에 실제 적용되면서부터 한편으로는 한계에 직면했다. 최근 인공지능 이미지 인식 기술 동향은 이러한 한계를 돌파하기 위한 방향으로 진행되고 있다. 인공지능 판정의 안전성과 신뢰성을 높이기 위해 악의적 공역, 자연 발생적 노이즈 그리고 예외 상황에 대해서도 강건하고 투명하게 처리하고, 인공지능 학습에 필요한 비용과 자원을 최소화하며, 일상 모든 곳에 인공지능 적용이 가능하도록 가볍게 만드는 것이 최근의 이미지 인식 기술 동향이다.

1) 안전하고 신뢰성 있는 이미지 인식

인공지능의 활용도가 높아질수록 기술에 대한 안전성과 신뢰성을 확보하는 것은 선택이 아닌 필수가 된다. 인공의 노이즈에 대응하기 위해 적대적 학습 방법이나 노이즈 감쇄기 방식 등이 연구되고 있다. 또한, 이미지 인식의 강건함 자체를 개선하기 위한 연구도 활발하다.
노이즈 대응 외에 딥러닝 기반 이미지 인식 기술의 근본적인 불안감 중 하나는 학습하지 못한 패턴에 대한 처리이다. 이는 딥러닝과 같은 데이터 학습 기반의 기술들이 가진 한계이다. 이것을 학습 외 분포 데이터 탐지를 통해 인공 신경망이 판단하기 어려운 이미지를 걸러 내거나 예외 처리하여 안전성과 신뢰성을 높일 수 있다.

2) 인공지능 학습의 한계 극복

딥러닝은 학습과정에서 대규모의 데이터와 인적 자원을 요구한다. 학습 데이터 절감을 극복하는 최근 동향 중 하나는 자기 지도 학습을 활용하여 학습에 필요한 어노테이션을 줄이는 것이다. 자기 지도 학습은 어노테이션 없이 데이터를 학습하는 방법에서 비지도 학습과 유사하지만 데이터를 표현하는 방법을 학습하는 것에 중점을 두고 있다. 부족한 인공지능 전문가를 대신할 학습 자동화 기술도 나오고 있다. 자동화된 기계학습 기술은 학습 데이터 전처리, 딥러닝의 심층 신경망 구조 탐색, 학습 최적화를 위한 하이퍼 파라미터 조정, 최종 모델 선택 등과 같은 딥러닝 학습 과정의 각 단계를 자동화할 수 있다.

3) 온 디바이스 인공지능 이미지 인식

최근 모바일, 경량 디바이스 등에서 인공지능 이미지 인식 기술 적용 사례가 등장하고 있으며, 이러한 추세에 따라 경량 딥러닝 연구와 하드웨어 가속화 기술 연구가 진행되고 있다. 경량 딥러닝 기술은 정확도를 유지하면서 모델의 크기를 줄이거나 연산을 간소화하여 작은 디바이스 등에 탑재할 수준으로 경량화하는 것이다. 컨볼루션 필터를 변형하여 연산 차원을 축소하거나 큰 영향이 없는 신경망의 가중치를 삭제하는 가지치기, 가중치 값의 부동 소수점을 줄여 연산을 간소화하는 양자화 등의 기법이 있다. 최근에는 지식 증류 활용도가 높아지고 있는데, 미리 잘 학습시킨 큰 신경망의 출력을 작은 신경망이 모방 학습하여 상대적으로 경량화 되면서도 정확도를 유지하는 기술이다.

특허조사

◆ 제어 방식

1) 이륜차용 이동제한방법

2) 오토바이 안전장치

◆ 딥러닝을 통한 객체 인식

1) 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 이를 이용한 객체 인식 방법

2) 카고 로봇의 주행 제어 시스템

3) 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법

특허 전략 분석

◆ 제어방식(브레이크 레버 제어)

특허 조사에 따르면 객체 인식 후 브레이크의 제어에 있어서 기존의 특허 방식은 유압액을 전자식으로 제어해주는 방식을 설계하거나 새로운 브레이크 시스템을 설계하였다. 하지만 본 프로젝트에서는 기존의 이륜차에 착용하는 방식을 통해 모듈의 범용성을 강조한다. 이를 위해 핸들에 장착하여 레버의 제어를 통해 브레이크를 작동시킨다. 이와 같은 방식은 특허 상에서 겹치는 부분이 없는 것으로 확인되어 출원에 무리가 없을 것으로 예상된다.

(위와 같은 방식은 특허시장에서 경쟁력을 가지어 출원에 무리가 없을 것으로 예상된다)

◆ 딥러닝을 통한 객체 인식

딥러닝을 활용한 객체 인식 기술을 사용하는 주행 제어 시스템에 대한 특허는 여러가지가 등록되어 있지만 객체 인식 자체가 아닌 전체 시스템에 대한 특허이다. 본 프로젝트에서는 R-CNN, YOLO, SSD 등의 알고리즘을 활용한 이미지 분석을 통해 객체 인식을 진행할 예정인데 오픈소스 알고리즘을 활용하므로 특허 상 문제가 있지 않을 것으로 생각한다. 또한, 브레이크 레버 제어 시스템과 결합시킨 새로운 주행 제어 시스템을 개발한다면 특허 출원이 가능할 것으로 예상된다.

기술 로드맵

시장상황에 대한 분석

경쟁제품 조사 비교

마케팅 전략 제시

◆ SWOT 분석

◆ STP 전략

개발과제의 기대효과

기술적 기대효과

◆ 브레이크 레버 제어 기술의 도입

기존의 브레이크 시스템을 내부적으로 수정하지 않고 외부에 간단한 장치를 장착함으로서 오토바이 모델에 상관없이 레버를 직접적으로 제어할 수 있다. 기술적으로 새로운 방법을 제시하기 보다는 기존의 모델에 모듈을 추가하는 방식으로 편리성과 범용성을 강조한 제품이므로 장착이 용이하고 운전자가 쉽게 시각적으로 확인이 가능하다는 장점이 있다.

◆ 딥러닝을 통한 상황판단 능력 개선

불법행위와 돌발상황을 대비하는 만큼 제품이 상용화되기 위해서는 안전성과 신뢰성을 더욱 까다롭게 고려해야한다. 딥러닝 이미지 처리를 통해 교통 상황의 다양한 변수와 여러가지 문제가 충돌하는 상황을 거듭 학습하여 최선의 판단을 하도록 브레이크의 상황 판단 능력을 개선시킬 수 있다.

경제적, 사회적 기대 및 파급효과

◆ 장치의 도입에 따른 경제적 효과

이 장치의 도입 목적은 궁극적으로 사고를 미연에 방지하는 데에 있다. 사고율이 감소하면 손실 상해 비용 또한 줄어들 것으로 기대할 수 있고, 어쩔 수 없는 사고상황에서는 이 장치의 카메라 모듈을 블랙박스로 활용하여 사고자 간의 과실을 쉽게 판단할 수 있을 것이다.

◆ 안전한 주행 문화 조성

주로 교통법규를 위반하는 배달 업체의 오토바이에 이 장치를 장착하도록 함으로서, 안전 운행을 유도하여 실질적인 사고율의 감소뿐 아니라, 안전한 주행 문화를 조성하는 데 이바지 한다. 이를 통해 배달 업체에 대한 대중의 부정적인 인식 또한 개선될 수 있고 더 나아가 모범 배달업체로의 이미지를 내세울 수 있도록 마케팅 전략의 새로운 패러다임을 형성할 수 있을 것이다.

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

설계

설계사양

제품의 요구사항

설계 사양

1. 카메라 모듈 장착 부분은 지름 3~5cm 조절이 가능해야 한다.

카메라 모듈은 이륜차의 전면 핸들 바에 고정되어 장착된다. 이때 이륜차의 핸들 바의 두께는 모델마다 약간의 차이가 있다. 대부분 오토바이 모델의 핸들 바 범위를 포함하는 지름 3~5cm 기준으로 장착이 가능하게 하는 설계를 진행한다.

2. 신호 출력 모듈은 설치에 있어 별도의 장비를 요구하지 않는다.

신호 출력 모듈은 차량이나 사람의 신체에 착용한다. 특정 상황에서 카메라 모듈에서 디지털 신호를 전달받아서 운전자에게 아날로그 신호를 전달할 수 있도록 한다. 신호 전달 모듈은 운전자와 직접적으로 접촉하기 때문에 장비의 설치가 용이해야 문제가 생겼을 때 빠른 해결이 가능하다. 따라서 모듈의 설치에 별도의 장비가 필요하지 않도록 설계한다.

3. 모듈의 하우징 크기는 보드의 크기에 맞춰 최대한 작게 한다.

카메라 모듈과 신호 출력 모듈은 모두 외부에 노출되어 있다. 따라서, 외력에 의한 충격을 최소화 하고 무게를 줄여 고정을 튼튼하게 하기 위해서 모듈의 하우징 크기를 최소화 할 필요가 있다. 본 과제에서 모듈 보드의 크기는 고정적이기 때문에 보드를 기준으로 하여 하우징의 크기를 최소화 하여 설계한다.

4. 카메라 모듈 보드에서 전달하는 정보가 신호 전달 모듈의 보드에 100ms 이하의 속도로 전달 되어야 한다.

본 과제에서는 신속한 정보 전달과 데이터 처리가 매우 중요한 설계 변수 중 하나이다. 딥러닝의 데이터 처리 후에 카메라 모듈에서 상황 인식에 대한 디지털 신호가 신호 전달 모듈로 전달된다. 보드 간의 단순 디지털 신호는 매우 단순하기 때문에 100ms 이하의 빠른 속도 내에 전달이 가능하게 해 속도를 최소화한다.

5. 카메라 화질은 (1280 × 720) 이상이어야 한다.

딥러닝 알고리즘을 통한 객체 인식은 카메라에 비추는 이미지를 통해 진행된다. 카메라 자체의 화질은 객체 인식의 결과에 크게 영향을 미칠 것이다. 너무 화질이 낮은 이미지는 객체 인식의 정확도를 떨어뜨릴 것이고 작은 물체를 인식하는데 어려움이 생길 것이다. 따라서, HD화질 이상의 카메라 성능을 통해 보다 정확하고 세밀한 객체 인식 결과를 얻고자 한다.

6. 딥러닝 알고리즘에 의한 객체 인식 결과를 500ms 이내에 얻을 수 있어야한다.

장치는 실시간 영상 처리를 통해서 신호를 전달해야 한다. 따라서, 객체 인식 알고리즘의 영상처리 속도의 신속성은 필수적이다. 속도는 최대한 빠르면 좋겠지만 본 프로젝트에서는 저속의 상황에서 신호 처리 달성을 우선적으로 하기 때문에 처리 속도를 500ms 이내에 달성하는 것을 목표로 한다.

7. 객체 인식 알고리즘의 정확도가 80% 이상이어야 한다.

여기서 말하는 정확도는 부정확한 인식 뿐 아니라 미 인식 상황을 포함한다. 카메라에 노출되는 객체 중 크기가 작은 객체는 인식이 되지않는 경우가 빈번히 발생한다. 카메라의 화질이 너무 좋으면 객체 인식 처리의 시간이 늘어날 것이다. 따라서, 화질이 적절히 낮은 카메라를 이용할 것이기 때문에 객체 인식의 정확도 목표를 이 부분을 고려한 80% 정도로 정할 것이다.

개념설계안

개념설계안은 앞에서 설명한 요구조건을 충족시키는 신호전달 모듈 방식, 모듈 고정부, 각 모듈 보드, 배터리, 신호 센서, 카메라 종류, 소프트웨어 등을 결정한다. 설계 사양을 토대로 각 부분에 대해 여러 가지 방법론적인 아이디어를 제시할 것이며 이후 평가와 분석을 통해서 이들 중 최적설계안을 선택할 것이다.

가. 신호전달 모듈 방식

나. 모듈 고정부

다. 카메라 모듈 보드

라. 신호전달 모듈 보드

마. 배터리

바. 진동 모터 모듈

사. 부저 모듈

아. 카메라 모델

자. 소프트웨어

최종 개념 설계안

이론적 계산 및 시뮬레이션

위는 장치의 동작 시뮬레이션이다. 먼저 카메라 모듈과 GPS 모듈에서 데이터를 받는다. 카메라 모듈에서 얻은 이미지 데이터는 객체 인식 알고리즘을 통해 검출 과정을 거치고 GPS 모듈에서 얻은 데이터는 그 중 속도 데이터를 얻어낸다. 전면의 객체와 이륜차의 주행 상황을 통해 판단을 내리는 동작을 반복해서 수행한다.

만약 상황 판단에서 미리 정해진 상황에 들어맞게 판단이 되었을 때 부저 모듈 또는 진동 모터에 전류를 공급해 운전자에게 신호를 보낸다. 상황은 신호의 종류에 따라 크게 둘로 나누어 지는데 보다 위급하지 아니하고 운전자에게 단순 경고를 위한 상황에서는 진동 모터에 의해 운전자의 헬멧에 진동 신호를 전달한다. 또한 운전자에게 급박한 경고를 하기 위한 상황에서는 부저 모듈에 의해 운전자의 헬멧 내부에서 소리를 출력한다.

상세설계 내용

가. 제품최종모델

나. 조립도

다. 조립순서

1) 카메라 하우징 및 고정부분

2) 젯슨 나노보드 하우징

3) 아두이노 보드, 배터리 하우징 및 헬멧 고정부분

라. 부품도

1) 카메라 하우징 및 고정부분

2) 신호전달모듈

마. 제어부 및 회로설계

시스템의 제어는 젯슨 나노 보드와 아두이노 보드에 의해 이루어진다. 젯슨 나노보드는 데이터를 입력받아서 결과를 연산하는 메인 컴퓨터의 기능을 담당하고 있으며 아두이노는 단순한 신호 전달만을 수행하는 기능을 담당한다. 젯슨 나노 보드는 지속적이고 많은 전력을 필요로 하기 때문에 차량 자체의 배터리에서 전력을 공급받으며 아두이노 보드는 간단한 작업을 수행하며 적은 전력을 필요로 하기 때문에 건전지를 통하여 전력을 공급 받는다.

젯슨 나노 보드는 GPS 모듈과 카메라 모듈의 연결으로 구성된다. 두 개의 모듈을 통해서 전달받은 데이터를 처리해 결과를 얻는다. 이러한 결과는 블루투스 통신방식으로 아두이노 보드로 전달된다. 아두이노 보드는 전달받은 결과 신호에 따라 진동 모터 모듈이나 부저 모듈이 신호를 출력하게 한다. 시스템의 정확한 제어를 위해서는 보드 사이 블루투스 연결 상태를 안정적으로 유지하는 것이 무엇보다 중요하다.

바. 소프트웨어 설계

1) 객체 인식 대상 및 판단 상황

2) 시스템 구성도

시스템은 크게 젯슨 나노 보드에 의해 구동되는 메인 모듈과 아두이노 보드에 의해 구동되는 신호 전달 모듈로 구성된다. 젯슨 나노 보드는 데이터의 입력과 처리를 담당하며 아두이노 보드는 처리된 결과에 따라 적절한 신호 출력을 담당한다.

젯슨 나노 보드에는 카메라 모듈과 GPS 모듈이 연결되어 있다. 이 두 모듈을 이용해서 raw image data와 차량 속도 data를 얻는다. 젯슨 나노 보드는 두 번의 과정을 거친다. 첫째는, raw image data에 대해 객체 인식 처리를 통해 object detected image를 얻는다. 둘째는 인식된 객체에 대한 좌표 값과 GPS 모듈에 의한 차량 속도 데이터를 통해 설정된 위험 상황에 대한 데이터 처리를 진행한다. 두번의 데이터 처리를 통해서 위험 상황이 판단되면 젯슨 나노 보드에서 블루투스를 통해 연결된 아두이노 보드에 신호를 보낸다. 아두이노 보드에는 진동 모듈과 부저 모듈이 연결되어 있으며 두 종류의 다른 신호를 운전자에게 전달할 수 있다. 수신한 신호의 종류에 따라 설정된 모듈을 작동시켜 운전자에게 적절한 경고 신호를 전달한다.

3) 이미지 데이터 처리과정

젯슨 나노 보드에서는 위의 Figure 27과 같은 raw image data를 입력 받아 객체 인식 과정을 거쳐서 Figure 28과 같은 결과를 얻는다. 각 객체 인식 결과는 class에 해당하는 label 정보와 좌표 값 해당 객체가 class와 일치하는 확률에 대한 수치를 포함하며 이를 위와 같이 화면에 표시한다. 잘못된 객체 인식이 운전자에게 잘못된 신호를 전달하게 되는 상황을 방지하기 위해서 확률에 대한 수치인 score변수가 90% 이하일 때는 객체 인식을 무시하도록 설계한다.

객체 인식 후에 해당 객체의 위치 정보가 다음 데이터 처리를 위해 요구된다. tensorflow에서 제공하는 튜토리얼 코드 상에서는 box의 네 꼭짓점에 대한 좌표 정보를 제공한다. 이것을 이용하여 좌표 정보를 얻으면 위의 Figure28와 같이 중점과 객체의 크기에 대한 정보를 추가적으로 얻을 수 있다. 차량의 속도 데이터와 box의 크기나 위치에 대한 데이터를 사전에 정한 위험 상황의 조건으로 이용하여 결과를 얻는다.

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

신호전달모듈

카메라 모듈 및 메인 모듈

작동 장면

오른쪽의 화면은 오토바이 주행정면의 위험구역을 설정한 것으로 이 부분에 객체가 탐지되었을 때 조건에 따라 위험 경보를 울린다.

포스터

완료작품의 평가

본 장치는 실시간 영상을 입력 받아서 처리과정을 거친다. 하지만 실시간 영상에서 작품의 평가를 위한 조건을 보이기에는 한계가 있었다. 따라서, 1번부터 4번까지의 항목은 4개의 영상에 대해서 평가를 진행하였고 5번 평가항목은 실시간 영상에 대한 시간을 측정하였다.

1번 항목은 영상에 보이는 객체에 대해서 인식을 하는 지 여부에 대한 평가항목이다. 사람과 자동차에 대한 객체 인식을 진행하였고 전체 화면에 보이는 객체 중에 약 74%로 객체를 탐지하는 결과를 얻었다. 탐지 결과는 아래와 같으며 평가 결과 자동차에 대한 객체 인식 결과는 80% 이상으로 준수했지만 사람에 대한 인식 결과는 60%에서 70% 정도 밖에 미치지 못했다. 특히 사람은 멀리 있을 때 제대로 인식을 못하는 결과를 얻었다. 위와 같은 결과는 이미지 데이터의 부족과 학습 횟수의 부족으로 딥러닝 학습에서 loss가 일정 이상 작은 결과를 얻지 못했기 때문으로 보여진다.

2번 항목은 영상에 인식된 객체가 해당 객체에 맞게 탐지가 되었는지에 대한 정확도이다. 평가 결과 정확도는 60%까지 낮아질 수 있었으나 인식된 객체에 한해서는 전부 정확하게 인식되는 것을 확인하였다.

3번 항목은 상황 판단의 정확성 여부에 대한 것으로 해당 평가는 사람이 전방에 5명 이상인 상황과 이륜차의 전방에 사람이 가까이 위치한 상황에 대해 부저를 울리는 것으로 진행하였다. 영상 내에서 앞의 조건에 해당하는 상황은 21개의 상황이 있었으며 해당 상황에 신호를 보낸 것은 13개의 상황이었다. 상황에서 부저를 울리지 못한 것은 1번 항목에서 객체를 인식하지 못하는 것이 크게 작용한 것으로 보인다. 이것은 마찬가지로 학습의 부족이 원인으로 차후에 개선될 여지가 있다.

4번 항목은 경보가 울려야 하는 상황에 정확하고 신속하게 작동하는 지에 대한 평가이다. 해당 항목은 젯슨 나노 보드와 아두이노 보드 사이의 블루투스 송, 수신의 안정성이 무엇보다 중요한 부분이다. 평가 결과 해당 항목에 대해서 100%의 결과를 얻을 수 있었다. 즉, 경보가 울려야 하는 상황에는 경보가 정확하게 울리는 것을 확인했다.

5번 항목은 실시간 영상에서 영상에 화면이 보인 후에 객체 인식한 결과를 얻는 것까지 얼마나 시간이 걸리는 지에 대한 평가이다. 평가는 코드 상에서 이미지를 입력 받는 순간부터 이미지를 출력 받을 때까지의 시간을 측정하였다. 5회의 반복 측정 결과 약 370ms의 결과를 얻었다. 해당 수치는 느리게 여겨질 수 있으나 제한적인 젯슨 나노의 성능과 사전 목표를 고려했을 때 준수한 결과를 얻었다고 할 수 있다.

향후계획

본 과제는 객체 인식을 통해 적절한 상황에 운전자에게 신호를 보내는 장치를 만들고자 하였다. 하지만 진행 중에 크게 두 가지의 문제가 있었다. 첫번째는 현재 시장에서 실시간 딥러닝을 수행하기 위한 소프트웨어 부품이 소형화가 덜 되어있다는 것이다. 이것은 이륜차에 장착하는 것에 어려움을 주기 때문에 단순한 신호 전달이 아닌 연산을 직접 수행하는 싱글 컴퓨터를 가지고 다니는 것에 한계가 있다. 두번째는 객체 인식 모델의 한계이다. 현재 소형 전자기기에서 객체 인식은 Mobilenet 모델을 많이 사용하지만 이 모델은 속도의 장점을 가지고 있는 것에 반해 정확성에서 단점을 가지고 있다.

향후 연구 방향 또한 이러한 두 가지 문제점을 개선하는 것으로 여겨진다. 물론, 이 문제들을 개선하는 것에는 많은 지식과 경험을 요구하기 때문에 한계가 있다. 따라서, 현실적으로 개선하기는 어렵다. 이러한 문제점과 더불어서 개선할 수 있는 사항에 대해서는 모델의 안정적인 하우징 설계와 방진, 방수처리, 객체 인식의 정확도 향상 또한 본 과제에서 진행하지 못했던 정확한 차선이나 횡단보도 인식을 통해서 더 많은 상황 설정에 있다. 차후에 더 많은 데이터 수집과 추가적인 학습을 통해서 딥러닝 모델에 대한 loss를 1 이하로 줄인다면 더 좋은 결과를 얻을 수 있고 장치의 작동 신뢰성을 높일 수 있을 것이다.