1조-창공의 설렘

프로젝트 개요

기술개발 과제

국문 : 스마트 미러와 서비스 로봇을 활용한 실내 길 안내 시스템

영문 : Indoor navigation system using smart mirror and service robot

과제 팀명

창공의 설렘

지도교수

김태현 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20174300** 권**(팀장)

서울시립대학교 기계정보공학과 20174300** 문**

서울시립대학교 기계정보공학과 20174300** 유*

서울시립대학교 기계정보공학과 20164300** 윤**

서론

개발 과제의 개요

개발 과제 요약

Figure 1 실내 길 안내 서비스 통합 관리 시스템 개요

스마트 미러, 스마트폰 애플리케이션, 서비스 로봇을 이용하여 실내 길 안내 서비스를 제공하고, 이와 관련된 공간정보를 관리할 수 있는 웹 애플리케이션을 제작하여 하나의 시스템을 관리한다. 스마트 미러는 음성인식과 버튼 입력으로 사용자와 상호작용하고 현재 위치로부터 목적지까지의 경로를 제공하며 필요 시 서비스 로봇을 호출한다. 호출된 서비스 로봇은 Robot Operating System (ROS)을 이용하여 목적지까지의 경로를 설정하고 사용자를 안내한 후 완료되면 안내 완료 메시지를 출력하고 원위치로 복귀하도록 한다. 스마트폰 애플리케이션의 경우 실내에 설치된 비콘들과의 Bluetooth Low Energy (BLE)통신을 통해 사용자의 현재 위치를 도출하여 화면에 출력하도록 한다.

개발 과제의 배경

개발 배경

Figure 2 코엑스(삼성) 실내 지도
Figure 3 강남 신세계 백화점 실내 지도

백화점이나 코엑스와 같은 대형 건물은 매장이 많고 길이 복잡하여 원하는 매장을 찾는 것이 힘든 경우가 많다. 이러한 불편함 때문에 대형 건물에는 각 층에 키오스크를 배치하거나 애플리케이션 혹은 서비스 로봇을 통해 길 안내 서비스를 제공하고 있다.

Figure 4 코엑스(삼성) 키오스크
Figure 5 롯데월드타워 지도 앱
Figure 6 서비스 로봇 '클로이'

하지만 현재 제공되고 있는 키오스크는 키오스크가 위치한 곳에서만 경로 정보를 확인할 수 있어 경로 정보를 휴대폰에서 보는 것과 같은 개인화된 서비스는 제공하지 못하며, 터치 입력 방식이기 때문에 디지털 기기의 사용이 어려운 디지털 소외계층은 사용하기 어려운 서비스이다. 또한 실내 지도 앱은 실외 지도 앱처럼 사용자의 현재 위치를 알려주지 않기 때문에 사용자 입장에서 경로를 이탈했는지 확인하기 어렵다. 현재 사용되고 있는 서비스 로봇은 로봇의 위치가 계속 변하며, 로봇이 사용 중일 때 사용자는 새로운 길 안내 서비스를 찾아야 하는 불편함이 있다.

기대 효과

스마트 미러, 지도 애플리케이션, 길 안내하는 서비스 로봇 3가지 방식으로 실내 길 안내 서비스를 구현함으로써 다양한 사용자에게 맞춤형 길 안내 서비스를 제공할 수 있을 것이다. 스마트 미러에서 음성 인식과 버튼 입력으로 검색 기능을 제공하여 디지털 취약계층의 접근성을 높일 것이다. 또한 스마트 미러가 벽에 built-in된다면 키오스크보다 공간활용도가 높아질 것으로 기대된다. 지도 애플리케이션을 통해 개인화된 서비스를 제공하지 못하는 키오스크의 단점을 해결할 것이다. 그리고 지도 애플리케이션에 실내 측위 기술을 적용하면 사용자는 실시간으로 지도에서 본인의 현재 위치를 알 수 있어 현재 상용화되어 있는 실내 지도 앱보다 경로를 파악하기 쉽게 해줄 것이다. 직접 길 안내하는 서비스 로봇은 경로 이미지 혹은 지도 애플리케이션만으로는 길을 찾지 못하는 노약자, 시각장애인 등의 사용자들도 길 안내를 받을 수 있게 해준다.

개발 과제의 목표 및 내용

개발 목표

실내 안내 정보를 제공하는 스마트 미러를 제작하고, 지도 애플리케이션과 길 안내 서비스 로봇을 사용할 수 있도록 구성한다. 또한, 실내 공간 정보를 관리할 수 있는 관리자용 웹페이지를 구현한다.

개발 내용

Figure 7 시스템 개략도

1) 스마트 미러

Figure 8 스마트 미러 하드웨어 구조
Figure 9 모니터 경로 검색 결과 UI 초안

스마트 미러는 사람이 나타나거나 버튼을 누르면 화면이 켜지며 음성 인식을 통해 목적지를 검색하도록 한다. 모니터 앞에 하프 미러 필름을 이용하여 사용자는 거울처럼 자신의 모습을 보면서 모니터에서 출력되는 내용을 확인할 수 있도록 한다. 음성 인식을 통해 사용자가 원하는 목적지를 받아왔을 때 목적지 정보를 데이터베이스에서 가져와 모니터에 띄워준다. 경로 찾기를 요청한 경우 경로 파일을 스토리지로부터 가져와 모니터에 경로 이미지와 두 개의 QR코드를 출력한다. QR 코드는 사용자가 스마트폰에서 경로 이미지를 볼 수 있는 ‘경로 링크’와 애플리케이션을 다운받을 수 있는 ‘애플리케이션 링크’로 구성된다.

2) 실내 지도 애플리케이션

Figure 10 BLE 비콘 통신
Figure 11 실외 지도 앱의 현재 위치 표시 기능

휴대폰과 BLE 비콘의 통신을 통해 실내 측위를 구현해서 실외 지도 애플리케이션처럼 실내에서도 사용자의 현재 위치를 표시하는 지도 애플리케이션을 개발한다. BLE 비콘은 블루투스 4.0모듈을 사용하여 직접 구현한다. 애플리케이션에서 목적지를 검색하면 해당 목적지의 위치를 나타내는 기능을 구현한다.

3) 길 안내 서비스 로봇

Figure 12 터틀봇3 와플파이

서비스 로봇은 안내를 위해 SLAM을 이용하여 현 위치로부터 목적지까지의 경로를 생성한다. 보행자를 포함한 장애물들을 회피하며 자율주행할 수 있도록 구현한다. 시각장애인도 해당 로봇을 이용할 수 있도록 로봇에 손잡이를 설계한다. 해당 동작들을 구현하기 위해 터틀봇3 와플파이를 이용하여 데모를 진행할 것이다.

4) 관리자용 웹페이지

건물 내의 지도 및 경로 정보를 관리하는 관리자용 웹페이지를 개발한다. 관리자는 관리자용 웹페이지를 이용하여 목적지에 대한 정보를 기입할 수 있다. 기입된 정보는 데이터베이스에 저장되며 스마트 미러 및 지도 애플리케이션에서 목적지를 검색할 때 활용하도록 한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

1) State of art

실내 길 안내 서비스

코엑스, 인천국제공항, 롯데월드타워와 같은 대형 건축물의 수가 증가하고, 사람들의 이용객 수가 늘어나게 되면서 표지판으로는 부족한 실내 길 안내 서비스에 대한 수요도 자연스럽게 증가하고 있다. 현재의 길 안내 시스템은 고정된 출발지에서 목적지까지 경로를 안내해주는 키오스크 형태의 서비스와 현재 위치로부터 목적지까지의 경로를 안내해주는 스마트폰 애플리케이션, 서비스 로봇 형태가 주를 이루고 있다. 대부분의 경우 단일 플랫폼에서 서비스를 제공하게 되는데, 이는 플랫폼 간의 차이를 고려하지 않고 데이터를 구성할 수 있다는 장점이 있다.

I. 키오스크 형

사용자가 원하는 목적지를 빠르고 손쉽게 찾을 수 있도록 도와주는 기능들이 내장되어 있다. 키오스크의 터치스크린을 이용하여 디지털 맵의 확대, 축소 및 회전 기능을 통해 사용자와 기기 간의 상호 작용이 가능하다. 애니메이션 경로와 함께 내장된 지능형 알고리즘을 사용하여 사용자가 목적지까지 가는 최적의 경로를 찾을 수 있도록 도와준다. 지능형 알고리즘은 접근성 및 다중 층 이동을 고려하여 목적지까지 걸어가는 데 걸리는 시간을 계산하여 사용자에게 편의성을 제공하고 있다.

Figure 13 키오스크 형 실내 길 안내 서비스

II. 스마트폰 애플리케이션 형

사용자가 스마트폰 실내 지도 애플리케이션을 활용하여 길을 찾도록 한다. UWB, WiFi, BLE와 같은 근거리 무선통신 혹은 AI를 활용한 영상 처리 기술을 사용하여 실내에서도 사용자의 현재 위치 정보를 제공함으로써 복잡한 건물에서의 길 안내를 용이하게 한다. 경로를 나타내는 방식은 Figure14의 2D 지도 방식과 Figure15와 같은 AR 기술을 활용한 3D 지도 방식을 사용하고 있다.

Figure 14 Navigine사 2D 애플리케이션
Figure 15 Google사 3D 애플리케이션

III. 안내 로봇 형

안내 로봇은 각각 레이저와 전자파로 거리와 위치를 재는 라이다, 레이더를 비롯해 본체에 달린 각종 광학 및 전자센서로 주변의 공간정보를 기록한다. 기록한 지도 정보와 내비게이션 기능을 통해 사용자에게 길 안내 서비스를 제공한다. 최근에는 지도 정보를 클라우드 서버에 업로드하여 서버가 로봇들의 위치와 이동 경로를 결정할 수 있도록 구현하기도 했다. 이 경우 클라우드 서버가 자율 주행 로봇의 두뇌 역할을 대신해주기 때문에 로봇 본체에 들어갈 컴퓨팅 장치와 각종 전자기기, 위치 및 장애물 감지 센서류를 최소화할 수 있다.

Figure 16 안내 로봇 본체에 부착되는 장치 안내

Figure 17 클라우드 기술을 활용한 자율이동로봇의 위치정보 공유 방식

2) 기술 로드맵

Figure 18 관련 기술 로드맵

음성 인식

자연어 처리를 위해 신경망을 활용한 모델은 Sequence to Sequence Learning with Neural(2014) 논문에서 처음 등장하였다. 이 모델에서 Encoder와 Decoder는 각각 RNN(Recurrent Neural Network)으로 구현되었다. 이 모델은 Encoder-Decorder 구조로 Encoding 과정에서 앞선 정보의 손실이 발생하였는데, 이를 보완하고자 Representation Vector에 Time-Step 별로 생성되는 정보를 추가로 활용하는 Attention 기법(2016)이 제시되었다. 이후 기존 RNN에 사용된 CNN 구조를 모두 버리고 오로지 Attention만을 사용하는 Transformer 구조(2017)도 등장하여 높은 성능을 보여주었다. 현재는 다시 Attention 구조보다 CNN 구조가 더 성능이 좋다는 주장으로 등장한 Jasper(2019)와 Transformer 구조에 CNN 구조를 융합한 Conformer(2020)같이 Attention과 CNN을 적절히 활용하는 구조들이 계속해서 제시되고 있다.

Figure 19 신경망 기반 기계번역 모델의 진화 과정

실내 측위

2000년대부터 무선통신 기술을 이용한 실내 측위에 대한 연구가 진행되었지만, 스마트폰이 보급되기 이전에는 측위 기술 개발에 필요한 무선통신 인프라 및 하드웨어 부재로 인해 기술 연구가 주로 학술적 단계에만 머물렀다. 2000년대 후반에 WiFi 및 스마트폰, 2010년대 초반에 BLE가 보급되면서 UWB, WiFi, BLE를 활용한 실내 측위 기술이 연구 개발되고 있다. 그 이후 AI 영상 처리 기술 또한 실내 측위 기술에 접목되면서 2016년 이후부터 연구 개발이 진행되고 있다.

SLAM (Simultaneous Localization And Mapping)

로봇의 이동 궤적을 추정하기 위해 SLAM 기술은 GMapping과 같이 particle filter를 활용하는 것을 시작으로 다양한 방식으로 시도되고 있다. 특히 ROS(Robotic Operating System)가 도입되면서 다양한 센서 데이터를 쉽게 활용할 수 있게 되면서 급속히 발전하게 되었다. SLAM 기술의 종류로는 라이다 센서나 레이저 센서와 같이 센서 데이터만을 활용하는 SLAM과 RGB-D 카메라, 스테레오 카메라와 같이 이미지 정보만을 활용하는 Visual SLAM, 두 개를 모두 활용하는 Multi-modal SLAM이 있고, 최근에는 AI 신경망에서 뽑아낸 Feature를 활용하여 실시간으로 맵을 만들어내는 기술도 연구되고 있다.

Figure 20 라이다 센서를 활용한 3D SLAM

3) 특허 조사

Figure 21 특허 조사표

4) 특허 전략

Figure 22 특허 전략표

시장상황에 대한 분석

1) 경쟁제품 조사 비교

Figure 23 경쟁 제품 조사 비교표

Acquire Wayfinder

세계 키오스크 서비스 솔루션 제조사 중 상위 10위 내에 위치한 Acquire Digital 사의 실내 길 안내 키오스크이다. 터치스크린을 이용하여 사용자와 상호작용하며, 스마트폰 애플리케이션 및 관리자용 애플리케이션을 제공하고 있다. 스마트폰 애플리케이션에서는 사용자의 현재 위치를 파악할 수 있고 현재 위치로부터 목적지까지의 경로를 안내하는 기능이 있다. 하지만 사용자를 목적지까지 직접 안내해주는 장치는 없고 음성 인식을 지원하지 않고 있다.

Dabeeo Maps

우리나라의 대표적인 실내 길 안내 키오스크 제조사인 Dabeeo 사에서 설계한 제품이다. 현재 국내 47개의 대형 백화점 및 마트에서 이용하고 있으며, 사용자의 평 또한 매우 좋다. 터치스크린을 이용하여 사용자와 상호작용할 수 있지만 음성 인식은 지원하지 않는다. 관리자용 애플리케이션과 스마트폰 애플리케이션을 제공하고 있지만 사용자의 현재 위치를 파악하는 기능은 없다.

CLOi GuideBot

LG 전자의 실내 안내 로봇인 CLOi GuideBot은 터치스크린을 이용하여 사용자에게 서비스를 제공하고, 음성 인식 기능도 탑재하여 사용자 편의성을 향상했다. 목적지를 입력하면 목적지에 대한 정보와 길 안내 서비스를 제공한다. 스마트폰 애플리케이션을 따로 제공하지는 않아 사용자가 목적지를 찾아감에 있어 현재 위치를 파악할 수는 없지만, 목적지를 입력하면 목적지까지 동행해 주는 기능이 있어 사용자에게 편리함을 제공하고 있다.

Pepper

소프트뱅크에서 개발한 인공지능 안내 로봇 페퍼(Pepper)는 공항, 백화점, 테마파크 등의 공공시설에서 자율주행과 위치 인식 기술을 기반으로 실내 공간을 이동하며 사람들에게 길 안내 서비스를 제공한다. 터치스크린과 스피커, 마이크를 이용하여 사용자와 상호작용하고 사용자의 질문에 대응하는 다국어 대화 서비스를 제공한다. 목적지를 입력했을 때 목적지까지 동행해주는 기능이 있다. 별도의 스마트폰 애플리케이션은 제공하지 않아 사용자의 현재 위치를 알려주지 않는다.

2) 마케팅 전략

시장 조사

Figure 24 글로벌 실내 위치 정보 시장의 솔루션 유형별 시장 규모 및 전망

Figure 25 글로벌 실내 위치 정보 시장의 업계별 시장 규모 및 전망

위 2개의 도표는 2020년 대비 2025년의 전 세계 실내 위치 정보 시장의 솔루션 및 업계별 시장 규모 및 전망을 나타내며, 막대에 쓰인 숫자는 시장 규모, 막대 위에 표시된 퍼센트 값은 연평균 성장률을 나타낸 것이다. 2025년의 실내 추적과 실내 내비게이션의 시장 규모는 모두 2020년에 비해 약 20% 이상의 성장률이 전망되고, 소매업, 여행 및 접객업, 엔터테인먼트 등의 실내 위치 정보가 활용될 수 있는 분야의 시장 규모 또한 약 20% 이상의 성장율이 전망된다. 해당 자료를 통해 실내 길 안내 서비스 통합 관리 시스템 시장의 성장도 기대해볼 수 있다.

SWOT 분석

Figure 26 SWOT 분석표

SWOT 전략

Figure 27 SWOT 전략표

개발과제의 기대효과

1) 기술적 기대효과

유지 보수 관리 용이한 시스템 구조

스마트 미러, 스마트폰 애플리케이션, 서비스 로봇 세 가지 제품을 하나의 시스템으로 관리함으로써 길 안내 시스템에 대한 유지-보수 비용을 줄일 수 있을 것이며, 서비스 로봇에 디스플레이를 사용하여 추가적인 서비스 제공 및 광고 효과를 주거나 새로운 서비스 기기를 추가하게 될 경우에도 관련 정보 관리 측면에서 용이할 것이다.

실내 측위 기술의 활용 가치

BLE를 이용한 실내 측위 기술을 로봇에도 적용하여 해당 층에 위치하는 길 안내 서비스 로봇의 위치를 파악할 수 있다면 사용자가 길 안내 서비스를 이용하게 될 경우 예상 대기시간을 출력할 수 있을 것이고, 나아가 로봇이 대기 장소 이외의 장소에서 장기간 멈춰있는 것을 인지하여 이상이 생긴 로봇을 조치하는 등 로봇을 효율적으로 운영하는 데 활용할 수 있을 것이다. 추가로 실내 측위를 통해 얻은 사용자들의 주요 방문 시간 및 장소에 대한 데이터는 빅데이터로써 활용될 수 있다.

2) 경제적, 사회적 기대 및 파급효과

스마트 시티에 적합한 시스템

정보통신기술을 이용하여 도시문제를 해결하는 스마트 시티에 대한 관심이 높아지고 있는 현시대의 흐름에 맞춰 실내 길 안내 서비스에 대한 관심도 커지고 있다. 시장조사 전문기관인 얼라이드 마켓 리서치에서는 스마트 시티 플랫폼 시장이 연평균 16.2%의 성장을 보일 것으로 보이며, 2031년 7천억 달러를 넘어설 것이라 예측한다.[13] 이러한 기술 동향과 함께 개발하고자 하는 실내 길 안내 서비스는 실내 내비게이션 정보를 제공함으로써 사용자들의 편의성을 증진할 수 있을 뿐 아니라, 일상생활의 80~90%가 이루어지고 있는 실내 공간을 대상으로 다양한 위치 기반 서비스를 제공할 수 있어 그 경제적, 기술적 파급 효과는 지대할 것으로 예측된다.

방범 및 방역 대책에 활용

개발하고자 하는 실내 측위 기술이 재난 및 범죄 등에 대한 긴급구조용 시스템 혹은 코로나19 확진자의 동선 파악 및 경로추적에 활용된다면 정부에서 운영하는 방범 및 방역 대책의 사회적 비용을 감소시키는 데 기여할 수 있을 것이다.

기술개발 일정 및 추진체계

1) 개발 일정

Figure 28 개발 일정

2) 구성원 및 추진체계

Figure 29 구성원 및 추진체계

설계

설계사양

1) 제품 요구사항

Figure 30 제품 요구사항 표

2) 목적 계통도

Figure 31 목적 계통도

Figure 32 목적 계통도 표

3) 설계 사양

Figure 33 설계 사양 표

개념설계안

1) 키오스크(스마트 미러)
음성 인식

Figure 34 음성 인식 표

GPIO 장치

- 입력 장치

Figure 35 입력 장치 표

- 입력 장치(센서)

Figure 36 입력 장치(센서) 표

2) 스마트폰 애플리케이션

실내 측위 통신 방법

Figure 37 실내 측위 통신 방법 표

3) 안내 서비스 로봇

Simultaneous Localization And Mapping (SLAM)기법

Figure 38 SLAM 기법 표

키오스크와 안내 로봇 간의 통신 항목 비교

Figure 39 키오스크와 안내 로봇 간의 통신 항목 비교 표

4) 개념 설계안 요약

Figure 40 개념 설계안 요약 표

이론적 계산 및 시뮬레이션

1) 삼변 측량 기법

적용 환경 및 파라미터 설정

Figure 41 삼변 측량 적용 환경

- B1(x_1, y_1): 비콘1

- B2(x_2, y_2): 비콘2

- B3(x_3, y_3): 비콘3

- P(x, y): 추정 위치

삼변 측량 기법을 적용한 계산

1) 거리 값 계산

Figure 42 거리값 계산식

2) 선형 방정식으로 좌표 값 추정

Figure 43 선형 방정식으로 좌표 값 추정

테스트 결과

Figure 44 테스트 결과

실제 지도 상의 좌표를 활용하고 Figure 2에 표시된 P의 위치에서 30회 측정하여 해당 위치의 목표값 좌표와의 오차를 측정하였다. x_std와 y_std가 목표값에 해당한다.

Figure 45 삼변 측량 테스트 결과

Figure 46 삼변 측량 테스트 결과 표

오차 원인 분석

1) RSSI값의 불안정성

Figure 47 거리에 따른 RSSI값 측정 결과

Figure 48 거리에 따른 RSSI값 측정 결과 정리

대안책(지역 분할)

Figure 49 비콘 영역 분할

Figure 50 비콘 영역 분할 정리

Figure 51 지역 분할 테스트 결과

Figure 52 지역 분할 테스트 결과 정리

2) 내비게이션 패스 플래닝 하이퍼 파라미터 튜닝

실험 환경

Figure 53 실험 환경 사진

Figure 54 실험 환경 내용

Costmap parameter

- Inflation radius

Figure 55 Inflation radius = 0.02(좌), Inflation radius = 0.3(우)

Figure 56 Inflation radius 결과 정리

- Cost scaling factor

Figure 57 cost scaling factor = 1.2(좌), cost scaling factor = 3.6(우)

Figure 58 cost scaling factor 결과 정리

Global planner

- neutral cost

Figure 59 Neutral cost = 30(좌), neutral cost = 130(우)

Figure 60 Neutral cost 결과 정리

- Cost factor

Figure 61 Cost factor = 0.2 (좌), cost factor = 0.8(우)

Figure 62 Cost factor 결과 정리

Local planner

- Sim time

Figure 63Sim time = 1.0 (좌), sim time = 4.0(우)

Figure 64 Sim time 결과 정리

상세설계안

가. 조립도

전체 조립도

본 프로젝트의 스마트 미러 시연 제품의 최종 제품 모델링은 아래 사진과 같다.

Figure 65 스마트 미러 전체 조립도

조립 순서

1) 기초 조립

Figure 66 기초 조립표

2) 전면 아크릴, 커버 조립

Figure 67 전면 아크릴, 커버 조립표

3) 모니터 지지대 조립

Figure 68 모니터 지지대 조립표

4) 회로부 결합 및 모니터 지지대 결합

Figure 69 회로부 결합 및 모니터 지지대 결합표

5) 마이크 및 초음파 센서 모듈 조립

Figure 70 마이크 및 초음파 센서 모듈 조립표

6) 버튼 모듈 조립

Figure 71 버튼 모듈 조립표

7) 기기에 모듈 결합

Figure 72 기기 모듈 결합표

8) 외장재 결합

Figure 73 외장재 결합표

나. 부품도

마이크 및 초음파 센서 하우징

1) 하우징 전면부

Figure 74 마이크 및 초음파 센서 하우징 전면부 3D 모델링 및 도면표

2) 하우징 후면부

Figure 75 마이크 및 초음파 센서 하우징 후면부 3D 모델링 및 도면표

3) 하우징 상단부

Figure 76 마이크 및 초음파 센서 하우징 상단부 3D 모델링 및 도면표

버튼 센서 하우징

1) 하우징 전면부

Figure 77 버튼 센서 하우징 전면부 3D 모델링 및 도면표

2) 하우징 후면부

Figure 78 버튼 센서 하우징 후면부 3D 모델링 및 도면표

3) 하우징 상단부

Figure 79 버튼 센서 하우징 상단부 3D 모델링 및 도면표

버튼 캡

1) 선택 버튼 캡

Figure 80 선택 버튼 캡 3D 모델링 및 도면표

2) 상, 하 버튼 캡

Figure 81 상, 하 버튼 캡 3D 모델링 및 도면표

다. 제어부 및 회로 설계

스마트 미러(키오스크) GPIO 모듈 회로도

Figure 82 라즈베리파이 회로도

Figure 83 라즈베리파이 회로도 설명

라. 소프트웨어 설계

1) 스마트 미러(키오스크)

사용 시나리오

- 대기 상태

Figure 84 대기화면 동작 시나리오

Figure 85 대기화면 동작 시나리오 설명

- 목적지 검색

Figure 86 목적지 검색 시나리오

Figure 87 목적지 검색 시나리오 설명

- 목적지 리스트 출력

Figure 88 목적지 리스트 출력 시나리오

Figure 89 목적지 리스트 출력 시나리오 설명

- 경로 출력

Figure 90 경로 출력 시나리오

Figure 91 경로 출력 시나리오 설명

- 음성 인식 실패

Figure 92 음성 인식 실패 시나리오

Figure 93 음성 인식 실패 시나리오 설명

길 찾기 기능 플로우 차트 및 GUI 뷰 계층 구조

Figure 94 스마트 미러 시나리오 플로우 차트

Figure 95 스마트 미러 GUI 뷰 계층 구조

2) 실내 지도 애플리케이션

뷰 계층 구조

Figure 96 실내 지도 애플리케이션 뷰 계층 구조

BLE 통신 및 실내 측위

- 데이터 구조 및 형식

Figure 97 BLE 통신 및 실내 측위에 활용되는 데이터 구조

최단 경로 탐색

- 데이터 구조 및 형식

Figure 98 최단 경로 탐색에 활용되는 데이터 구조

파이어베이스 (실시간 데이터베이스, 스토리지) 연동

- 연동 데이터 구조 및 형식

Figure 99 파이어베이스 연동에 활용되는 데이터 구조

애플리케이션 통신 및 동작 시퀀스 다이어그램

Figure 100 애플리케이션 통신 및 동작 시퀀스 다이어그램

Figure 101 애플리케이션 통신 및 동작 시퀀스 다이어그램 설명

3) 관리자용 웹페이지

뷰 계층 구조

Figure 102 관리자용 웹페이지 뷰 계층 구조

목적지 데이터 관리 기능 구현

- 목적지 데이터 구조도

Figure 103목적지 데이터 구조 및 형식

관리자용 웹페이지 동작 구현

- 시퀀스 다이어그램

Figure 104 관리자용 웹페이지 동작 시퀀스 다이어그램

- 동작 구현 소스코드

Figure 105 관리자용 웹페이지 동작 구현 소스 코드

Figure 106 관리자용 웹페이지 동작 구현 소스 코드 설명

노드 및 링크 추가 기능 구현

- 노드 데이터 구조도

Figure 107 노드 데이터 구조 및 형식

- 링크 데이터 구조도

Figure 108 링크 데이터 구조 및 형식

- 노드 추가 기능 시퀀스 다이어그램

Figure 109 노드 추가 기능 시퀀스 다이어그램

Figure 110 노드 추가 기능 시퀀스 다이어그램 설명

4) 실내 자율 주행 로봇

SLAM

Figure 111 Cartographer를 활용한 SLAM 구현

Figure 112 Cartographer를 활용한 SLAM 구현 설명

Navigation

- EMCL (Expansion Monte Carlo Localization)

Figure 113 EMCL을 활용한 로봇 위치 추정

Figure 114 EMCL을 활용한 실시간 위치 보정

Figure 115 EMCL 설명

- 2D Costmap

Figure 116 Global(좌) 및 Local Costmap(우)

Figure 117 Global(좌) 및 Local Costmap(우) 설명

- Navfn Global Planner

Figure 118 A* 알고리즘(좌) 및 Dijkstra’s 알고리즘(우)

Figure 119 CA* 알고리즘(좌) 및 Dijkstra’s 알고리즘(우) 설명

- DWA Local Planner

Figure 120 DWA 이미지 및 코드

Figure 121 DWA 이미지 및 코드 설명

결과 및 평가

완료 작품의 소개

프로토타입

Figure 122 스마트 미러 외관
Figure 123 안내 로봇
Figure 124 실내 지도 애플리케이션

Figure 125 스마트 미러 경로 검색 결과
Figure 126 스마트 미러 홈 화면
Figure 127 관리자용 웹 애플리케이션

포스터

Figure 128 포스터

완료작품의 평가

Figure 130 평가 결과표

향후계획

개선할 점

1) 짧은 음성 인식 시간으로 인한 음성 인식 정확도 저하 문제가 발생한다.

2) 관리자용 웹페이지에서 관리자가 실내 지도의 구조는 변경할 수 없으므로 건물 구조 변경 시 이를 반영할 수 없다.

3) 안내 로봇이 라이더를 통해 인식한 장애물의 영역을 크게 설정할 시 장애물을 크게 우회하여 충돌 위험이 적지만 폭이 좁은 통로를 통과하기 어려울 수 있다.

4) 예외적으로 BLE에서 송출되는 RSSI값이 불균형하게 출력될 경우 측위 오차가 5m를 넘을 수 있다.

특허 출원 내용

Figure 131 출원번호통지서