"1조-창공의 설렘"의 두 판 사이의 차이

2022년 12월 19일 (월) 02:59 판

프로젝트 개요

기술개발 과제

국문 : 스마트 미러와 서비스 로봇을 활용한 실내 길 안내 시스템

영문 : Indoor navigation system using smart mirror and service robot

과제 팀명

창공의 설렘

지도교수

김태현 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20174300** 권**(팀장)

서울시립대학교 기계정보공학과 20174300** 문**

서울시립대학교 기계정보공학과 20174300** 유*

서울시립대학교 기계정보공학과 20164300** 윤**

서론

개발 과제의 개요

개발 과제 요약

Figure 1 실내 길 안내 서비스 통합 관리 시스템 개요

스마트 미러, 스마트폰 애플리케이션, 서비스 로봇을 이용하여 실내 길 안내 서비스를 제공하고, 이와 관련된 공간정보를 관리할 수 있는 웹 애플리케이션을 제작하여 하나의 시스템을 관리한다. 스마트 미러는 음성인식과 버튼 입력으로 사용자와 상호작용하고 현재 위치로부터 목적지까지의 경로를 제공하며 필요 시 서비스 로봇을 호출한다. 호출된 서비스 로봇은 Robot Operating System (ROS)을 이용하여 목적지까지의 경로를 설정하고 사용자를 안내한 후 완료되면 안내 완료 메시지를 출력하고 원위치로 복귀하도록 한다. 스마트폰 애플리케이션의 경우 실내에 설치된 비콘들과의 Bluetooth Low Energy (BLE)통신을 통해 사용자의 현재 위치를 도출하여 화면에 출력하도록 한다.

개발 과제의 배경

• 개발 배경

백화점이나 코엑스와 같은 대형 건물은 매장이 많고 길이 복잡하여 원하는 매장을 찾는 것이 힘든 경우가 많다. 이러한 불편함 때문에 대형 건물에는 각 층에 키오스크를 배치하거나 애플리케이션 혹은 서비스 로봇을 통해 길 안내 서비스를 제공하고 있다.

하지만 현재 제공되고 있는 키오스크는 키오스크가 위치한 곳에서만 경로 정보를 확인할 수 있어 경로 정보를 휴대폰에서 보는 것과 같은 개인화된 서비스는 제공하지 못하며, 터치 입력 방식이기 때문에 디지털 기기의 사용이 어려운 디지털 소외계층은 사용하기 어려운 서비스이다. 또한 실내 지도 앱은 실외 지도 앱처럼 사용자의 현재 위치를 알려주지 않기 때문에 사용자 입장에서 경로를 이탈했는지 확인하기 어렵다. 현재 사용되고 있는 서비스 로봇은 로봇의 위치가 계속 변하며, 로봇이 사용 중일 때 사용자는 새로운 길 안내 서비스를 찾아야 하는 불편함이 있다.

• 기대 효과

스마트 미러, 지도 애플리케이션, 길 안내하는 서비스 로봇 3가지 방식으로 실내 길 안내 서비스를 구현함으로써 다양한 사용자에게 맞춤형 길 안내 서비스를 제공할 수 있을 것이다. 스마트 미러에서 음성 인식과 버튼 입력으로 검색 기능을 제공하여 디지털 취약계층의 접근성을 높일 것이다. 또한 스마트 미러가 벽에 built-in된다면 키오스크보다 공간활용도가 높아질 것으로 기대된다. 지도 애플리케이션을 통해 개인화된 서비스를 제공하지 못하는 키오스크의 단점을 해결할 것이다. 그리고 지도 애플리케이션에 실내 측위 기술을 적용하면 사용자는 실시간으로 지도에서 본인의 현재 위치를 알 수 있어 현재 상용화되어 있는 실내 지도 앱보다 경로를 파악하기 쉽게 해줄 것이다. 직접 길 안내하는 서비스 로봇은 경로 이미지 혹은 지도 애플리케이션만으로는 길을 찾지 못하는 노약자, 시각장애인 등의 사용자들도 길 안내를 받을 수 있게 해준다.

개발 과제의 목표 및 내용

• 개발 목표

실내 안내 정보를 제공하는 스마트 미러를 제작하고, 지도 애플리케이션과 길 안내 서비스 로봇을 사용할 수 있도록 구성한다. 또한, 실내 공간 정보를 관리할 수 있는 관리자용 웹페이지를 구현한다.

• 개발 내용

Figure 7 시스템 개략도

1) 스마트 미러

스마트 미러는 사람이 나타나거나 버튼을 누르면 화면이 켜지며 음성 인식을 통해 목적지를 검색하도록 한다. 모니터 앞에 하프 미러 필름을 이용하여 사용자는 거울처럼 자신의 모습을 보면서 모니터에서 출력되는 내용을 확인할 수 있도록 한다. 음성 인식을 통해 사용자가 원하는 목적지를 받아왔을 때 목적지 정보를 데이터베이스에서 가져와 모니터에 띄워준다. 경로 찾기를 요청한 경우 경로 파일을 스토리지로부터 가져와 모니터에 경로 이미지와 두 개의 QR코드를 출력한다. QR 코드는 사용자가 스마트폰에서 경로 이미지를 볼 수 있는 ‘경로 링크’와 애플리케이션을 다운받을 수 있는 ‘애플리케이션 링크’로 구성된다.

2) 실내 지도 애플리케이션

휴대폰과 BLE 비콘의 통신을 통해 실내 측위를 구현해서 실외 지도 애플리케이션처럼 실내에서도 사용자의 현재 위치를 표시하는 지도 애플리케이션을 개발한다. BLE 비콘은 블루투스 4.0모듈을 사용하여 직접 구현한다. 애플리케이션에서 목적지를 검색하면 해당 목적지의 위치를 나타내는 기능을 구현한다.

3) 길 안내 서비스 로봇

Figure 12 터틀봇3 와플파이

서비스 로봇은 안내를 위해 SLAM을 이용하여 현 위치로부터 목적지까지의 경로를 생성한다. 보행자를 포함한 장애물들을 회피하며 자율주행할 수 있도록 구현한다. 시각장애인도 해당 로봇을 이용할 수 있도록 로봇에 손잡이를 설계한다. 해당 동작들을 구현하기 위해 터틀봇3 와플파이를 이용하여 데모를 진행할 것이다.

4) 관리자용 웹페이지

건물 내의 지도 및 경로 정보를 관리하는 관리자용 웹페이지를 개발한다. 관리자는 관리자용 웹페이지를 이용하여 목적지에 대한 정보를 기입할 수 있다. 기입된 정보는 데이터베이스에 저장되며 스마트 미러 및 지도 애플리케이션에서 목적지를 검색할 때 활용하도록 한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

1) State of art

• 실내 길 안내 서비스

코엑스, 인천국제공항, 롯데월드타워와 같은 대형 건축물의 수가 증가하고, 사람들의 이용객 수가 늘어나게 되면서 표지판으로는 부족한 실내 길 안내 서비스에 대한 수요도 자연스럽게 증가하고 있다. 현재의 길 안내 시스템은 고정된 출발지에서 목적지까지 경로를 안내해주는 키오스크 형태의 서비스와 현재 위치로부터 목적지까지의 경로를 안내해주는 스마트폰 애플리케이션, 서비스 로봇 형태가 주를 이루고 있다. 대부분의 경우 단일 플랫폼에서 서비스를 제공하게 되는데, 이는 플랫폼 간의 차이를 고려하지 않고 데이터를 구성할 수 있다는 장점이 있다.

I. 키오스크 형

사용자가 원하는 목적지를 빠르고 손쉽게 찾을 수 있도록 도와주는 기능들이 내장되어 있다. 키오스크의 터치스크린을 이용하여 디지털 맵의 확대, 축소 및 회전 기능을 통해 사용자와 기기 간의 상호 작용이 가능하다. 애니메이션 경로와 함께 내장된 지능형 알고리즘을 사용하여 사용자가 목적지까지 가는 최적의 경로를 찾을 수 있도록 도와준다. 지능형 알고리즘은 접근성 및 다중 층 이동을 고려하여 목적지까지 걸어가는 데 걸리는 시간을 계산하여 사용자에게 편의성을 제공하고 있다.

Figure 13 키오스크 형 실내 길 안내 서비스

II. 스마트폰 애플리케이션 형

사용자가 스마트폰 실내 지도 애플리케이션을 활용하여 길을 찾도록 한다. UWB, WiFi, BLE와 같은 근거리 무선통신 혹은 AI를 활용한 영상 처리 기술을 사용하여 실내에서도 사용자의 현재 위치 정보를 제공함으로써 복잡한 건물에서의 길 안내를 용이하게 한다. 경로를 나타내는 방식은 Figure14의 2D 지도 방식과 Figure15와 같은 AR 기술을 활용한 3D 지도 방식을 사용하고 있다.

III. 안내 로봇 형

안내 로봇은 각각 레이저와 전자파로 거리와 위치를 재는 라이다, 레이더를 비롯해 본체에 달린 각종 광학 및 전자센서로 주변의 공간정보를 기록한다. 기록한 지도 정보와 내비게이션 기능을 통해 사용자에게 길 안내 서비스를 제공한다. 최근에는 지도 정보를 클라우드 서버에 업로드하여 서버가 로봇들의 위치와 이동 경로를 결정할 수 있도록 구현하기도 했다. 이 경우 클라우드 서버가 자율 주행 로봇의 두뇌 역할을 대신해주기 때문에 로봇 본체에 들어갈 컴퓨팅 장치와 각종 전자기기, 위치 및 장애물 감지 센서류를 최소화할 수 있다.

Figure 16 안내 로봇 본체에 부착되는 장치 안내

Figure 17 클라우드 기술을 활용한 자율이동로봇의 위치정보 공유 방식

2) 기술 로드맵

Figure 18 관련 기술 로드맵

• 음성 인식

자연어 처리를 위해 신경망을 활용한 모델은 Sequence to Sequence Learning with Neural(2014) 논문에서 처음 등장하였다. 이 모델에서 Encoder와 Decoder는 각각 RNN(Recurrent Neural Network)으로 구현되었다. 이 모델은 Encoder-Decorder 구조로 Encoding 과정에서 앞선 정보의 손실이 발생하였는데, 이를 보완하고자 Representation Vector에 Time-Step 별로 생성되는 정보를 추가로 활용하는 Attention 기법(2016)이 제시되었다. 이후 기존 RNN에 사용된 CNN 구조를 모두 버리고 오로지 Attention만을 사용하는 Transformer 구조(2017)도 등장하여 높은 성능을 보여주었다. 현재는 다시 Attention 구조보다 CNN 구조가 더 성능이 좋다는 주장으로 등장한 Jasper(2019)와 Transformer 구조에 CNN 구조를 융합한 Conformer(2020)같이 Attention과 CNN을 적절히 활용하는 구조들이 계속해서 제시되고 있다.

Figure 19 신경망 기반 기계번역 모델의 진화 과정

• 실내 측위

2000년대부터 무선통신 기술을 이용한 실내 측위에 대한 연구가 진행되었지만, 스마트폰이 보급되기 이전에는 측위 기술 개발에 필요한 무선통신 인프라 및 하드웨어 부재로 인해 기술 연구가 주로 학술적 단계에만 머물렀다. 2000년대 후반에 WiFi 및 스마트폰, 2010년대 초반에 BLE가 보급되면서 UWB, WiFi, BLE를 활용한 실내 측위 기술이 연구 개발되고 있다. 그 이후 AI 영상 처리 기술 또한 실내 측위 기술에 접목되면서 2016년 이후부터 연구 개발이 진행되고 있다.

• SLAM (Simultaneous Localization And Mapping)

로봇의 이동 궤적을 추정하기 위해 SLAM 기술은 GMapping과 같이 particle filter를 활용하는 것을 시작으로 다양한 방식으로 시도되고 있다. 특히 ROS(Robotic Operating System)가 도입되면서 다양한 센서 데이터를 쉽게 활용할 수 있게 되면서 급속히 발전하게 되었다. SLAM 기술의 종류로는 라이다 센서나 레이저 센서와 같이 센서 데이터만을 활용하는 SLAM과 RGB-D 카메라, 스테레오 카메라와 같이 이미지 정보만을 활용하는 Visual SLAM, 두 개를 모두 활용하는 Multi-modal SLAM이 있고, 최근에는 AI 신경망에서 뽑아낸 Feature를 활용하여 실시간으로 맵을 만들어내는 기술도 연구되고 있다.

Figure 20 라이다 센서를 활용한 3D SLAM

3) 특허 조사

Figure 21 특허 조사표

4) 특허 전략

Figure 22 특허 전략표

시장상황에 대한 분석

• 경쟁제품 조사 비교

내용

• 마케팅 전략 제시

내용

개발과제의 기대효과

기술적 기대효과

내용

경제적, 사회적 기대 및 파급효과

내용

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용