"5조-오늘제빵소"의 두 판 사이의 차이

2021년 12월 19일 (일) 23:46 판

프로젝트 개요

기술개발 과제

국문 : 시각 장애인을 위한 실내 길 안내 서비스

영문 : Indoor navigation system for people with visual impairments

과제 팀명

오늘제빵소

지도교수

황면중 교수님

개발기간

2021년 9월 ~ 2021년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20164300** 이*재(팀장)

서울시립대학교 기계정보공학과 20154300** 김*호

서울시립대학교 기계정보공학과 20154300** 김*민

서울시립대학교 기계정보공학과 20144300** 노*하

서론

개발 과제의 개요

개발 과제 요약

시각장애인들이 실내에서 원하는 목적지로의 길을 찾기 어려운 문제를 해결하기 위해 백화점이나 공항 같은 대형 건물의 실내 길안내를 도와주는 웨어러블 디바이스를 이용한 길 안내 서비스를 설계한다. 지도 작성 및 위치추정 기술을 사용하여 사용자에게 위치 정보를 제공하고, 추정된 위치로부터 목적지까지의 경로계획을 통해 사용자에게 경로 또한 제시한다. 사용자의 특수성을 고려하여 사용자 가 GUI를 통해 목적지를 입력하면, 디바이스는 음성 메시지 방식을 통해 위치 및 경로 정보를 제공하도록 한다.

개발 과제의 배경

시각 장애인의 독립 보행이란 특정환경 속에서 자신의 잔존시각을 포함한 잔존 감각을 활용하여 자신의 현재 위치를 파악하고 주변 환경과 관계하여 자신이 원하는 목적지까지 이동하는 행동으로 정의내릴 수 있다. 독립 보행능력 보유 여부는 시각장애인의 자기존중감에 긍정적 영향을 미치며, 신체적 능력 향상과 사회활동 참여 증진, 고용기회의 확대까지 이어진다는 점에서 시각장애인 교육 및 재활 분야의 핵심으로 간주되고 있다.

최근 들어 GPS기반 장비와 각종 표지판, 이정표와 같은 랜드마크들이 늘어남에 따라 실외에서의 길찾기 작업 점점 수월해지고 있다. 하지만 실내 공간의 길 찾기의 경우 실내공간의 대형화, 전자지도 구축미비, GPS 기반 도구의 기능적 한계 등의 문제로 인해 이전에 비해 점점 어려워지고 있으며, 이는 시각장애인 또한 해당되는 흐름이다.

「시각장애인 실내보행용 앱 개발을 위한 욕구 및 선호 연구」 에 따르면 조성재는 시각장애인을 대상으로 한 실내 공간 이용시 느끼는 주관적 어려움정도를 조사한 결과에서 “어려운 편이다”~”어렵다” 의 경우가 적게는 66%, 많게는 80%까지 나타나는 사실을 지적하고 있다.

특히 백화점이나 공항의 경우는 그 비율이 더 높은 것으로 확인되었다. 이렇듯 현재 시각장애인들은 실내 공간에서 길을 찾기 어려운 현실을 마주하고 있다. 이러한 어려움을 해결하기 위해 우리나라의 경우, 위와 같은 몇몇 장소들은 점자블록, 음성안내 단말기, 음향신호기 수신기 등을 설치하여 시각장애인들이 위치에 대한 정보를 얻을 수 있게끔 시행하고 있다. 하지만 그러한 노력들에도 불구하고 여전히 시각장애인들에 대한 위 기관들의 접근성은 매우 낮은 것으로 알려져 있다. 이는 「시각장애인의 실내안내시설 설치 이용만족도 조사 (김인배, 2020)」 에서 나타나는데, 모든 연령대에서 낮은 만족도를 보여준다. 때문에 결국 흰 지팡이나 안내견, 행인에게 묻기 등의 수단으로 이동하는 것이 보통이다.

우리는 이러한 문제를 개선하기 위해 웨어러블 기기를 이용하여 시각장애인이 원하는 목적지지까지의 길을 안내해주는 서비스를 설계및 제작할 것이다. 이를 통해 시각장애인들이 백화점이나 공항과 같은 길찾기가 어렵고 복잡한 건물에서 목적지까지 쉽게 도착할 수 있게 하여, 실내외 어느 곳에서도 불편함을 느끼지 않게 독립보행 능력을 실현하는 데 도움을 줄 것이다.

개발 과제의 목표 및 내용

개발 목표

우리들은 백화점이나 공항 등 규모가 크고 내부 구조가 복잡한 건물에서 길을 찾아주는 웨어러블 디바이스를 제작하고 이를 통해 실질적으로 길찾기에 도움을 주는 것을 목표로 한다. 우리가 설계할 장치에는 가급적 실제 사용자들이 중요시하는 부분을 구현하는 것을 목표로 하였다. 「시각장애인 실내보행용 앱 개발을 위한 욕구 및 선호 연구」에 따르면 조성재는 시각장애인들은 실내 보행 및 길찾기를 도와주는 어플리케이션에 바라는 항목들로 현재 위치에서 가고자 하는 목적지까지의 거리와 방향, 자신의 현재 위치, 목적지에 도착하거나 지나칠 경우 자동도착 알림 기능 3가지가 핵심적인 요구 기능으로 선호되고 있다고 하였다.

또한 웨어러블 디바이스인만큼 너무 거추장스럽거나 무거우면 오히려 불편함을 초래할 것이다. 따라서 휴대성과 사용성 또한 고려하여야 한다. 일반적인 웨어러블 기기나 어플리케이션과는 달리 장치의 조작방법과 피드백을 받는 방식 또한 사용자에 맞추어 디자인하여야 한다. 같은 연구에서 실내보행용 스마트폰 app으로 정보 수용 시 선호하는 방식으로 음성 메시지 단독 사용과, 음향 신호와 진동음 병용이 주로 꼽혔다.

이에 따라 가장 높게 선호되는 음성 메시지 방식으로 사용자에게 정보를 전달하는 것을 목표로 한다. 따라서 우리의 개발 목표치는 다음과 같다. 1. 원하는 목적지까지 길을 정확하게 안내하는 것 2. 시스템이 현재 위치를 정확히 파악하는 것 3. 목적지에 도착할 경우 도착 알림을 하는 것 4. 휴대하기 편안한 것 5. 시각장애자가 조작하고 피드백을 받기에 편리한 것 시각장애인을 위한 길안내 서비스는 수익을 내기 위함이라기보다는 공익을 위한 서비스이므로, 가격 경쟁력을 갖추기 보다는 정확한 서비스를 제공하는 제품을 설계하고, 백화점이나 공항 등 특정 공간에 정부 또는 지자체 지원을 받아 구비하는것을 목표로 한다. 이렇게 구비된 제품을 안내데스크에서 대여해주는 방식으로 사용자가 이용한다. 기기의 이용은 전맹 사용자보다는 저시력자와 시야장애자를 대상으로 하고, 전맹 사용자는 안내데스크에서 기기의 조작을 도와주는 것을 목표로 한다.

세부 개발 내용

웨어러블 디바이스

임베디드 컴퓨터가 장착된 디바이스를 사용자가 착용하는 형태를 목표로 한다. 디바이스는 카메라가 상향된 전방을 확인할 수 있도록 전면으로 멜 수 있는 슬링백 형태로 제작하도록 한다. 휴대하기 용이하도록 무게가 무겁지 않게 하고, 디바이스의 통기성을 높여 발열 또한 고려해야 한다.

디바이스 내에는 임베디드 컴퓨터, RGBD 카메라, 충전형 배터리, 터치스크린 디스플레이가 하우징 되어 장착된다. 장착된 컴퓨터에 맞게 배터리 형태로 전원을 공급하고, 다른 기기와의 통신 없이 장착된 컴퓨터 내에서 목표한 기능을 수행한다. 생성된 경로와 위치 정보는 골전도 이어폰을 통해 사용자가 주변 소리를 듣지 못하는 단점을 극복하고 사용자에게 음성 피드백 형태로 제공할 수 있도록 설계한다.

소프트웨어

RGBD 카메라를 이용해 지도를 작성하고, 완성된 지도를 바탕으로 목표한 기능들을 수행한다. 지점마다의 마커를 제외하면 별도의 통신설비가 필요 없고, 지속적인 지도 업데이트를 통해 장소의 변형이나 교체에 유연하게 대처 가능하도록 설계한다. 사용자의 특수성을 고려하여 정보 입력, 전달의 편의성 또한 목표치에 추가하여 설계하도록 한다.

• Mapping

단안, 양안 카메라에 비해 깊이를 직접 계산할 필요가 없는 RGBD 카메라를 사용한다. 사용자에게 길을 안내하는 서비스를 수행하기 이전에 디바이스는 지도를 작성하고, 지도 데이터를 저장한다. 저장된 지도 내에는 목적지로 설정 가능한 지점마다의 마커가 있으며, 각 마커에는 지점의 정보가 포함된다. 목표한 기능을 수행할 수 있을 만큼의 밀도를 갖춘 포인트 클라우드 지도를 작성하도록 한다.

• Localization

지도 작성 또는 길 안내 서비스 도중에 수행하며, 저장된 지도를 바탕으로 특징점 기반 visual localization을 실시한다. 키 프레임마다 현재의 위치를 추정한 후 지도 작성중에는 지도를 최적화 하는 역할을 수행하고, 길안내 서비스 중에는 목적지 도착 여부를 판별 하거나 경로 이탈의 경우 경로를 재설정하도록 한다.

• Path Planning

현재 상용 네비게이션에서 사용되고 있는 다익스트라 알고리즘을 이용한다. 실내 건물은 실제로 3D이지만, 같은 층 내에서는 실질적으로 2D인 점에서 실내 길찾기에도 동일한 알고리즘을 적용 가능하다. 벽면에 가중치를 높게 두면 최대한 안전한 경로를 찾는 등 적용범위가 넓다.

• 정보 전달

「시각장애인 실내보행용 앱 개발을 위한 욕구 및 선호 연구」 에 따르면 시각장애인들은 정보 수용 시 음성메시지를 가장 높게 선호하는 경향을 보여주었다. 이에 따라 본 시스템에서도 TTS API를 통해 사용자에게 음성 메시지를 출력하는 방식으로 설계한다. 또한 입력의 경우 본 시스템은 저시력자와 시야 장애자를 주 대상으로 하므로 GUI 사용이 어느정도 가능함을 상정하고 있다. 따라서 사용자 입력은 디스플레이를 사용하고, 직관성을 높인 터치 GUI를 통해 목적지를 입력하도록 한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

실내 측위 기술

무선 근거리 통신 기반	센서 기반

내비게이션의 정확도는 자기 위치의 정확도에 직결된다. 이를 인지한 많은 사람들이 다양한 방식을 통해 자신의 위치를 측정하는 방법을 연구 및 개발하였고, 현재 GPS를 기반으로 한 측위 시스템은 이러한 기술의 중심에 서 있다. 하지만 실내의 경우 수신되는 GPS 신호에 문제가 있기 때문에 대신에 다른 신호 혹은 센서를 통해 위치를 측정해야 한다. 근거리 무선통신을 이용하는 신호기반 측위와 센서자체를 사용하는 센서 기반 측위가 있다. 하나의 방법을 사용하기도 하지만, 정확도 향상을 위해 복수의 방법을 혼합하여 측위를 하는 경우 또한 있다.

• 무선 근거리 통신 기반

  Indoor Positioning System (IPS) 라고도 한다. GPS와 유사하게 실내에 송신기를 두어 각 위치에서 신호를 발신하고, 수신기가 신호의 패턴, 강도 등을 분석하여 자신의 위치를 측정한다. 현재의 실내 위치 측정에 많은 부분을 차지하고 있으며, 2000년대 중반 RFID, WiFi, Bluetooth를 사용한 기술들로부터 시작하여 최근의 BLE, UWB, LTE 등 다양한 신호를 기반으로 한 기술들이 개발되어 왔다. 송신기의 비용은 비교적 저렴하지만, 대형 인프라를 구축하기 위해서는 복수의 송신기가 필요하며, 신호가 측정의 기준이기 때문에 간섭에 취약하다. 따라서 설비 원가 절감과 타 신호 간섭에 대해 강건한 측위방법이 연구되고 있다.

  • 저전력 블루투스(BLE)

    

    최근 사용되는 BLE 비콘은 기존 블루투스 프로토콜에 비해 배터리소모가 적은 것을 최대 장점으로 가진다. 또한 이용자가 별도의 행동을 취하지 않더라도 삼각측량법 또는 핑거프린트 방법을 통해 자동으로 이용자의 위치를 파악하고, 관련 서비스를 제공 가능하다. 측정 범위가 50m정도로 넓고, RSS를 사용하여 근접 정보까지 이용 가능하다. 현재는 측정된 위치의 정확도가 떨어져 넓게 상용화되지는 않았지만, 앞서 서술한 강점들 덕분에 스마트 모바일 기기 환경과 융합도가 높고 비용면의 큰 이점을 통해 향후 실내 측위를 위한 가장 주목받는 기술 중 하나이다.

  • Wi-Fi

    

    Wi-Fi기반 AP는 오늘날 대부분의 실내 환경에 비치되어 있고 소비자용 장치들 대다수가 Wi-Fi를 지원하고 있다. 근거리 네트워크를 위해 개발되었지만, 이러한 특징을 통해 별도의 단말기 보급 없이 Wi-Fi를 이용한 실내 측위 연구가 활발히 진행되어 왔다. 블루투스와 마찬가지로 AP로부터 정보를 수집해 삼각측량법 혹은 핑거프린트 방법으로 이용자의 위치를 측위 한다.

  • UWB(Ultra-WideBand)

    UWB는 500MHz 이상의 대역폭을 가지거나 점유 대역폭이 중심 주파수의 20% 이상인 무선 기술로 정의된다. UWB는 저전력의 광대역 신호를 사용하여 높은 에너지 효율성과 다중경로 페이딩에 강하며, IR-UWB의 경우 매우 짧은 펄스 신호를 사용하여 수 센티미터 이내의 정확도를 갖는다. 이러한 특성은 실내 환경에서 활용하기 매우 적합한 측위 기술로 평가되고 있지만, UWB 활용 가능 주파수 대역이 대부분의 국가에서 이미 다른 용도의 시스템에 할당되어 운용되고 있기 때문에 간섭 회피 기술이 요구되며, 기존 실내 환경에 이미 보급되어 사용되고 있는 Wi-Fi, BLE 방식에 비해 비용 효율 측면에서는 여전히 불리함을 지니고 있다.

  • 센서 기반

    수신기의 역할이 더 확대되어 장착된 센서를 통해 직접 정보를 스캔하고 분석하여 위치를 추정한다. 경우에 따라 기지국이 필요하지 않을 수도 있으며, 카메라, 초음파 센서, 라이다 등 다양한 센서가 사용된다. 실제로 측정이 아닌 센서값에 따른 추정이기 때문에 정확한 알고리즘, 필터링, 상대적으로 높은 성능의 하드웨어가 필요하며, 이를 보완하기 위해 두 개 이상의 센서를 융합하거나 인공지능 기반의 필터를 통해 추정 오차를 보완하는 방향으로 연구되고 있다.

  • Visual Localization

    

    Visual Localization 기술은 실내/실외에서 이미지만으로 현재 위치를 추정하는 기술이다. 지도가 필요하지 않은 인공지능 기반의 기술 또한 존재하지만, 많은 경우 3D 지도를 이용하여 이용자의 위치를 추정한다. 이는 기존의 Visual-SLAM 시스템에서의 Relocalization 기능과 유사한데, Relocalization은 미리 Visulal-SLAM으로 작성된 3D 지도 데이터에서 특징점을 연결 짓거나 Bags of Words 사전을 이용하여 루프를 탐지하고 자신의 위치를 구하는 SLAM 모듈 이다. 즉 실질적으로 기존 지도가 없는 상황에서는 Visual-SLAM을 통해 3D지도를 작성해야 하며, 만들어진 포인트 클라우드 지도가 Visual Localization의 시작점이 된다.

  • Pedestrian Dead Reckoning

    

    Pedestrian Dead Reckoning은 IMU센서를 이용하여 보행자의 가속도와 각속도를 측정하고, 이를 통해 보행자의 속도와 방향, 거리를 계산하는 기법이다. PDR 시스템은 구축비용이 비교적 적고, 환경의 제약이 없다는 장점을 가진다. 자이로스코프, 가속도계, 지자기센서가 측정하는 각각의 값을 통해 초기위치로부터 dx, dy, dz를 더해나가면서 이동경로를 추정한다. 이때 오차가 계속 쌓이기 때문에 필터의 사용이 필수적이다. 지도 혹은 다른 실내 측위 방법 없이는 절대적 위치를 파악할 수 없지만, 앞서 서술한 강점들 덕분에 현재 소방관들의 이동 경로 파악 시스템 개발에 이용되고 있다.

시각장애인에 대한 접근성을 높이는 설계

• 보조 공학 기기

확대 보조기기	청각 및 촉각을 활용한 보조기기

보조공학기기란 장애인, 노인 등이 일상생활 및 직업생활, 교육활동 등을 잘 영위할 수 있도록 도움을 주고자 연구되고 개발된 모든 기기를 말하며, 이는 소프트웨어 및 하드웨어를 포함한 전자공학기술이 채용된 기기와 물리적 기능을 향상시키는 기구장치 등이 포함된다. 시각장애인을 위한 보조공학기기로는 점자정보단말기, 확대용 CCVTV, 점자프린터, 음성합성 소프트웨어 등이 있다. 대체로 시각적 정보를 배로 확대시키거나, 다른 감각정보로 바꿔 전달해주는 것을 그 방식으로 취하고 있다. 이는 실제 시각장애인들이 보조공학기기에게 바라는 역할이 무엇인지 시사하고 있다.

• 확대 보조기기

독서확대기는 저시력시각장애인 또는 노인이 문자를 읽을 수 있도록 확대시켜 주는 장치를 말한다. 기기에 장착된 카메라가 인쇄물을 실시간으로 촬영하고, 촬영된 영상을 처리하여 화면으로 보여준다. 단순 확대만 가능한 일반 광학돋보기와는 달리 바탕의 대비를 증가시켜 문자인식을 용이하게 하고, 반전을 통해 저시력인이 쉽게 느끼는 눈부심을 줄여주는 등 다양한 저시력 증상에 맞춰 가독성을 높여준다. 또한 최근의 디지털 독서확대기는 음성지원기능이 포함되기도 한다.

• 청각 및 촉각을 활용한 보조기기

활용시력이 없는 전맹인을 위한 보조기기는 시각이 아닌 청각 또는 촉각으로 정보를 전달한다. PC의 화면을 읽어주는 스크린리더, 점자 또는 음성으로 내용을 출력해주는 점자정보단말기가 대표적이다. 점자정보단말기는 모니터 대신 내장된 점자셀, 묵자를 출력해주는 화면, 문자를 읽어주는 음성을 통해 내용을 확인할 수 있는 점자노트북이다. 실제 많이 사용되는 셀바스헬스케어 사의 한소네의 경우 구글 드라이브, 문서 등의 사무 APP을 점자로 지원하여 점자와 묵자간의 벽을 허무는 기기로 평가받고 있다, 스크린리더로 많이 이용되는 소프트웨어로는 센스리더가 있으며, 이 센스리더는 동영상 자막처리 자동화, 점자정보단말기와의 연동을 포함한 다양한 컴퓨터 환경을 지원한다.

특허조사 및 특허 전략 분석

• 시각장애인용 길안내 시스템

시각장애인용 스마트 지팡이 - GPS 기반 ,음성 인식, 음성 피드백, 카메라를 통한 장애물 인식

• 실내 길안내 시스템

특허전략

본 과제는 사용자, 즉 시각장애인이 실외뿐만 아니라 실내 길찾기 또한 제약을 가지고 있음에 착안하여 기존의 GPS 기반의 실외 시스템이 아닌 카메라 센서 기반 실내 내비게이션 시스템을 제시하여 신규성을 얻어낼 수 있다. 또한 RFID 태그 혹은 신호 송신기 등의 추가적인 실내 설비 없이 지도 기반의 시스템을 설계한다. 지도 및 이미지 기반의 실내 내비게이션 시스템은 많은 분야에서 연구되고 특허에 등록되어 있지만, 시각장애인의 특수성과 편의성을 고려해 GUI 와 입출력 방식에 차별화를 가진 디바이스를 제시함으로써 기존의 내비게이션 시스템에 비해 신규성을 얻어낼 수 있을 것으로 생각된다.

• 기술 로드맵

실내 측위의 기술 동향을 살펴보면, BLE, Wi-Fi, PDR 에 의한 실내 측위 기술의 경우 상용화 단계까지 이르렀음을 확인할 수 있다. 그리고 UWB는 다른 역할들에 비해 실내측위에 대한 기능은 아직 부족한 단계에 있고, Visual Localization의 경우 최근 활성화된 컴퓨팅 자원으로 구글과 네이버를 중심으로 다양한 연구가 이루어지고 있다. 접근성 설계의 경우 시각장애인의 보조공학기기에 대한 수요는 2000년도 후반부터 계속해서 이어져 왔는데, 현재의 디지털 보조공학기기는 대부분 음성지원을 포함함을 확인할 수 있다. 또한 시각장애인을 하나의 증상으로 통일하지 않고 각 장애증상에 따라 다른 서비스를 지원할 수 있도록 하는 움직임 또한 보여주고 있다.

시장상황에 대한 분석

• 경쟁제품 조사 비교

제조사	오캠	구글	아담 스파이어스	이사이트(eSight)
사진
제품명	마이아이 2.0	매빌리트 프로그램	애니 모터스(Animotus)	eSight Glass
특징	웨어러블	어플리케이션	웨어러블	웨어러블
카메라사용	O	O	X	O
음성지원	O	O	X	O
장애물 알림	X	O	O	X
실내지원	X	X	X	X

• 마케팅 전략

우리가 제안할 제품은 실수요자의 직접 구매보다는 공항, 백화점 등의 기관에서 구비하여 이용자에게 대여해주는 방식으로 운영되는 것을 목표로 한다.

SWOT 분석

개발과제의 기대효과

기술적 기대효과

• 이미지 정보의 확장성

여타 측위 기술과는 다른 점으로, 이미지 정보를 통한 측위는 인간의 눈과 비슷한 시각적 정보와 함께 다양한 기능으로 확장 가능하다. 현재 컴퓨터 비전 기술은 기계학습과 함께 매년 높은 성장률을 보이고 있으며 객체 인식, 증강 현실 등 다양한 분야에서 사용된다. 개발 과제에서는 실내 측위에만 카메라가 이용되나, 이후 장애물 회피, 사물 판별 등 좀 더 고도화된 시각 정보를 제공할 수 있는 가능성이 있다.

• 디바이스의 독립성

스마트폰 어플리케이션이나 무선랜 통신을 통해 데이터를 주고받지 않고 단독형태의 디바이스로 설계 되었기 때문에 서버를 따로 두지 않아 공간 변화에 독립적으로 대응가능하다. 또한 좀 더 하드웨어적 으로나 소프트웨어적으로나 오픈소스적인 특성을 가지기에 공간특성에 맞춰 다양한 어플리케이션을 추가 가능하여 보다 폭넓은 서비스 제공이 가능하다.

경제적, 사회적 기대 및 파급효과

웨어러블 기기를 이용하여 시각장애인들이 백화점이나 공항 같은 길 찾기가 어렵고 복잡한 건물에서 목적지까지 쉽게 도착할 수 있게 하여 안전하게 실내를 돌아다닐 수 있을 것이다. 이러한 효과들이 낯선 곳에 대한 방문을 두렵지 않게 함으로써 반복적인 활동을 통해 디바이스 없이도 대형 건물을 쉽게 돌아다닐 수 있게 할 것으로 기대되며, 이는 시각장애인의 외출 난이도를 크게 낮춰 독립보행의 능력을 높여 줄 것으로 예상된다. 결국 시각장애인들의 겪는 실내활동 제약을 사라지게 함으로써 경제 활동의 증진, 고용 기회의 확대까지 이어질 수 있을 것으로 기대할 수 있다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

• 김*호: 소프트웨어 개발 - 3d mapping, localization 담당
• 김*민: 하드웨어 제작, 음성 피드백 담당
• 노*하: 하드웨어 제작, 맵 데이터 최적화 담당
• 이*재: 소프트웨어 개발- Path planning, 디스플레이 GUI 제작 담당

설계

설계사양

제품의 요구사항

설계 사양

개념설계안

지도 작성 및 실내 측위

먼저 실내 측위를 위한 지도를 작성하고, 후에 작성된 지도를 바탕으로 길을 안내한다. 지도를 작성할 때에는 3D 점구름 지도와 2D 점유격자지도를 동시에 생성한다. 점구름 지도의 경우 특징점으로 이루어진 점구름을 통해 실내 위치를 추정하는 역할을 수행한다. 또한 2D 점유격자지도의 경우 가중치가 포함된 노드 그래프를 구성함으로써 최단경로와 안전경로를 포함하는 경로계획을 수행할 수 있도록 한다.

사용자 피드백

큰 화면을 통한 정보 전달은 다른 어떠한 방식보다 높은 시인성을 가진다. 또한 음성피드백은 시각장애인 에게 있어 매우 큰 정보량을 지닌다. 지도를 보여주지 않고 목적지에 대한 거리와 방향을 제시하는 GUI와 구글 WaveNet을 통해 목소리 형태로 전달되는 음성 TTS를 조합한다. 최대한 크고 직관적이게 설계한다. 목표에 맞는 GUI설계가 필요하다.

이론적 계산 및 시뮬레이션

디바이스 소모 전력 및 사용 시간

우리가 사용할 임베디드 보드인 라떼판다 델타의 소모 전력은 최대 45W, 입력 전압은 최대 15V, 사용할 배터리는 20000mAh 용량에 15V 출력을 가지고 있다. 따라서 약 6.7시간의 러닝 타임을 가진다. 이는 사용자가 길 찾기를 하기에 충분한 시간이다.

상세설계 내용

메인 동작 시나리오

크게 두 가지 기능으로 나눈다. 하나는 장소에 맞춰 지도를 생성하는 지도 작성 기능이고, 또 하나는 시각장애인 보행자가 이용하는 길 안내기능이다. 사용자층이 나눠져 있으므로 각각의 사용자를 작성자와 보행자로 구분하도록 한다.

1. 지도 작성

   

   작성자는 지도 작성 프로세스를 실행시킨 후, 건물 내를 촬영하면서 지도를 작성한다. 지도는 3차원 점구름 지도와 2차원 격자지도가 있으며, 프로세스는 두 지도를 동시에 작성한다. 작성이 끝난 지도는 각각 bin 확장자의 이진파일과 png 확장자의 이미지파일로 저장된다. 이후 작성자는 목적지 저장 프로그램을 실행시켜 저장된 2차원 격자지도를 불러오고, GUI를 통해 목적지가 될 수 있는 지점들을 설정하여 각 지점들의 정보를 문서파일에 저장한다.

1. 길 안내

   

   

   보행자가 길 안내 프로세스를 실행시키면, 저장된 문서파일로부터 목적지를 불러온다. 보행자가 목적지를 입력하면 시각적 위치 추정을 통해 보행자의 현 위치를 파악하고, 목적지를 향해 경로를 생성한다. 생성된 경로를 바탕으로 음성 내비게이션 형식에 맞춘 음성메시지와 디스플레이 GUI를 출력한다.

주요 알고리즘 및 상세 설계

1. ORB SLAM

   프로젝트의 지도 작성 기능 부분에서는 Visual SLAM 알고리즘이 이용된다. Visual SLAM은 이미지 정보를 이용하여 지도 작성과 위치추정을 동시에 하는 기술이다. Visual SLAM에는 다양한 방식들이 있지만, 본 프로젝트에서는 특징점 기반 알고리즘중 하나인 ORB SLAM 을 사용한다, 특징점이란 이미지를 대표하는 점이며, 일반적으로 이미지 내의 코너포인트를 사용한다. ORB SLAM은 Gray스케일 이미지의 밝기 변화를 단순비교하기 때문에 코너 추출이 빠르고, 변화량을 통해 모서리의 방향을 저장하므로 신뢰도 높은 특징점을 얻을 수 있다.

   

   때문에 로봇에 의해 일정한 속도로 촬영을 하지 않고 인간의 몸에 장착된 카메라를 사용하는 본 프로젝트의 특성상 알고리즘의 실시간성이 매우 유효할 것으로 고려되어 해당 알고리즘을 이용하도록 한다. 특징점 기반 SLAM은 일반적으로 특징점 추출 – 위치 추정 - KeyFrame 선정 및 Loop Closing 순으로 이루어진다. 그 과정으로는 우선 카메라 이미지 정보로부터 특징점들을 추출하고, 추출된 특징점들로부터 카메라의 위치를 추정한다. 위치를 추정하기 위해서는 각 이미지의 깊이 정보가 필요한데, 본 프로젝트는 깊이를 계산하지 않고 RGBD 카메라로부터 직접 깊이를 측정하여 사용하도록 한다. 추정된 위치가 이전 위치와 너무 비슷하지 않고, 특징점 개수가 충분하다면 이를 키프레임이라고 부르며, 이러한 키프레임 내의 특징점들을 3차원 유클리드 공간에 재투영시켜 점구름 지도가 생성되는 것이 ORB-SLAM의 기본적인 지도 작성 프로세스이다.

   

2. 격자 지도 작성
3. 시각적 위치 추정
4. 경로 계획
5. GUI 설계
6. 음성 피드백

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

파일:오늘제빵소 포스터 2021.png

관련사업비 내역서

완료작품의 평가

향후계획

현재 프로토타입의 평가는 위와 같이 요구사항을 대부분 만족시켰으나, 사용된 임베디드 보드가 지도 작성프로세스에 있어 일정 수준 이상 단계에서 한계를 보이기 때문에 몇가지 상정된 경로를 기준으로 지도 작성을 해야 한다. 이어지는 문제점으로 지도공간이 한정되어 시각적 위치추정 또한 한정적으로 진행된다. 이에 대한 개선방안으로는 하드웨어 자원을 좀 더 강화하거나 향후에 존재할 더욱 가벼운 알고리즘을 사용하는 것으로 개선될 수 있다.

코로나 사태로 인해 실제 시각장애인분을 섭외하기가 어려워 대신 나안 시력이 0.1*인 조원이 디바이스를 실험해야 하였다. 이는 추후에 사태가 진정되면 실제 시각장애인분을 모셔와 디바이스를 테스트하고, 개선해야 할 것이다.

특허 출원 내용

발명의 명칭 : 영상을 활용한 실내 길안내 서비스와 그 방법(Indoor navigation service using video and Method)

출원번호 : 10-2021-0177128