"Thinking조"의 두 판 사이의 차이

2019년 6월 15일 (토) 07:05 판

프로젝트 개요

기술개발 과제

국문 : 3D 객체 추적과 무마커 추적 기능을 활용한 교내 건물 인식 및 정보 제공 증강 현실

영문 : Augmented Reality of Building Recognition and Information Provision using 3D Object Tracking and Non-marker Tracking

과제 팀명

thinking

지도교수

김민호 교수님

개발기간

2019년 3월 ~ 2019년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부·과 2014XXX0** 김**(팀장)

서울시립대학교 컴퓨터과학부·과 2014XXX0** 배**

서론

개발 과제의 개요

개발 과제 요약

3D 객체 인식을 통한 건물에 대한 정보 제공(예상도 1) 무마커 기반 추적 기능을 이용한 네비게이션(예상도 2)

OpenCV를 통한 건물 인식(예상도 3) SLAM기술을 활용한 건물 내부 지도화(예상도 4)

◇ 포터블(Portable) 디바이스 운영체제(OS) 시장에서 높은 점유율을 갖고 있는 안드로이드를 기반으로하여 서비스를 이용하고자 하는 사용자들의 특별한 매개체가 아닌 개인이 갖고 있는 포터블 디바이스 전용 어플리케이션을 토대로 마커 기반 추적을 이용하여 이미지 인식 기능을 구현하여 우리 학교 만의 건물을 카메라로 비추면 어느 건물인지 인식하며, 디바이스 기기 속 화면에 나타난 건물에서 각층에 어느 부서가 있는지 등 건물마다 특징을 살려서 필요한 정보를 제공하고자 한다. 또한 무마커 추적이라는 개념을 활용하여 사용자가 현재 위치에서 가고자 하는 목적지를 검색하면 거리와 길의 방향을 알려주는 네비게이션 또한 제작하여 서비스를 이용 가능하도록 한다. 이 방법은 Vuforia라는 AR 플랫폼과 통합개발환경 Unity를 이용하여 우리 학교(서울시립대학교)내에서 증강 현실을 개발한다.

◇ OpenCV를 이용하여 건물 외부면의 특징점을 구분하여 해당 건물이 어떤 건물인지 인식할 수 있도록 하는 기술을 접목하여 해당 건물에 대한 부서에 대해 층 및 위치에 대해 아래 표에서의 예상도 1처럼 나타내도록 한다.

◇ SLAM기술을 이용하여 건물 내부에 들어갔을 때 건물 내부의 정보를 화면에 띄워 복도에서 서있어도 어디에 어떤 것이 위치하고 있는지 알려줄 수 있도록 한다.

개발 과제의 배경 및 효과

◇ 학교 지리에 익숙하지 않은 사용자들(특히 신입생, 편입생, 신입사원, 학교 주변에 주거하는 주민 및 학교에 처음 방문하는 사람)이 긴급하게 ATM기를 가거나, 교내 우체국, 은행, 서점을 이용하고자 할 때, 또 공학단과대 사무실, 컴퓨터과학부 사무실, 산학협력단과 같은 특정 부서 방문이 필요할 때 어떤 건물, 어느 층, 어느 방향 으로 가야하는지 등을 위치기반 뿐만 아니라 증강현실로 카메라를 건물에 비추면 어떠한 위치에 있는지 알려주는 이 어플리케이션을 상당히 유용하게 활용될 수 있을 것으로 기대된다.

◇ 일반적으로 현재 널리 사용되고 있는 구글 맵, 카카오 지도나 네이버 지도 등 지도 서비스는 2D(항공뷰, 스트리트뷰와 같은 사진형태) 혹은 3D 모델링을 통해서 나타내고 있다. 실제로 길찾기 서비스를 이용하는 사람들의 불편사항 중 가장 빈도수가 높게 꼽히는 사항은 이전에 가보지 않은 장소(전에는 존재하지 않던 건물이나 상가가 새로이 개발되었지만 아직 지도서비스에 반영되지 않은 경우)가 나타나거나 목적지 근처에 가서도 입간판이나 해당 장소라는 표시가 없는 경우(요즘 뜨고있는 카페거리인 을지로와 같은 경우에는 전혀 간판이 세워져있지 않은 상황) 많은 사람들이 어느 건물인지 정확하게 찾지 못하는 경우가 다반사이다. 이를 해결하기 위해 위치기반 AR서비스를 제공한다 면, 이 서비스를 이용하여 현재 위치를 GPS로 파악한 후에 카메라를 이용하여 자신의 주변에 있는 건물들을 촬영하면 그 건물들의 층 수 마다 어떠한 것들이 존재하는지 확인하게 되어 정확한 건물, 목적지를 확신을 갖고 찾아갈 수 있을 것이다. 또한, 현실 세계에 기반하여 부수적인 정보화된 인공물을 나타내는 AR의 특성을 이용, 얻고자 하는 정보가 있을 때 우선시 되는 순위를 현실 세계에게 부여하여 위험(지도를 보면서 걷다가 보행자가 차도로 진입하는 경우)에 빠지지 않도록 해줄 수 있을 것으로 예상된다.

개발 과제의 목표 및 내용

1) AR 모델링 및 개발
  마커 기반 추적 기술로 우리 학교 건물이라는 3D 객체를 디바이스의 카메라로 인식하여 어느 건물인지 인식하는 기술이 첫 번째 목표이다. 미리 우리 학교의 모든 건물들을 마커로 설정하여, 각 건물의 각 층안에서의 주요 부서 나 정보들을 데이터화하여 미리 저장해둔 뒤, 해당 건물 앞에서 디바이스로 건물을 인식하면 위와 같은 정보들을 건물 속에서 해당 부서의 위치에 맞게 증강현실을 구현한다. 두 번째 목표는 무마커 추적(Marketless tracking)은 사용자의 현재 위치에 따라 정확한 정보를 제공하기 위해 정확한 위치에 대한 신뢰성을 제공하고, 실제 위치와 기계적 인식 위치의 인식 오차범위를 줄이기 위해 노력한다. 이를 통해 사용자의 위치 기반으로 하여 네비게이션 기능을 이용할 수 있도록 한다. 예상 사용자가 서울시립대학교 지리에 익숙하지 않은 사람이기 때문에, 사용자들이 필요한 정보를 선정하여 이를 현재 위치에서 방향과 거리를 나타내도록 구현한다.

2) 클라이언트 구축
  안드로이드 스튜디오는 구글이 안드로이드 앱 개발을 위해 JetBrains 사의 IntelliJ IDEA를 기반으로 만든 통합 개발 환경이다. 2014년 10월부터 이클립스를 대체해 안드로이드의 공식 IDE가 되었고, 무료로 제공되고 있으며 Windows, macOS, 리눅스를 지원한다. 안드로이드 스튜디오를 통해 증강현실을 실행시킬 클라이언트(안드로이드 어플리케이션)을 개발한다. 디자인은 최대한 사용자 편의성에 중점을 두어 개발한다. 사용언어는 JAVA, XML을 이용한다.

3) 서버 구축
  파이어베이스(Firebase)는 구글의 인수된 모바일 및 웹 애플리케이션 개발 플랫폼이다. 장점으로는 인증, 데이터베이스, 스토리지, 호스팅 등을 서버를 다룰줄 몰라도 화면에서 클릭 몇번으로 가능하다. 가령 구글인증으로 로그인을 시도하는 기능을 만든다고 한다면 이전에는 구글에서 제공하는 API를 찾아서 직접 서버에 구축했었다면 여기서는 마우스 클릭으로 바로 설정이 가능하다. 서버에 대한 개발 지식이 많지 않기 때문에 일체형 서비스인 파이어베이스를 이용한다. 사용언어는 개발용 로컬 웹서버를 실행하는데 필요한 Node.js를 이용한다.

4) 데이터베이스 구축
  오라클의 MySQL은 다중 스레드, 다중 사용자를 지원하는 구조 질의어 형식의 데이터베이스 관리 시스템이다. MySQL을 선택한 이유는 고성능이면서 상대적으로 단순한 DBMS이고 또한 설치 및 관리도 쉬운 편이기 때문이다. 그리고 응용 프로그램에서 MySQL 데이터베이스에 접근하기 위해 C, C++, JAVA, Python 등 다양한 프로그래밍 언어로 된 API를 사용할 수 있다는 장점도 있다.

5) 서버/데이터베이스 연동
  서버 구축에 사용될 플랫폼인 파이어베이스를 이용하여 서버와 데이터(MySQL)를 연동시킨다.

관련 기술의 현황

시장상황에 대한 분석

경쟁제품 조사 비교

◇ 네이버 랩스 ‘인도어 AR 네이게이션’
     코엑스 쇼핑몰과 같은 대규모 실내 공간에서 길을 헤매는 경우, 지도를 이용해야하지만, 실내에서는 GPS를 이용할 수 없기 때문에 다른 방법을 이용하여 사용자의 위치를 파악하고 길안내를 수행한다. 여러 가지 센서 데이터와 visual localization 기술을 사용하여 위치를 파악한다. 즉, 디바이스의 카메라로 이미지를 분석하여 얻은 데이터를 기반으로 네비게이션을 수행한다. 본 프로젝트에서 하는 3D 객체를 인식하는 점도 유사하고 가상 현실을 이용하여 네비게이션을 수행하는 것도 비슷하지만, 우리 조에서 구현하고자 하는 3D 객체를 인식하여 해당 건물이나 점포의 정보 제공 기능은 크게 중점적으로 다루지 않은 측면이 있다.
◇ Mixare
     Mixare은 증강 현실의 대표적인 오픈 소스로서, GPS나 자이로 센서 등 디바이스의 센서들을  이용하여 지도를 기반으로 미리 설계된 장소를 표시해주는 오픈 소스이다. Mixare은 단순히 디바이스 내에 있는 센서를 통해 위도나 경도등을 이용하여 사용자의 실시간 위치를 받아오며, 브라우저 연결을 통하여 설계 시 미리 마킹해둔 장소를 증강 현실로서 표현하게 한다. 이 오픈 소스는 우리가 개발하고자하는 우리가 구현하고자 하는 Image tracking 기술은 지원하지 않는다.
◇ 애플의 ARKit 
     ARkit은 2017년 9월 공개된 증강현실 개발자 키트로, IOS 운영체제를 사용하는 환경에서 활용할 수 있는 프레임워크이다. 현실 세계에서 마커나 초기화 및 카메라 기술 등에서 개발자가 이용할 때 특별한 개발 도구를 요구하지 않고, 시각적 관성 이동거리 측정(VIO) 기술 외에도 상당히 많은 편리 요소가 적용되어 있다. 또한 빠르고 안정적인 움직임 추적, 기본적인 경계를 사용한 평면 추정, 환경광 추정, 규모 추정 등 다양한 기능을 제공하고 있다. 
◇ 증강 현실 SNS ‘Astral'
     Caspar Wylie라는 개발자가 개발 중인 증강 현실 사회관계망서비스(SNS)로 사용자가 어느 특정 장소에 핀 형태의 메시지를 작성하여 남기면 다른 사용자가 이 장소에 가서 답글을 남길 수 있는 형태의 어플리케이션이다. 사실상 단순 증강 현실 SNS라기 보다는 위치기반 증강 현실을 이용한 SNS라는 점에서 우리 조가 개발하고자 하는 서비스와는 다른 점이 있지만, 사용자의 위치를 기반으로 작동한다는 맥락에서 바라본 우리의 프로젝트에서도 무마켓 추적으로 사용자의 위치를 파악하여 구현하고자 하므로 일부분 비슷한 부분이 있다.
◇ 아마존의 ‘AR View'
     아마존에서 개발한 카탈로그에는 증강 현실을 이용하여 구매하여 가구나 제품을 실제로 배치하지않아도 실제 크기에 맞는 형태로 구현이 되어 미리 배치해보는 느낌을 받을 수 있다. 이 카탈로그에는 가상의 물건뿐만 아니라 가격과 정보, 기능을 화면에 표시하여 사용자가 실용적으로 사용할 수 있는 증강 현실이 탑재되어 있다. 거시적인 관점에서 해당 서비스는 우리가 구현하고자 하는 서비스와 다르지만, 본래의 목적뿐만 아니라 실용적인 정보도 포함하는 점에서 유사하다.
◇ 휴먼아이티솔루션의 무인민원발급기 APP
     휴먼아이티솔루션의 무인민원발급기 어플리케이션은 현재 위치를 GPS 기반으로 이를 이용하여 사용자 근처 무인민원발급기의 위치 정보를 사용자에게 제공하며, 이때 화면을 터치하게 되면 무인 민원발급기의 이름, 주소, 운영시간 등의 사용자가 필요한 정보가 표시된다. 또한 VR기능도 탑제되어 있다. 이 어플리케이션은 우리 조에서 구현하고자 하는 어플리케이션과 유사한 위치 기반 기능도 있지만, 마커 기반 추적으로 하여 3D 객체를 디바이스에서 인식하지 못하며 트리거로서 역할을 하지 못하는 점에서 차이가 보인다.

마케팅 전략 제시

◇ 실제로 개발하기에 앞서 시장에 대한 이해와 예상 사용자 범위를 설정한다.
   설계 단계에 들어가기 앞서 잠정적 사용 예상자와 시장에 대한 이해를 필요로 한다. 본 프로젝트에서 실제로 사용하게 될 사람들은 기본적으로 우리 학교의 지리를 모른다고 가정하며, 이처럼 타겟 예상 사용자 관점에 맞게 필요한 정보를 제공하는 것을 우선시로 한다. 우리 학교의 차도는 일방 통행으로 정문에서 학생회관을 바라보는 기준으로 반시계 방향으로 돌아가게 되어 있고, 교수님들 전용 주차장이 아닌 방문객이 주차할 수 있는 곳은 반 시계 방향으로 돌았을 때 다시 정문으로 향하기 바로 직전에 지하 주차장이 위치하고 있다. 학교 지리에 익숙하지 않은 사람들은 누구나 당황할 수 있는 부분이다. 이러한 것처럼 예상 고객에 대한 전문적인 이해도와 함께 공감하는 능력이 동반되어야 이 서비스의 완성도를 높일 수 있다.
◇ 예상 사용자들에 대한 맞춤형 서비스를 제공하기 위해 요구 사항을 잘 반영하며, 프로토타입 체험을 통해 실제로 사용하게 유도하여 피드백을 얻고, 기능이나 인터페이스를 개선하기 위하여 커뮤니케이션에 능하도록 한다.
   서울시립대학교 맞춤형 위치 기반 서비스이기 때문에, 우리 학교를 방문하는 사람이 일반적으로 많이 방문하는 장소나, 더 자세한 정보를 맞춤화하여 가공하여 정보를 제공하는 것이 우리 프로젝트의 목표이다. 이에 대한 프로토타입을 우선적으로 만들어서 신입생과 같은 예상 사용자들에게 체험해보도록 한 후에, 피드백을 반영하여 가능한 부분은 수정하여 다시 체험하도록 하게 할 계획이다. 이를 통해 자연스럽게 체험해본 사람들의 만족도를 높여가는 방법을 이용하고자 한다. 또한 여러 기업들의 성공적인 마케팅 사례를 조사해보면, 많은 기업들이 자신의 제품과 함께 여러 가지 팁을 제시하고 있다. 이를 벤치마킹하여 본다면, 우리 학교에도 여러 가지 팁들이 존재하는데 이런 부분 또한 함께 구현하여 사용자 만족도를 높이는 전략을 사용할 예정이다. 이렇게 다수에 걸쳐서 비개발자들과 소통을 해야하기 때문에 개발적인 측면 뿐만 아니라 마케팅 커뮤니케이션이 또한 전략적인 접근이 필요하다.
◇ 현재 관련 어플리케이션의 시장성
   현재 우리 학교에서 증강 현실을 이용하여 캠퍼스 맵을 활용하는 어플리케이션이 따로 없기 때문에 학교 내에서 활용하는 목표 하에 시장성이 좋다고 평가할 수 있다. 서울시립대학교 홈페이지에 캠퍼스를 VR 시범 서비스를 시행하고 있지만 이 또한 한계가 있다. 증강 현실을 이용하여 현실 세계에 따른  따라서 우선적으로 이 서비스를 구현한 후, 빠르게 제품을 프로모션한다면 서울시립대 학교 학생뿐만 아니라 캠퍼스 투어를 하러 온 미래의 우리 학교 가족원 또한 널리 사용하는 어플리케이션이 될 것으로 전망한다.

개발과제의 기대효과

기술적 기대효과

◇ 실시간 상호작용
  증강 현실은 가상 현실의 차이점에서 특징적인 기술적으로 기대효과를 갖는다. 위에서 언급한 것 처럼증강 현실은 실세계를 기반으로 하여 인공물 또는 사물 등을 함께 시각적으로 나타내어 실세계에는 없는 정보나 광고 등 가상의 사물을 보강하여 제공하는 기술이다. 반면에 가상 현실은 그래픽 기술을 통해 실세계와는 비슷하지만 다른 차원을 만들어 내는 기술이다. 따라서 증강 현실은 사용자와 현실에서의 실시간으로 상호 작용이 가능하여 가상 현실과의 차이점을 만들어 내는 것이다. 이를 통해 효과적으로 실세계에서 가상 객체간의 활용이 가능할 것으로 기대된다.
◇ 사용자 맞춤형 서비스
   포터블 디바이스를 이용한 위치 기반 서비스는 현 위치에서의 사용자 맞춤형 서비스를 제공한다는 점에서 큰 이점으로 작용한다. 이 뿐만 아니라 공공의 목적으로 활용될 수도 있고, 위치 기반의 날씨, 근처에서 발생한 긴급한 사건 등을 제공할 수 있다는 점에서 다양하게 활용될 수 있다. 
◇ 확장가능성
   증강 현실의 적용 환경이 위치 기반 기술에서 벗어나 영상 인식 기술 기반으로 발전되어 보다 더 다양한 미디어나 산업에 적용될 수 있다.

경제적, 사회적 기대 및 파급효과

 ◇ 빅데이터 활용가능성
   현 시대에 중요시 되는 빅데이터 기반 서비스에도 활용될 수 있는데, 이 서비스의 서버를 구축하여 사용자들에게 위치 정보 제공 동의를 받아 이 정보를 서버에 제공한다면, 다양한 측면에서 이 데이터는 유용하게 사용될 수 있다. 한 기업의 예로서, 차량 공유 서비스인 우버 택시의 현재 시장가치는 미국의 3대 자동차를 합친 것보다 높게 측정되고 있다. 하지만 우버 택시의 수 년간 적자였고, 흑자였던 분기가 많지 않다. 하지만 이렇게 가치가 높게 측정되는 이유는 여러 가지 이유가 있지만, 가장 큰 이유는 많은 국가에서 장악한 우버 서비스를 이용하여 사용자들의 이동경로가 우버 서버에 기록에 남겨지기 때문이다. 이러한 데이터를 통해, 어느 시간대에, 어디로 사람들이 이동하는지 등의 거대한 데이터베이스를 갖고 있기 때문이다. 즉, 미래에 사람들이 어디로 이동하는지 예측할 수 있는 데이터를 얻기 때문이다. 이러한 거대한 데이터베이스를 통해 다양한 산업에 활용될 수 있기 때문에 우버 택시는 시장 가치가 높게 평가되고 있다.이와 마찬가지로 우리 조에서 구현하고자 하는 서비스 는 실시간으로 현재 위치를 활용하기 때문에, 성공적으로 서비스를 구축하여 교내에서 활용하는 서비스에서 발전하여 더 넓은 시장에서 활용된다면, 경제적으로, 사회적으로 파급 효과가 클 것으로 예상된다.
◇ 사전 효과 및 시뮬레이션
   증강 현실의 특징으로 현실 세계를 반영하여 가상 객체를 시각화하여 보여주기 때문에 가상 시뮬레이션이 가능하고, 사전에 계획하고 시험이 가능해지므로 생산의 효율성과 생산성이 증가된다. 우리 조에서 실현하고자 하는 서비스를 이용하게 된다면, 실제로 거리가 어느 정도 되는지 알 수 있기 때문에, 학교에 익숙하지 않은 예상 사용자들은 해당 목적지에 도착하기 위해 얼마나 시간이 소요 되는지 등 미리 계산해볼 수 있다. 이러한 방식으로 미리 예상 가능한 이동 시간으로 삶의 질이 향상될 수 있을 것으로 기대된다. 또한 디바이스를 통해 교내 건물이나 건축물 등을 카메라로 인식하면 필요한 구체적 정보를 얻을 수 있기 때문에, 따로 사용자가 건물 내에서도 어느 방향으로 가야하는 지 등을 미리 한 눈에 알 수 있기 때문에 시인성 측면에서 효율적이다.

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

◇ 예상 사용자 산정 및 예상 사용자의 필요 정보 산정 - 김준영, 배용욱
◇ 각 건물 내에 부서 및 예상 사용자의 필요 요소 데이터 베이스화 - 김준영
◇ Unity 3D 및 Vuforia, OpenCV등 툴을 이용한 어플리케이션 인터페이스 구축 - 김준영, 배용욱
◇ Firebase를 이용한 서버 구축 및 DB연동 - 김준영, 배용욱
◇ Android Studio를 이용한 Client 구축 - 김준영
◇ Oracle MySQL를 이용한 Database 설계 및 구축 - 김준영, 배용욱
◇ 개발 어플리케이션의 UI 등 시각적인 평가 요소 구현 - 김준영
◇ 어플리케이션의 테스트, 예상 사용자가 실제로 편의를 갖는지 등 사용자와 커뮤니케이션 - 배용욱
◇ 프로젝트 진행 관련 보고서 작성 - 김준영, 배용욱

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용