"Thinking조"의 두 판 사이의 차이

2019년 6월 15일 (토) 06:25 판

프로젝트 개요

기술개발 과제

국문 : 3D 객체 추적과 무마커 추적 기능을 활용한 교내 건물 인식 및 정보 제공 증강 현실

영문 : Augmented Reality of Building Recognition and Information Provision using 3D Object Tracking and Non-marker Tracking

과제 팀명

thinking

지도교수

김민호 교수님

개발기간

2019년 3월 ~ 2019년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부·과 2014XXX0** 김**(팀장)

서울시립대학교 컴퓨터과학부·과 2014XXX0** 배**

서론

개발 과제의 개요

개발 과제 요약

3D 객체 인식을 통한 건물에 대한 정보 제공(예상도 1) 무마커 기반 추적 기능을 이용한 네비게이션(예상도 2)

OpenCV를 통한 건물 인식(예상도 3) SLAM기술을 활용한 건물 내부 지도화(예상도 4)

◇ 포터블(Portable) 디바이스 운영체제(OS) 시장에서 높은 점유율을 갖고 있는 안드로이드를 기반으로하여 서비스를 이용하고자 하는 사용자들의 특별한 매개체가 아닌 개인이 갖고 있는 포터블 디바이스 전용 어플리케이션을 토대로 마커 기반 추적을 이용하여 이미지 인식 기능을 구현하여 우리 학교 만의 건물을 카메라로 비추면 어느 건물인지 인식하며, 디바이스 기기 속 화면에 나타난 건물에서 각층에 어느 부서가 있는지 등 건물마다 특징을 살려서 필요한 정보를 제공하고자 한다. 또한 무마커 추적이라는 개념을 활용하여 사용자가 현재 위치에서 가고자 하는 목적지를 검색하면 거리와 길의 방향을 알려주는 네비게이션 또한 제작하여 서비스를 이용 가능하도록 한다. 이 방법은 Vuforia라는 AR 플랫폼과 통합개발환경 Unity를 이용하여 우리 학교(서울시립대학교)내에서 증강 현실을 개발한다.

◇ OpenCV를 이용하여 건물 외부면의 특징점을 구분하여 해당 건물이 어떤 건물인지 인식할 수 있도록 하는 기술을 접목하여 해당 건물에 대한 부서에 대해 층 및 위치에 대해 아래 표에서의 예상도 1처럼 나타내도록 한다.

◇ SLAM기술을 이용하여 건물 내부에 들어갔을 때 건물 내부의 정보를 화면에 띄워 복도에서 서있어도 어디에 어떤 것이 위치하고 있는지 알려줄 수 있도록 한다.

개발 과제의 배경 및 효과

◇ 학교 지리에 익숙하지 않은 사용자들(특히 신입생, 편입생, 신입사원, 학교 주변에 주거하는 주민 및 학교에 처음 방문하는 사람)이 긴급하게 ATM기를 가거나, 교내 우체국, 은행, 서점을 이용하고자 할 때, 또 공학단과대 사무실, 컴퓨터과학부 사무실, 산학협력단과 같은 특정 부서 방문이 필요할 때 어떤 건물, 어느 층, 어느 방향 으로 가야하는지 등을 위치기반 뿐만 아니라 증강현실로 카메라를 건물에 비추면 어떠한 위치에 있는지 알려주는 이 어플리케이션을 상당히 유용하게 활용될 수 있을 것으로 기대된다.

◇ 일반적으로 현재 널리 사용되고 있는 구글 맵, 카카오 지도나 네이버 지도 등 지도 서비스는 2D(항공뷰, 스트리트뷰와 같은 사진형태) 혹은 3D 모델링을 통해서 나타내고 있다. 실제로 길찾기 서비스를 이용하는 사람들의 불편사항 중 가장 빈도수가 높게 꼽히는 사항은 이전에 가보지 않은 장소(전에는 존재하지 않던 건물이나 상가가 새로이 개발되었지만 아직 지도서비스에 반영되지 않은 경우)가 나타나거나 목적지 근처에 가서도 입간판이나 해당 장소라는 표시가 없는 경우(요즘 뜨고있는 카페거리인 을지로와 같은 경우에는 전혀 간판이 세워져있지 않은 상황) 많은 사람들이 어느 건물인지 정확하게 찾지 못하는 경우가 다반사이다. 이를 해결하기 위해 위치기반 AR서비스를 제공한다 면, 이 서비스를 이용하여 현재 위치를 GPS로 파악한 후에 카메라를 이용하여 자신의 주변에 있는 건물들을 촬영하면 그 건물들의 층 수 마다 어떠한 것들이 존재하는지 확인하게 되어 정확한 건물, 목적지를 확신을 갖고 찾아갈 수 있을 것이다. 또한, 현실 세계에 기반하여 부수적인 정보화된 인공물을 나타내는 AR의 특성을 이용, 얻고자 하는 정보가 있을 때 우선시 되는 순위를 현실 세계에게 부여하여 위험(지도를 보면서 걷다가 보행자가 차도로 진입하는 경우)에 빠지지 않도록 해줄 수 있을 것으로 예상된다.

개발 과제의 목표 및 내용

1) AR 모델링 및 개발
  마커 기반 추적 기술로 우리 학교 건물이라는 3D 객체를 디바이스의 카메라로 인식하여 어느 건물인지 인식하는 기술이 첫 번째 목표이다. 미리 우리 학교의 모든 건물들을 마커로 설정하여, 각 건물의 각 층안에서의 주요 부서 나 정보들을 데이터화하여 미리 저장해둔 뒤, 해당 건물 앞에서 디바이스로 건물을 인식하면 위와 같은 정보들을 건물 속에서 해당 부서의 위치에 맞게 증강현실을 구현한다. 두 번째 목표는 무마커 추적(Marketless tracking)은 사용자의 현재 위치에 따라 정확한 정보를 제공하기 위해 정확한 위치에 대한 신뢰성을 제공하고, 실제 위치와 기계적 인식 위치의 인식 오차범위를 줄이기 위해 노력한다. 이를 통해 사용자의 위치 기반으로 하여 네비게이션 기능을 이용할 수 있도록 한다. 예상 사용자가 서울시립대학교 지리에 익숙하지 않은 사람이기 때문에, 사용자들이 필요한 정보를 선정하여 이를 현재 위치에서 방향과 거리를 나타내도록 구현한다.

2) 클라이언트 구축
  안드로이드 스튜디오는 구글이 안드로이드 앱 개발을 위해 JetBrains 사의 IntelliJ IDEA를 기반으로 만든 통합 개발 환경이다. 2014년 10월부터 이클립스를 대체해 안드로이드의 공식 IDE가 되었고, 무료로 제공되고 있으며 Windows, macOS, 리눅스를 지원한다. 안드로이드 스튜디오를 통해 증강현실을 실행시킬 클라이언트(안드로이드 어플리케이션)을 개발한다. 디자인은 최대한 사용자 편의성에 중점을 두어 개발한다. 사용언어는 JAVA, XML을 이용한다.

3) 서버 구축
  파이어베이스(Firebase)는 구글의 인수된 모바일 및 웹 애플리케이션 개발 플랫폼이다. 장점으로는 인증, 데이터베이스, 스토리지, 호스팅 등을 서버를 다룰줄 몰라도 화면에서 클릭 몇번으로 가능하다. 가령 구글인증으로 로그인을 시도하는 기능을 만든다고 한다면 이전에는 구글에서 제공하는 API를 찾아서 직접 서버에 구축했었다면 여기서는 마우스 클릭으로 바로 설정이 가능하다. 서버에 대한 개발 지식이 많지 않기 때문에 일체형 서비스인 파이어베이스를 이용한다. 사용언어는 개발용 로컬 웹서버를 실행하는데 필요한 Node.js를 이용한다.

4) 데이터베이스 구축
  오라클의 MySQL은 다중 스레드, 다중 사용자를 지원하는 구조 질의어 형식의 데이터베이스 관리 시스템이다. MySQL을 선택한 이유는 고성능이면서 상대적으로 단순한 DBMS이고 또한 설치 및 관리도 쉬운 편이기 때문이다. 그리고 응용 프로그램에서 MySQL 데이터베이스에 접근하기 위해 C, C++, JAVA, Python 등 다양한 프로그래밍 언어로 된 API를 사용할 수 있다는 장점도 있다.

5) 서버/데이터베이스 연동
  서버 구축에 사용될 플랫폼인 파이어베이스를 이용하여 서버와 데이터(MySQL)를 연동시킨다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황

◇ 구글 글래스
   구글 글래스는 헤드 마운티드 디스프레이가 장착된 웨어러블 디바이스로, 의료나 자동차 산업, 스포츠 분야 뿐만 아니라 사용자가 이동시 내비게이션처럼 이동 경로를 제공하거나, 사물이나 상황에 맞게 식별 정보를 보여주기 때문에 생활의 편리성을 제공하며, 보다 나은 몰입감과 현실감을 주는 장점을 가지고 있다.
◇ 포켓몬 고(증강현실 게임)
   증강 현실을 이용해서 현실에서 나타나는 포켓몬을 잡거나 게임 상의 몬스터와 겨루는 컨셉의 게임이다.
◇ Head-up Display(HUD)
   도형과 숫자, 글자로 조종사에게 현재 속도, 고도, 방향, 자세 같은 다양한 정보들을 알려준다. 군용기들은 여기에 더해 표적의 방향, 거리나 표적이 미사일의 사정거리 이내에 들어왔는지의 여부, 혹은 지금 기관포를 쏘거나 항공 폭탄을 투하하면 그것들이 어떠한 경로로 날아갈지를 알려주는 무장 조준을 돕는 역할을 한다. 
◇ 프로젝트 솔리(In-air Gesture)
   허공의 손동작으로 컴퓨터와 상호작용하는 방법으로 디지털 요소를 화면 밖으로 옮기기 위하여 AR을 이용해 구현하고 각 기능을 실행한다.

특허조사 및 특허 전략 분석

◇ US20140267399A1 (구글)
   AR을 이용하여 현실의 정보를 결정하는 특허로서 구글 글래스와 같은 뷰어를 통해 사물을 바라볼 때, 특정한 관련 정보를 화면에 띄우게 하고 그 정보가 실제로 상호작용하게 만드는 특허다
◇ Small Form Factor with large field of view (페이스북)
   작은 화면을 통해 넓은 가상현실을 제공하는 기기에 대한 특허다.
◇ US20160063876A1 (구글, Storytelling device)
   상호작용 가능한 책을 이용하여 센서들이 책의 내용을 AR로 구현하게 만드는 특허다.
◇ AR map from iPhone (애플)
   애플 기기에서 구동 가능한 애플 지도를 기반으로 3D flyover 환경을 구현하는 특허다.
◇ AR manufacturing System (테슬라)
   구글 글래스 형태의 AR기기를 착용하여 전기차 생산조립라인을 경험할 수 있도록 하는 특허다.
◇ Ride sharing with AR (리프트)
   차량 공유 서비스인 리프트에서 픽업 장소를 AR을 통해 보여줄 수 있도록 하는 특허다.

기술 로드맵

 ◇ 예상 사용자들을 설정하여, 미리 어떤 정보가 필요한지 직접 조사하여 구현하기에 앞서 어떤 데이터를 탑재할지 결정한다.
 ◇ 사전 조사를 바탕으로 얻은 정보를 바탕으로 설계 방향성에 대한 전략을 수립한다.
 ◇ 실제로 완성하기 전에 앞서, 실제로 시제품을 통해 Vuforia라는 AR 플랫폼과 통합개발환경 Unity를 이용하여 증강현실 어플리케이션 프로토타입 개발한 뒤, 안드로이드 디바이스에서도 작동일 잘 되는 지, 오류 여부 등 다양한 테스트를 한다.
 ◇ 시제품을 예상 사용자들에게 이용해 보도록 하게 한 뒤, 제품의 오류나 부족한 점 또는 개선한 점을 분석한 뒤 다시 프로토타입을 개발한다.
 ◇ 여러 번의 프로토타입을 통해 최선의 품질 및 사용자의 요구 사항을 만족하도록 노력한다.
 ◇ 구글 플레이 스토어에 어플리케이션을 출시 후 사용자의 반응 조사하여 더 넓은 시장에서의 평가를 토대로 더욱 완성도 있는 어플리케이션을 구현한다.
 ◇ 완성된 프로그램을 유지 및 보수하여 관리한다.

시장상황에 대한 분석

경쟁제품 조사 비교

내용

마케팅 전략 제시

내용

개발과제의 기대효과

기술적 기대효과

내용

경제적, 사회적 기대 및 파급효과

내용

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용