김임박조

프로젝트 개요

기술개발 과제

국문 : 드론 조종을 위한 UI/UX 개발(스트리밍, 가상/실공간 매핑을 통한 거리 산출)

영문 : UI/UX for Controlling Drones Using FPV Streaming and SLAM

과제 팀명

김임박조(5조)

지도교수

이동희 교수님

개발기간

2019년 9월 ~ 2019년 12월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20149200** 김*우(팀장)

서울시립대학교 컴퓨터과학부 20149200** 박*수

서울시립대학교 컴퓨터과학부 20149200** 임*일

서론

개발 과제의 개요

개발 과제 요약

• 드론으로부터 멀리 떨어진 지역에 있는 조종자가 드론 주위의 상황을 실시간으로 전송받으며 조종을 보다 편리하게 할 수 있는 UI/UX를 개발한다.
• 기존 GPS 센서를 이용한 대략적인 위치 정보 파악 이상으로, 카메라를 통한 드론 주위 영상을 전송 및 처리하여 도심지와 같은 복잡한 환경에서도 드론 조종을 기존보다 용이하게 한다.
• 드론이 촬영한 영상을 처리해 지형 측량 등에 이용할 수 있게 한다.
• 위험하거나 협소해 사람이 직접 접근할 수 없는 장소에 드론을 이용해 지형구조에 대한 정보를 얻고, 해당 지역에 대한 안전성을 확보한다.

개발 과제의 배경 및 효과

• 기존 드론의 경우 저가형은 GPS 센서나 카메라 등이 없어 조종자가 직접 시야를 확보할 수 있는 곳에서만 비행이 가능했으며, GPS 센서가 있다고 하더라도 신호의 정밀도 문제로 일정 정도 이상의 정확한 위치를 파악하는 데 어려움이 있었다.
• 드론에 카메라가 장착되어 있는 경우 촬영한 영상을 Wi-Fi 또는 이동통신망 등을 통해 전송할 수 있는 기술이 이미 널리 쓰이고 있다. 하지만 이러한 정보를 실시간으로 처리해 드론 주위의 환경에 대한 정보를 얻어 조종에 도움을 주는 시도가 드물었다.
• 즉, 지금까지는 영상 없이 GPS 정보만 보고 파악하거나, 영상이 드론으로부터 전송되더라도 조종자가 직접 보고 판단해야 하는 시스템이었다. 이러한 경우 조종자가 정확한 위치 정보(거리, 고도 등)를 파악하지 못해 불편함이 따른다.
• 따라서 전송된 영상으로부터 거리 정보를 얻고, 조종자가 그것을 활용할 수 있는 UI/UX 시스템을 만들어 보다 정밀한 비행이 가능하게 한다.
• 또한, 영상 처리 기술을 활용해 조종자가 없는 자율 비행 드론에도 응용할 수 있을 것이다. 예를 들어, GPS 신호가 잘 수신되지 않는 협소한 공간 등에서는 주위 영상으로부터 구체적인 위치 정보를 얻어 드론의 움직임을 결정하는 데 사용할 수 있다.

개발 과제의 목표 및 내용

• 드론에 있는 여러 센서와 영상 정보를 복합적으로 활용할 수 있는 UI/UX 개발
• 드론으로부터 전송된 영상을 조종자에게 표시함과 동시에 영상을 처리해 얻은 공간 정보(거리, 고도 등)를 지도상에 표시되는 GPS 좌표 정보와 같이 전달
• 영상으로부터 얻어진 정보는 표시할 뿐만 아니라 별개로 저장하여 추후 드론 측량이나 자율 비행등에도 응용할 수 있도록 함
• 여러 오픈 소스(OpenCV, Qt, etc.)를 활용해 개발 기간을 단축하면서도 일정 품질 이상의 프로젝트를 완성

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 기술동향
  • 공간정보 서비스는 공간정보를 생산, 관리, 유통하거나 다른 산업과 융, 복합하여 시스템을 구축하고 제공하는 서비스를 의미한다. 디지털 기술의 발전에 따라 공간정보 서비스는 전통적인 단순한 위치 정보 제공을 넘어서 공간에서 발생하는 다양한 정보의 제공으로까지 확장되었다. 특히 최근에는 VR/AR 기술의 발전과 함께 산업의 범위가 크게 넓어졌다.
  • 이러한 공간정보 서비스를 제공하기 위한 전통적인 방식으로는 지상 측량이나 유인 항공 측량 등이 있었으나, 무인항공기 기술이 발전함에 따라 많은 부분을 드론 측량으로 대신할 수 있을 것으로 보여진다.
  • 특히 드론 측량의 경우 지상 측량 과정에서 발생하는 여러 오차 요인을 많이 제거할 수 있으므로 보다 정확한 결과물 산출이 가능하며, 작업 공정도 단축할 수 있다.
  • 자율비행체 전반에 관한 특허가 아닌, 드론을 이용한 측량 분야에 한하더라도 관련 특허의 출원량은 2015년 이후 크게 증가했다. 2014년도 이전의 경우 매년 출원 건수가 한 자릿수에 머물렀지만 2015년 17건, 2016년 28건, 2017년 22건으로 증가했으며, 2018~2019년에도 관련 특허가 다수 등록되었다.

• 특허조사
  • 등록번호 10-1650136 “원위치 자동복귀 · 컬러트래킹 자동추적을 갖는 스마트 드론 장치” (등록일자 2016년 08월 16일) : 개인 출원 특허
    • 스마트 디바이스상의 드론제어용 어플리케이션과 더불어, 레이저고도측정 및 컬러트래킹을 통한 특정객체위치 인식과 고도를 유지한 상태로 추적하는 방식에 관한 특허
  • 등록번호 10-1933428 “영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템” (등록일자 2018년 11월 14일) : 기업 출원 특허 (휴인스)
    • 장착된 EO카메라 / IR카메라를 활용해 촬영한 두 가지 영상을 통신모듈을 통해 지상의 RTSP 서버에 실시간으로 전송하는 드론 및 해당 서버에 접속해 영상 속 사람을 인식하는 프로그램을 실행하는 클라이언트로 구성된 시스템에 관한 특허
  • 등록번호 10-1594428 “드론을 이용한 보안 서비스 제공 방법 및 시스템” (등록일자 2016년 02월 05일) : 기업 출원 특허 (엘지유플러스)
    • 특정 대상과 일정 거리를 유지하며 비행중인 드론이 촬영한 영상 및 여러 센서를 통해 수집한 정보를 분석하고, 어떠한 이벤트가 발생하면 통신망을 통해 다른 제2단말로 이벤트 발생 사실을 전송하는 시스템에 관한 특허
  • 공개번호 10-2018-0065331 “영상 인식을 이용한 드론 제어 방법 및 그 장치” (공개일자 2018년 06월 18일) : 기업 출원 특허 (케이티)
    • 드론에서 송출한 영상을 수신해 해당 영역을 탐색하기 위한 신호를 드론으로 다시 보내며, 영상 속 미리 결정된 객체를 탐색하고 특정 객체가 선택되었을 때 해당 객체를 지속적으로 추적하기 위한 신호를 드론으로 송신하는 드론 제어 시스템에 관한 특허
  • 등록번호 10-1797006 “드론을 이용한 토지 조사 시스템 및 방법” (등록일자 2017년 11월 07일) : 기관 출원 특허 (한국자산관리공사)
    • 드론을 이용해 토지에 대한 영상을 수집하는 촬영부 및 해당 영상을 분석해 조사 대상 토지 현황을 파악하고, 토지 현황에 대한 정보를 사용자에게 제공하는 관리부를 포함하는 토지 조사 시스템 및 방법에 관한 특허
  • 등록번호 10-1614654 “단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법” (등록일자 2016년 04월 15일) : 산학협력단 출원 특허 (동의대학교)
    • 드론에 장착된 단일 카메라로 촬영된 이미지 화면상에 표시되는 객체가 드론으로부터 실제로 떨어진 거리를 측정할 수 있는 추적 객체 위치 판별 방법에 관한 특허
  • 등록번호 10-1804184 “드론을 이용한 연안지형 조사장치” (등록일자 2017년 11월 28일) : 기관 출원 특허 (한국해양과학기술원)
    • 본체 및 드론 주위의 장애물을 감지하는 장애물감지센서, 지형관련 위치정보를 획득하는 위치측정부, 해당 정보를 처리하는 정보처리부 등을 가지고 사전에 계획된 경로를 따라 이동하되 심한 경사나 굴곡과 같은 장애물을 감지하면 회피기동하며 지형관련 위치정보를 자동으로 획득하는 드론 시스템에 관한 특허
  • 등록번호 10-1827363 “드론의 지상물체 추적 제어 시스템” (등록일자 2018년 02월 02일) : 산학협력단 출원 특허 (강원대학교)
    • 드론에 구비된 카메라를 통해 지상 물체를 촬영하고, 촬영된 영상을 분할해 지상의 물체를 인식하고 인식된 방향으로 해당 물체를 자동 추적하거나 촬영하도록 드론의 모터를 구동하는 추적 제어 시스템에 관한 특허
  • 등록번호 09678506 “Magic wand interface and other user interaction paradigms for a fiying digital assistant” ([미국] Skydio, Inc.)
    • 특허 내에서 PMD(Portable Multifunction Device)라고 칭하는 스마트폰이나 원격 디바이스와, FDA(Flying Digital Assistant)라고 칭하는 드론 간의 상호 통신, RF신호 / 관성측정 / 컴퓨터 비전 등을 종합적으로 이용한 로컬라이제이션 / 네비게이션, “Magic wand interface” 라고 칭하는 FDA 조종 방식을 종합적으로 포함한 특허
  • 등록번호 09586682 “Unmaned aerial vehicle control apparatus and method” ([미국], LG Electronics, Inc.)
    • 스마트폰의 “페어링 앱”을 통한 UAV의 제어와, UAV로부터 비행경로, 사진, 동영상 등 피드백을 수신하는 방법에 관한 특허. 이전의 공개 특허인 “10-2014-0052081 무인 항공기 제어 장치 및 방법 ([한국] 엘지전자 주식회사)” 의 내용을 통합해 미국에서 출원한 특허임.
  • 그 외의 특허 : 사용자 인증 및 맞춤식의 UAV 선택과 UAV 플랫폼 서비스(버라이즌), 안전한 배송을 휘한 구매자-물품-UAV의 인증‧확인 시스템(퀄컴) 등
  • 위와 같은 여러 드론 관련 특허들이 등록되어 있다. 위 특허들의 공통점으로 드론 주위의 상황을 인식할 수 있는 시스템을 가지고 있다는 것을 들 수 있다. 또한 ‘시장 현황 조사’ 문단의 끝에서 밝힌 바와 마찬가지로, 2015년 이후 출원된 특허가 다수 있음을 확인할 수 있었다. 특히 벤처 기업 뿐 아니라 연구기관 또는 KT, LG U+와 같은 대기업에서도 관련 특허를 등록했음에 주목할 필요가 있을 것이다.

• 특허전략
  • 현재 드론 시장에서 주요시장 확보율(미국, 일본, 중국, 유럽 중 3개국 이상에 동시 출원된 특허 비율)이 가장 큰 국가는 중국이며, 75.7%의 시장을 확보하고 있다. 또한, 중국은 기술영향력(특허가 후속 연구에 사용되는 정도)에서도 선도 국가이다. 한국의 경우 드론 시장 자체는 중국 대비 거의 확보하지 못하고 있으며, 기술영향력에서는 중국의 2/3 정도인 것으로 분석된다.
  • 국제 특허 출원 건수 기준으로 분석할 때, 드론 분야 특허 중에서 상위 10개 출원 주체가 출원한 특허가 차지하는 비율은 1.0%로, 항공 분야 중 고정익 항공기 분야(상위 10개 출원 주체가 10.7% 차지)나 항공 공통 기술 분야(23.2%)에 비해 특허 독점 경향은 특히 낮다. 드론 분야에서 특허를 가장 많이 출원한 주체는 미국의 보잉(Boeing) 사이다.
  • 한국의 경우도 마찬가지로, 드론 분야는 다른 항공 분야에 비해 상위 10개 출원인이 전체 특허 출원을 주도하는 경향은 특히 낮다(0.4%). 특허를 가장 많이 출원한 주체는 한국항공우주연구원이다.
  • 또한, 상위 10개 출원인 중 대부분이 연구기관이며 기업에서는 LG전자가 상위에 위치했다.
  • 5개년 구간으로 나누어 볼 때, 과거 5년(2006~2010) 대비 최근 5년(2011~2015) 드론 분야 특허 출원 건수는 137.7% 증가했다.
  • 위 사항을 종합해 볼 때, 드론 분야는 아직 기술력이 성숙한 몇몇 기업이 주도적으로 특허 출원을 이끈다기보다는 신생 기업이나 연구기관 등 다양한 특허 출원 주체가 동시에 새로운 분야에 진입하고 있는 모습이라고 할 수 있다. 특히 지난 5년간 특허 출원 건수가 큰 폭으로 증가한 점으로 미루어 볼 때, 이 프로젝트의 결과물이 추후 특허 시장에서 가치를 창출할 가능성도 충분히 있다.

시장상황에 대한 분석

• 경쟁제품 조사 비교
  • CNSI(씨엔에스아이)
    • 중소벤처기업 : 드론을 이용한 영상관제솔루션 보유. LTE 망을 이용해 드론에서 촬영된 영상을 관제서버로 실시간으로 전송해 모바일/데스크톱 환경에서 조종자가 현장을 관제할 수 있음. 영상에 대한 별도의 실시간 처리는 지원하지 않는 것으로 보이며, 녹화 기능 정도만 지원하고 있음. 그러나 드론과는 별개로 회사가 ‘AI 스마트 게이지 센서’ 솔루션(아날로그 계기판을 카메라로 촬영해 디지털 데이터로 변환)을 보유하고 있는 것으로 보아, 드론 영상에도 측량 데이터 추출 등의 가공을 할 수 있는 기술력은 있다고 판단됨.
  • 자이언트드론
    • 중소벤처기업 : 드론 판매 및 드론측량 대행 업무 수행 업체. 자체적인 드론 측량 소프트웨어를 보유하고 있는 것은 아니며, 타사의 드론과 SW의 패키지 판매와 사용자 교육, 측량업무 대행 등을 주로 하고 있음. 측량 소프트웨어(3D Survey) 또한 실시간 영상 분석은 아니며 촬영된 사진을 바탕으로 후처리하는 방식임. 드론의 측량에 관한 기술보다도, 이 기업에서는 수소연료전지 배터리를 활용한 드론의 장기 체공을 주 기술로 내세우고 있음. 기존 리튬이온전지 배터리를 장착한 드론의 체공 시간이 30분 미만으로 짧은 것을 생각해 볼 때, 1~2시간까지 체공이 가능한 수소전지 드론은 본격적인 대규모 측량 작업에 유용하게 쓰일 수 있음.
  • 공간정보
    • 중소기업 : 드론 측량 전문 기업. 위와 마찬가지로 자체적인 드론 측량 HW/SW를 보유하고 있는 것은 아니지만, 다수의 기관(국토교통과학기술진흥원 등)의 연구과제를 수주한 경력이 있으며 지리정보시스템 관련 특허도 다량 보유하고 있음.
    • 주요 연구 과제
      • 중소기업청 발주 “다중센서 장착을 통한 UAV용 다차원 공간정보 제작 모듈 개발”
      • 중소기업청 발주 “드론기반 공간정보를 활용한 농업재해보험업무용 기초자료조사 공정개선”
      • 국토교통과학기술진흥원 “드론을 활용한 비탈면 및 도로포장 관리 효율화 기술 개발” 등
    • 위 기업 외에도 드론을 이용한 측량 / 지리정보시스템 관련 연구를 진행중인 기업이 다수 있으며, 특히 2015년부터 측량 특허 출원량이 크게 증가했다. 또한 기업 뿐만 아니라 한국해양과학기술원, 한국전자통신연구원 등 공공연구기관에서도 특허 출원이 다수 있었다. 또한 전통적인 지적정보 측량에만 국한되지 않고 기상상태와 같은 다른 정보를 수집하는 시도 또한 있었다(2017년 특허출원 제164507호 ‘모바일 라이더를 이용하는 기상관측방법 및 기상관측장치’, 한국전자통신연구원).

• 마케팅 전략 제시
  • 드론 측량 관련 사업을 하는 기업이 늘어나고, 측량 소프트웨어도 다수 사용되고 있지만 거의 모두 저장된 이미지를 후처리하는 방식으로 정밀 지도 제작 등의 작업에는 적합하지만 드론이 현재 비행 및 촬영 중인 지역에 한해서만 필요한 기하학적 정보(특정 개체의 길이, 넓이 등)를 실시간으로 제공하는 기능은 없다.
  • 또한, 전문적인 측량 소프트웨어는 사용자의 교육이 많이 필요할 뿐만이 아니라 대부분 고가이다. 예를 들어, 항공 이미지를 이용한 지적정보 소프트웨어인 3D survey는 가격이 몇백만 원대이다. 단순히 촬영 중인 영상에서 객체 몇 가지만 추출해 정보를 측정하고자 하는, 일반 드론 조종자의 입장에서는 이렇게 고가이며 복잡한 소프트웨어가 필요하지 않다.
  • 따라서, 이 프로젝트의 장점이자 마케팅 전략으로는 초보 사용자나 복잡한 기능이 필요 없는 사용자에게 단순하면서도 핵심적인 기능만 제공하는 편리한 UI/UX를 들 수 있을 것이다. 대부분의 대상 소비자는 전문적인 측량 기술자가 아닌 드론에서 촬영되는 실시간 영상 내 사물의 간단한 측량만을 원하는 조종자가 될 것이다.
  • 반대로, 전문적인 수치 모델 계산이 필요한 측량 기술자에게는 이 프로젝트를 실제 측량에 앞서 미리 간이 측정을 해 보는 기능으로 응용할 수 있다는 점을 장점으로 내세울 수 있다. 이 프로젝트의 연산량은 그렇게 크지 않기 때문에, 추후 모바일 환경으로도 쉽게 전환할 수 있을 것이다. 전문 소프트웨어가 아직 성능상의 문제로 PC에서 구동되어야 한다는 점을 생각해 볼 때, 이는 실제 작업 이전에 현장에서 모바일 기기를 이용한 예비 작업에 쓰일 수 있는 장점이 있다.

개발과제의 기대효과

기술적 기대효과

• 검증된 오픈 소스 소프트웨어로부터 결과물을 제작함에 따라, 클로즈드 소스로 개발되는 제어 소프트웨어의 사용으로 발생할 수 있는 여러 가지 위험을 피할 수 있다. 예를 들어 중국산 드론 소프트웨어에서 발생한 백도어 논란 등으로부터 자유로울 수 있다.
• 해외 지도 서비스를 이용한 드론 UI/UX 에서 제공할 수 없는 여러 가지 특화된 기능을 제공할 수 있다. VWorld와 같은 경우 국토교통부에서 제공하는 지도 자료이기 떄문에 Google Maps와 같은 해외 서비스에서 제공하기 어려운 지적도 정보 등을 드론에서 얻을 수 있는 영상 정보 등과 결합하기에 용이하다.
• 위에 덧붙여, 촬영된 영상으로부터 측량 정보를 얻어 실제 현황과 기존 지적도의 일치 여부를 검증하는 등의 작업에 사용할 수 있을 것이다.

경제적, 사회적 기대 및 파급효과

• 드론이 군사 목적 등에 한해 쓰이던 “무인 비행체” 에서 지금과 같이 일반인의 취미로 인기를 끌게 된 이유에는 중국산 등 저가 드론의 확산과 함께, 이러한 드론이 스마트폰 앱 등 기존 전용 조종기보다 편리한 인터페이스를 제공했다는 점도 있다.
• 또한, 이제는 취미를 넘어 드론을 이용한 측량, 농업에의 이용, 전문 영상 촬영 등 여러 분야에서도 드론은 유용하게 쓰이고 있다. 그러나 아직 이러한 분야는 일반인에게는 생소하게 여겨질 수 있다. 이러한 작업에는 전문 SW를 이용해 별도의 후처리를 거쳐야 하거나, 비행 설정 등에 있어 사전 지식이 많이 필요한 것이 현실이다.
• 따라서 기존의 취미로 사용할 수 있을 정도의 드론 조종 UI/UX 를 넘어, 일반인도 실시간 간이 측량이나 센서 정보 결합 등의 기능을 쉽게 적용할 수 있는 인터페이스를 개발한다면 드론의 유용성이 보다 널리 인식될 수 있을 것이며, 드론이 단순한 취미를 넘어 일상생활에서 필요한 용도로도 자주 쓰이는 모습을 볼 수 있을 것이다.

기술개발 일정 및 추진체계

개발 일정

매뉴얼에 따라 개인정보 마스킹 처리

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용