"1조-Five Guys"의 두 판 사이의 차이

2024년 12월 2일 (월) 22:33 판

프로젝트 개요

기술개발 과제

국문 : 증강현실(AR) 기반 로봇팔 시뮬레이터

영문 : Augmented Reality(AR) Based Robotic Arm Simulator

과제 팀명

Five Guys

지도교수

황면중 교수님

개발기간

2024년 9월 ~ 2024년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20194300** 조**(팀장)

서울시립대학교 기계정보공학과 20184300** 문**

서울시립대학교 기계정보공학과 20194300** 이**

서울시립대학교 기계정보공학과 20194300** 최**

서론

개발 과제의 개요

개발 과제 요약

로봇을 실제 환경에서 실험하기 전에 동작과 작업 영역을 확인하고 충돌 사고를 예방하기 위해 시뮬레이션 테스트가 필요하다. 이 프로젝트는 AR 기술을 활용하여 가상 실험 환경을 구축하고, 로봇을 실제 환경에서 실험하기 전에 증강현실로 미리 테스트하여 사고를 예방하는 시스템이다. 기존 시뮬레이터의 단점을 보완하여, 스마트폰 카메라로 3D-Depth 맵을 생성하고 사용자가 직접 맵을 구현할 필요가 없다. 사용자는 AR로 로봇을 제어하고, VR box를 통해 움직임을 확인하며, 충돌 발생 시 위치 정보를 제공받는다.

개발 과제의 배경

로봇을 실제 환경에서 실험하기 이전에 로봇의 동작과 작업 영역을 확인하고 충돌 사고 등을 예방하기 위해 시뮬레이션 환경에서의 테스트가 선행되어야 한다. 기존의 시뮬레이터는 실험 환경이 바뀔 때마다 시뮬레이션 환경을 다시 만들어야 하는 단점이 있다.

개발 과제의 목표 및 내용

이 프로젝트는 AR 기술을 활용한 가상 실험 환경을 구축하는 것이다. 로봇 등 다양한 기술을 실제 환경에서 실험하기 전에 증강현실로 미리 실험하여 충돌 등의 사고를 예방하는 시스템이다. 시스템은 스마트폰 카메라를 통해 실험 환경의 3D-Depth 맵을 생성하며, 사용자가 직접 맵을 구현할 필요가 없다. 사용자는 AR로 불러온 로봇을 명령에 따라 제어하고, 스마트폰과 결합한 VR box를 통해 그 움직임을 확인할 수 있다. 또한, 실험 과정에서 충돌이 발생하면 충돌 발생 위치에 대한 정보를 제공받을 수 있다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황

로봇팔 시뮬레이터

MATLAB/SIMSCAPE

MATLAB의 Robotics Tool Box[1]를 이용해 로봇의 기구학, 동역학 등과 관련된 라이브러리를 불러올 수 있으며 로봇 모델링 또한 가능하다. 이에 더해 MATLAB의 SIMSCAPE[2]를 사용하면 Multibody를 활용해 다물체에 대한 모델링 환경을 제공하며 힘, 토크, 마찰 등과 같은 물리적 요소를 추가하여 실제 동작과 같은 모델을 구현할 수 있다. 추가적으로 SIMSCAPE의 특성상 직관적으로 제어 시스템을 구성할 수 있으며 MATLAB과 연동하여 데이터의 처리가 편리하다는 이점이 있다. 시뮬레이션의 경우 라그랑주 역학 및 뉴턴-오일러 방정식을 기반으로 하기 때문에 정밀한 시뮬레이션이 가능하다.

GAZEBO

GAZEBO는 실제 로봇의 운영에 있어 대중적으로 사용하는 미들웨어 ROS(Robot Operating System)와 통합이 용이하다. 이를 바탕으로 시뮬레이션과 실제 로봇 제어를 동시에 수행할 수 있다. 이에 더해 플러그인 아키텍처를 사용하기 때문에 카메라, 로봇 모델 등 시뮬레이션에서 활용할 수 있는 다양한 요소의 추가 및 수정이 편리하다. 또한 GAZEBO는 오픈 소스이기 때문에 무료로 사용할 수 있으며 대규모 오픈 소스 커뮤니티를 통해 지원을 받을 수 있다는 이점이 있다. 물리 엔진의 경우 ODE(Open Dynamics Engine), Bullet, DART(Dynamic Animation and Robotics Toolkit), Simbody 등 여러 물리 엔진을 지원하기 때문에 시뮬레이션의 목적에 적합한 동작을 구현할 수 있다.

Unity

설계가 될 당시 게임 엔진을 목표로 하였지만 최근 로봇공학 및 시뮬레이션에 사용되고 있다. 로봇공학 분야에서도 적극 사용할 수 있도록 ROS와 통합을 위한 플러그인을 지원하며 이를 바탕으로 실제 로봇과 동일한 조건에서 제어 알고리즘을 검증할 수 있다. 추가적으로 AI와 머신러닝을 통합할 수 있는 환경을 제공하여 로봇팔이 자율적으로 학습하는 강화 학습 환경을 구성할 수 있으며 VR과 AR을 통합할 수 있는 기능까지 제공된다. PhysX 물리 엔진을 사용하여 충돌 감지, 힘 및 토크 계산, 마찰을 정밀하게 모델링할 수 있으며 고품질 3D 그래픽까지 활용되면 매우 사실적인 환경을 제공할 수 있다.

Isaac Sim

NVIDIA의 Omniverse 플랫폼을 기반으로 한 로봇 시뮬레이션 소프트웨어이며 Cloud환경 및 고성능 GPU를 기반으로 물리 계산을 빠르게 수행하며 시뮬레이션의 속도와 정확성을 극대화한 환경이다. 이러한 특징을 기반으로 로봇팔의 자율 학습, 딥러닝과 강화 학습 알고리즘 지원 등 AI와 머신러닝에 최적화된 시뮬레이션 환경을 제공한다. 물리 엔진으로는 PhysX 엔진을 사용하여 충돌 감지, 힘 및 토크 계산, 마찰을 정밀하게 모델링할 수 있다.

증강현실

Unity

내장 물리 엔진인 PhysX 엔진을 바탕으로 충돌 감지 및 상호 작용 구현에 유리하며 무료 라이센스, 튜토리얼 제공, 다양한 인터페이스 제공으로 일반인이 접근하기 용이하다는 장점을 갖고 있다. 하지만 복잡한 기능 구현을 위해서는 추가적인 학습이 필요하다는 단점이 존재한다.

Unreal Engine

내장 물리 엔진인 Chaos를 통해 복잡한 AR 시뮬레이션 환경에서도 우수한 성능을 보이는 것이 특징이다. Unity와 마찬가지로 무료 라이센서와 다양한 온라인 학습 자료가 제공되기 때문에 접근성이 좋지만 처음 사용법을 익히는 데에는 비교적 시간이 오래 걸린다는 단점이 있다.

ARkit(Apple)

무료로 제공되며 Apple 생태계에 최적화되어 있어 Apple 장치를 통해 VR 또는 AR을 구현하기 위해 적합한 소프트웨어이다. 하지만 Apple 생태계에 최적화된 만큼 Apple 장치가 없는 경우 사용이 제한적이며 ARKit 내장 물리 엔진을 사용한다는 특징이 있다.

ARCore(Google)

ARKit과 달리 Android 생태계에 최적화되어 있는 소프트웨어이다. 이에 따라 Android 장치가 없는 경우 사용이 제한적이라는 단점이 있으며 Unity, Unreal Engine과 통합하며 물리 엔진 구현이 가능하다는 특징이 있다.

3D Mapping

Phtogrammetry

다수의 2D 사진을 이용해 3D 구조를 재구성하는 방법으로 대규모 지역을 빠르게 맵핑할 수 있다는 특징이 있다. 하지만 주변 환경에 많은 영향을 받으며 특히 복잡한 표면의 경우 표현이 제한적이라는 단점이 있다.

SLAM

이동 중에도 데이터 수집 및 맵핑이 가능하여 동적 환경에서 유리하며 이에 따라 다양한 로봇 플랫폼에서 사용하기에 적절하다. 하지만 맵 구성에 있어 계산량이 많아 처리 속도가 느릴 수 있으며 센서 품질에 따라서 정확도가 크게 달라진다는 특징이 있다.

RGB-D SLAM

RGB 카메라와 Depth 센서를 함께 사용하여 비교적 정확한 지도를 생성할 수 있으며 실시간으로 깊이 정보를 처리할 수 있어 즉각적인 피드백 및 환경 인식이 가능하다는 특징이 있다. 하지만 Depth 센서의 측정 범위가 짧아 먼 거리의 물체는 정확한 감지가 어려우며 조명 조건에 영향을 받을 수 있다는 단점이 있다.

기술 로드맵

로봇팔 시뮬레이터

1980년대

로봇팔의 기구학, 동역학 및 제어, 시뮬레이션의 연구 단계로 이론적인 기초를 설립하는 시기이다. 이 시기에는 CAD 시스템과 함께 기구학 시뮬레이터를 활용하여 시뮬레이션을 진행하였다.

1990년대

로봇팔의 기구학, 동역학 및 제어, 시뮬레이션의 이론이 발전하는 단계이며 MATLAB/Simulink[12]를 활용하여 2D/3D 시각화가 가능한 로봇 시스템의 제어 알고리즘 개발 및 테스트를 진행하였다.

2000년대

여러 물리 엔진의 기본이 되는 물리 기반 동역학 시뮬레이션 이론이 등장하였다. 특히, 현재에도 대중적으로 활용되는 V-REP(Virtual Robot Experimentation Platform)과 GAZEBO가 등장하며 해당 소프트웨어를 활용해 로봇 시뮬레이션을 진행하였다.

2010년대

ROS(Robot Operation System)이 등장하며 로봇에 접근하기 용이한 환경이 조성되었으며 GAZEBO와 ROS의 통합으로 시뮬레이션에 대한 접근성이 증대되었다. 추가적으로 MoveIt과 같이 시뮬레이션에서 경로 계획과 제어를 용이하게 해주는 오픈 소스가 등장하였다.

2020년대

시뮬레이션을 기반으로 데이터 셋을 생성하고 학습을 진행하는 환경이 만들어졌다. 따라서 로봇 시뮬레이션과 머신러닝, AI를 통합할 수 있는 Issac Sim과 같은 환경이 개발되었으며 시뮬레이션을 바탕으로 학습한 내용을 현실에서도 사용할 수 있도록 현실과 시뮬레이션 환경 동기화와 관련된 연구가 진행되었다.

현재&미래

디지털 트윈을 활용하여 실제 로봇과 가상 시뮬레이터가 실시간으로 상호작용할 수 있는 기술이 개발되고 있으며 클라우드 기반 고성능 컴퓨팅을 활용하여 더욱 정밀하고 사실적인 시뮬레이션 개발이 진행되고 있다.

증강현실(Augmented Reality)

1990년대

1968년 Head-Mounted-Display 기술이 개발된 것이 증강현실의 시작이며 1992년 산업 생산 공정에서 AR 응용 가능성을 제시한 논문[13]이 발표되며 ‘증강현실(Augmented Reality)’ 이라는 용어가 대중적으로 사용되고 개발되기 시작하였다.

2000년대

ARToolkit 오픈소스 소프트웨어가 등장하였으며 해당 소프트웨어가 뷰포인트 추적 기술을 제공하며 AR 기술 개발이 확대되었다. 또한 “A Survey of Augmented Reality” 논문[14]에서 AR의 과거, 현재, 미래에 대해 리뷰를 진행하며 AR 기술 개발이 널리 알려지게 되었다.

2010년대

모바일 AR 애플리케이션 제작시 활용되는 Vuforia[15]가 출시되며 대중의 AR 기술 접근이 증가하였으며 모바일 AR 기술 개발이 확대되었다. 또한 Google에서는 Google Glass를 통해 AR을 안경에 접목시키는 기술을 보여주었으며 Unity, Unreal Engine이 등장하며 AR 개발 툴킷에 물리 엔진 적용이 확대되고 실제와 같은 AR 구현에 힘쓰게 되었다.

2020년대

Microsoft에서는 HoloLens 관련 특허[16]를 등록하였으며 이는 공간 맵핑, 제스처 인식, 시각 데이터 통합 등의 기술을 담고 있으며 이를 바탕으로 MR(Mixed Reality) 구현이 본격적으로 시작되었다. MR은 현실과 가상을 혼합하여 더 발전된 가상 현실을 만드는 것을 의미한다.

현재&미래

현재에는 객체 인식, 공간 인식, 제스처 인식에 AI를 접목하여 더 정확하고 자연스러운 AR을 생성하는 연구가 진행되고 있으며 이후에는 AI와 MR의 접목을 통해 현실과 가상의 구분이 어려운 가상현실이 생성될 것으로 보인다.

3D Mapping

~1990년대

3D Mapping에 대한 초기 개념이 정립되고 개념의 발전이 진행되는 시기로 전통적인 지리적 측량 기법을 사용하여 수작업 계산을 통해 3D 모델을 생성하였다.

1990년대

LiDAR 기술이 개발되며 고정밀의 3D Mapping이 가능해졌으며 Photogrammetry가 발전하여 항공 사진, 위성 이미지를 기반으로 3D 모델링이 가능해졌다.

2000년대

디지털 이미지, 컴퓨터 비전 기술이 발전하며 사진을 기반으로 한 3D 모델링이 더욱 정밀해졌으며 SLAM(Simultaneous Localization And Mapping) 기술이 발전하여 본격적인 3D Mapping이 진행되었다.

2010년대~현재

RGB-D 카메라의 도입으로 실시간 3D Mapping 및 정확한 3D 모델링이 가능한 수준으로 기술이 발전하였으며 AI를 활용하여 물체 인식, 특징 추출, 데이터 분류 등을 통해 정확한 모델 구축이 가능해졌다.

현재&미래

클라우드 컴퓨팅을 통한 데이터 공유 및 실시간 처리, 사물 인터넷을 통한 정보수집을 이용해 더욱 빠르고 정밀한 3D Mapping을 구현하고 있다.

특허조사 및 특허 전략 분석

Visualization Of a Robot Motion Path and Its Use in Robot Path Planning(US20240083027)

AR을 활용하여 로봇의 모션 및 경로를 시각화하고 경로 길이 최소화, 로봇 수명 극대화 등에 초점을 맞춘 경로 최적화를 진행하는 기술을 제안하였다.

Occlusion and Collision Detection for Augmented Reality Applications(US20220230383)

AR 환경에서 가상 객체와 실제 객체의 위치를 파악하고 충돌을 감지하는 기술을 제안하였다.

특징과 차별점 비교

항목	Visualization Of a Robot Motion Path and Its Use in Robot Path Planning(US20240083027)	Occlusion and Collision Detection for Augmented Reality Applications(US20220230383)
특징	AR 활용 로봇 모션 및 경로 시각화 경로 최적화가 초점	AR 활용 가상 객체, 실제 객체 탐지 객체간 충돌 감지
특허와 비교한 본 프로젝트의 차별성	실제 환경에 대한 Mapping 존재 실제 환경과의 충돌 고려 충돌 시각화가 초점	실제 환경 탐지 및 Mapping 복잡한 가상 객체 활용

특허 전략

본 프로젝트는 3D 맵핑, AR 매니퓰레이터 제어, 가상 환경과 실제 환경의 통합을 주된 기술로 진행된다. 관련하여 3D 맵핑과 AR 매니퓰레이터 제어는 특허가 제시되어 널리 사용되고 있으므로 해당 기술의 경우 상호 라이선스를 통해 협력관계를 구축한다. 한편, 3D 맵핑과 AR 매니퓰레이터 제어를 바탕으로한 가상 환경과 실제 환경의 통합 기술을 특허 개발을 통해 특허 출원을 진행한다.

시장상황에 대한 분석

경쟁제품 조사 비교

내용

마케팅 전략 제시

내용

개발과제의 기대효과

기술적 기대효과

내용

경제적, 사회적 기대 및 파급효과

내용

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용

@@ 110번째 줄: / 110번째 줄: @@
 ::AR 환경에서 가상 객체와 실제 객체의 위치를 파악하고 충돌을 감지하는 기술을 제안하였다.
 :*특징과 차별점 비교
+::{| class="wikitable" style="text-align: center;"
+! 항목 !! Visualization Of a Robot Motion Path and Its Use in Robot Path Planning(US20240083027) !! Occlusion and Collision Detection for Augmented Reality Applications(US20220230383)
+|-
+| '''특징''' ||
+AR 활용<br>로봇 모션 및 경로 시각화<br>경로 최적화가 초점
+||
+AR 활용<br>가상 객체, 실제 객체 탐지<br>객체간 충돌 감지
+|-
+| '''특허와 비교한 본 프로젝트의 차별성''' ||
+실제 환경에 대한 Mapping 존재<br>실제 환경과의 충돌 고려<br>충돌 시각화가 초점
+||
+실제 환경 탐지 및 Mapping<br>복잡한 가상 객체 활용
+|}
+*특허 전략
+:본 프로젝트는 3D 맵핑, AR 매니퓰레이터 제어, 가상 환경과 실제 환경의 통합을 주된 기술로 진행된다. 관련하여 3D 맵핑과 AR 매니퓰레이터 제어는 특허가 제시되어 널리 사용되고 있으므로 해당 기술의 경우 상호 라이선스를 통해 협력관계를 구축한다. 한편, 3D 맵핑과 AR 매니퓰레이터 제어를 바탕으로한 가상 환경과 실제 환경의 통합 기술을 특허 개발을 통해 특허 출원을 진행한다.
 ====시장상황에 대한 분석====