8조-최박사공노임

프로젝트 개요

기술개발 과제

국문 : 모바일 매니퓰레이터를 이용한 여닫이문 열기 서비스

영문 : Door-opening Service Using a Mobile Manipulator

과제 팀명

최박사공노임

지도교수

황면중 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20XXXXX040 최정현(팀장)

서울시립대학교 기계정보공학과 20XXXXX014 박범휘

서울시립대학교 기계정보공학과 20XXXXX017 사공의훈

서울시립대학교 기계정보공학과 20XXXXX023 노민

서울시립대학교 기계정보공학과 20XXXXX027 임예은

서론

개발 과제의 개요

개발 과제 요약

전 세계적으로 로봇 시장의 규모가 커지고 있는 가운데, 모바일 매니퓰레이터(Mobile Manipulator)를 이용하여 문을 여는 작업은 연구 및 개발이 필요한 기술이다. 본 개발 과제에서는 모바일 매니퓰레이터를 이용하여 로봇이 스스로 밀거나 당겨 문을 여는 동작을 구현하려 한다. 이때 일자형 및 원형 손잡이를 파지할 수 있는 그리퍼를 설계하고 제작할 것이다. 카메라를 통해 손잡이를 인식한 뒤 매니퓰레이터로 손잡이를 회전시켜 문을 열고, 3D Lidar를 통해 주변 환경을 인지한 뒤 모바일 로봇이 충돌 없이 문을 통과한다. 이러한 기술은 배달 로봇과 같은 서비스 로봇, 혹은 로봇 팔을 포함한 지능형 휠체어 등과 같은 다양한 분야에 활용될 수 있으며 기존 연구에 대한 문제점을 개선함으로써 경쟁력 또한 확보할 수 있다.

개발 과제의 배경

1. 개발 배경

• 동기 및 필요성

문을 연다는 행위는 최근까지도 온전히 사람만 할 수 있는 행위로 구분되어 왔다. 그렇지만 기술의 발전으로 모바일 로봇과 로봇 팔이 합쳐진 매니퓰레이터를 이용해 문을 여는 작업을 국내외 연구팀들이 진행중에 있다. 매니퓰레이터를 이용하여 문을 여는 작업은 미래의 다양한 상황에서 사용될 수 있는 기술이므로 연구 및 구현이 필요하다. 첫째, 재난 및 소방 상황 같은 상황에서 사람이 건물 내부로 직접 들어가는 탐색이 힘든 경우 모바일 로봇을 통해 대신 탐사가 이뤄질 수 있다. 생존자 구조 및 임무수행을 위해서 로봇이 문을 여는 작업이 필수적이다. 두번째, 장애인들을 위한 서비스가 가능하다. 거동이 불편한 분들이 휠체어를 타고 문을 여는 상황이나, 문의 위치를 정확히 찾기 힘든 시각장애인 분들을 위해 모바일 로봇이 안내를 하면서 문을 열 수 있다. 세번째, 편의를 위한 서비스로 사용될 수 있다. 기존 모바일 배달로봇의 경우 자동문이 아닌 이상 지나가기 힘들다. 문을 열고 지나갈 수 있다면 건물의 형태 및 구조에 국한되지 않고 모바일 로봇의 실내 배달 서비스가 이뤄질 수 있다. 그렇지만 문을 여는 작업은 자율 주행, 인식, 경로계획, 제어를 모두 동반하기 때문에 문제의 범위가 복잡하고 어렵다. 이에 기존 연구를 기반으로 문제해결을 해 나갈 필요가 있다.

• 기존 연구 사례 및 개선 방향

사이언스지에 게재된 로봇 히타치(Hitachi)는 인공지능 기계학습을 통해 96% 이상 문을 여는데 성공했다. 이는 카메라를 통해 문에 접근하는 과정과 문을 통과하는 과정 두가지 단계로 모듈화 되어 구현되었다. 문을 여는 것은 반복되는 단순한 작업(task)처럼 보이지만 Hard-coding으로는 구현하기 힘든 어려운 작업이다. 히타치는 총 5개의 문과 5개의 일자형 문고리에 대해 학습하여 높은 성능을 보여주었다. 그렇지만 기존 사례에서는 여전히 개선할 부분들이 존재한다. 첫째로, 일자형 문고리만 고려한 점. 둘째로 로봇이 문을 지나갈 때 로봇과 문이 부딪히는 상황이 고려되지 않았던 점. 마지막으로, 문을 당겨 여는 작업에서 양손을 사용하여 진행한 점들이 기존 사례의 한계점이다. 본 개발 과제를 통해 로봇에 문을 여는 동작을 수행함에 있어 기존 연구의 이러한 문제점들을 개선하고자 한다. 첫째로, 일자형 문고리 이외에도 원형 문고리에 대해 개발을 진행함으로써 기존 사례를 개선하려 한다. 둘째로, 라이다(LiDAR)로 위치추정을 함으로써 로봇이 문을 통과할 경우 문과의 충돌이 일어나지 않도록 한다. 셋째로, 하나의 매니퓰레이터만을 이용하여 작업을 수행하려 한다.

2. 기대 효과

본 개발 과제에서는 당겨서 여는 문과 밀어서 여는 문, 그리고 일자형 문고리 이외에도 원형 문고리에 대해 개발을 진행함으로써 기존 연구와 비교하여 보다 다양한 사례에 대해 대처할 수 있을 것이다. 로봇이 문을 지나갈 때의 주변 물리적 환경을 고려하여 로봇이 충돌 없이 안정적으로 통과할 수 있도록 한다. 나아가 매니퓰레이터 하나만을 이용하여 문을 여는 작업을 수행함으로써 양손을 사용하는 기존 로봇보다 경제성 및 효율성 또한 높일 수 있다.

로봇이 사람처럼 문을 여는 동작을 성공적으로 수행함으로써 앞서 언급한 재난 상황을 위한 탐사로봇, 장애인을 위한 서비스 로봇, 모바일 배달 로봇 등과 같은 다양한 분야에서 활용될 수 있을 것으로 기대된다.

개발 과제의 목표 및 내용

1. 개발 목표

모바일 매니퓰레이터를 이용하여 여닫이 문을 열 수 있는 그리퍼와 소프트웨어를 설계한다. 모바일 로봇은 Agile X사의 Scout2.0, 매니퓰레이터는 Franka emika사의 Panda 플랫폼을 활용할 것이며, 문 손잡이를 잡기 위한 그리퍼는 3D 프린팅으로 직접 제작하여 매니퓰레이터 끝에 결합한다. 이후 카메라를 통해 문 손잡이를 인식하고 매니퓰레이터를 움직여 그리퍼로 문 손잡이를 파지한 뒤 회전시켜 문 손잡이를 돌린다. 이때 문 손잡이는 일자형과 원형 두 형태 모두에 대해서 파지 및 회전할 수 있도록 한다. 이후 모바일 로봇과 매니퓰레이터를 상호적으로 움직여 문을 연다. 이때 문은 당겨서 여는 문과 밀어서 여는 문에 대해 모두 고려하며, 특히 모바일 매니퓰레이터가 주변 장애물 혹은 문과 충돌하지 않도록 개발한다.

2. 개발 내용

1. 카메라를 통한 문 손잡이 인식 및 자세 추정

로봇 매니퓰레이터의 그리퍼로 문 손잡이를 잡고 회전시키려면 가장 먼저 로봇이 문의 손잡이를 인식하고 해당 위치로 이동하여야 한다. 이를 위해서 깊이 카메라(Depth Camera)를 활용할 예정이다. 먼저 카메라를 통해 획득한 이미지에서 이미지 처리 알고리즘(GHT) 혹은 딥러닝 학습 방식(YOLO)을 활용하여 문고리를 찾아낸다. 이후 이미지의 깊이(Depth) 정보를 이용하여 카메라를 기준으로 문 손잡이의 자세(Pose)를 추정한 후, 로봇 매니퓰레이터와의 캘리브레이션(Calibration)을 진행한다. 문고리 인식은 아래의 알고리즘을 이용해 진행할 계획이다.

• GHT(General Hough Transform)을 이용한 문고리 인식

허프 변환 알고리즘의 확장된 형태인 GHT 알고리즘을 개선하여 다양한 형태의 문고리를 인식할 수 있다. 또한 외곽선 정보를 이용해 문고리를 인식하는 GHT 알고리즘의 단점을 보완하고, 인식률을 향상시키기 위해 기계학습의 일종인 SVM(Support Vector Machine)을 통해 생성된 분류기를 이용한다. 마지막으로 인식된 문고리의 위치에 확률 기법을 적용하여 문고리의 오인식에도 강인하게 문을 탐지할 수 있도록 한다. https://koreascience.kr/article/JAKO201008863882781.pdf

• YOLO 딥러닝 학습을 이용한 문고리 인식

딥러닝 기반 객체 탐지 알고리즘으로는 고속 R-CNN, SSD, YOLOv4, YOLOv5 등이 있다. 기존의 검출 방법에 비해 견고성이 우수하고 정밀도가 높은 특성을 가지고 있는 YOLO를 사용하여 문 손잡이를 실시간으로 감지하도록 한다. 카메라를 통해 여러 개의 문 손잡이 사진을 캡처하고, ‘Make Sense’ 온라인 도구로 이미지에 레이블링(Labeling) 하여 문 손잡이 데이터 세트를 만든다. 이 모델은 서버에서 학습되고 훈련된 모델은 로봇이 문 손잡이를 탐지하는데 적용된다. Research on Door Opening Operation of Mobile Robotic Arm ...https://www.mdpi.com › pdf

2. 모바일 로봇 및 매니퓰레이터의 경로 계획 및 제어

해당 내용은 크게 2단계로 나뉜다. 첫 단계는 초기에 문 주변에 위치한 모바일 로봇이 문 손잡이를 잡을 수 있는 위치 및 자세를 취할 수 있도록 이동하는 단계이다. 이를 위해서는 맵(map)을 제작하여 모바일 로봇의 위치를 스스로 인지해야 하며(SLAM), 카메라와 라이다를 통해 문과 손잡이를 인식하여 ‘작업공간(Workspace)’ 영역 안에 들어와야 한다. 두 번째 단계는 작업 공간 범위에 진입한 후의 과정이다. 손잡이를 인식하면 매니퓰레이터의 그리퍼가 손잡이를 잡기 위해 이동한다. 그리퍼가 손잡이를 잡으면 손잡이를 돌린 후, 손잡이를 밀거나 당겨 문을 열게 된다. 문을 여는 과정에서 모바일 로봇의 몸체 또는 매니퓰레이터와 부딪치지 않도록 주의하여 경로 계획을 진행해야 한다. 특히 문을 미는 작업과 당기는 작업은 경로 계획의 방법론이 서로 다르게 계획된다. 이는 문을 당기는 경우에는 문과의 충돌을 더욱 고려해야 하기 때문이다. 이 때문에 매니퓰레이터를 동작시키는 동시에 모바일 로봇의 경로 계획을 진행하여 충돌을 피하고 미션을 수행하여야 한다.

• 로봇 위치 추정

모바일 로봇을 제어할 때 로봇의 정확한 위치를 알아야 충돌 없이 정밀하게 제어할 수 있다. 하지만 실내에서 진행되는 작업이기에 GPS와 같은 위치 추정 센서를 사용하기가 어렵다. 본 과제에서는 3D LiDAR를 기반으로 위치 추정 및 지도 작성 알고리즘인 SLAM을 활용하여 실내에서 로봇의 위치를 실시간으로 추정한다.

• 로봇 경로 계획 및 제어

로봇 경로 계획(Trajectory Planning)은 모바일 로봇과 매니퓰레이터를 각각 계획하는 경로계획 방법과 둘을 동시에 진행하는 다자유도 로봇의 경로 계획이 존재한다. 각 로봇의 경로 계획을 따로 하는 경우, 모바일 로봇의 경우는 A*, D* 알고리즘과 매니퓰레이터의 경우는 RRT* (Rapidly-exploring Random Tree) 알고리즘을 이용한 경로 계획 알고리즘이 주로 사용된다. 문 앞까지 도달하거나, 인식된 손잡이를 잡는 과정에서는 각각 로봇의 경로계획을 진행한다. 이렇게 결정된 경로는 제어 방식에 따라서 다르게 제어된다. 모바일 로봇의 경우 차량 동역학 기반의 바퀴의 회전 속도가 결정되며, 매니퓰레이터의 경우 역기구학 기반의 위치제어(Position Control)로 관절의 각도가 계산된다.

모바일 로봇과 매니퓰레이터를 합친 다자유도 로봇의 경로 계획은 문을 밀거나 당기는 과정에서 사용된다. 모바일 매니퓰레이터의 그리퍼의 위치를 계획함으로써 경로를 계획할 수 있으며 각각 계획하는 경로와 큰 차이가 없다. 그렇지만 제어 방식의 경우 같은 경로를 추종한다고 해도 자유도가 높기 때문에 이에 해당하는 여러 개의 자세(Configuration)가 존재하게 되어 남은 자유도(Redundant DoF)를 제어해야 하는 것이 주 해결과제로 남아있다. 추가적으로 그리퍼가 문고리를 잡고 있어 문이 회전함에 따라 모바일 로봇도 같이 움직여야 하는 문과의 상호작용이 존재한다는 점이다. 이는 매니퓰레이터에서 사용하는 방법인 힘제어(Force Control)을 이용하여 문제를 해결하려 한다. 일반적인 위치 제어를 통한 제어 방식은 모바일 로봇의 바퀴의 위치와 매니퓰레이터의 관절의 위치는 정할 수 있겠지만, 문을 연다는 동적인 상황에는 적합하지 않은 방식이다. 이에 비해 힘 제어는 문열기와 같이 외부 환경과 상호작용이 있는 상황에서 사용된다. 내부의 토크측정센서에 입력된 토크를 측정하여 원하는 토크를 출력할 수 있도록 모터를 제어한다. 결과적으로 여유 자유도를 제어하는 것과 힘제어를 사용하는 것이 모바일 매니퓰레이터를 제어하는 것에 있어 주요한 해결 과제이다.

3. 문고리 파지를 위한 그리퍼 설계 및 제작

문 손잡이를 파지하기 위한 그리퍼를 제작한다. 그리퍼는 ‘CATIA V5’를 이용하여 모델링하고 3D 프린팅으로 제작한다. 그리퍼의 구조는 물체와 맞닿는 집게부와 그 집게를 모터로 움직이게 하는 구동부로 나눠진다. 집게부의 경우 원형 문 손잡이와 일자형 문고리 두 가지를 모두 움켜쥘 수 있도록 그 형태를 설계한다. 또한 안정성을 가질 수 있도록 문 손잡이와의 닿는 면적을 크게 설계한다. 이후 문 손잡이를 회전시킬 때 미끄러지지 않을 수 있을 정도의 마찰력을 가질 수 있도록 고무나 실리콘과 같은 재료를 부착한다. 구동부는 모터의 출력을 제어할 수 있는 Franka Emika사의 Panda-Hand를 이용한다. Panda-Hand의 집게부를 새롭게 설계한 형태로 교체하여 문 손잡이를 안정적으로 파지할 수 있게 한다. 전체적인 그리퍼의 형상은 시중에 나와있는 제품을 참고하여 문을 여는 데에 가장 적합한 형태로 발전시켜 제작한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

1. 전 세계적인 기술현황

1.모바일 매니퓰레이터(Mobile manipulator)

모바일 매니퓰레이터란 이동형 플랫폼인 모바일 로봇위에 로봇팔인 로봇 매니퓰레이터가 합쳐진 하나의 로봇 플랫폼 시스템이다. 움직일 수 있다는 모바일 로봇의 장점과 매니퓰레이터의 작업 범위 내에서 다양한 작업이 가능하다는 장점을 합쳐 단점을 없앴다고 볼 수 있다. 추가적인 자유도로 사용자에게 더 많은 선택권이 있지만, 많은 자유도와 비정형적인 환경이 시스템의 동작을 계획하는 것을 어렵게 한다.

베이스인 모바일 로봇의 경우 바퀴형 로봇과 보행형 로봇으로 나뉘게 된다. 바퀴형 로봇의 경우 실내 응용 분야에 사용되는 RB-1, 책상형태로 이루어져 있어 작업범위를 광범위하게 넓힐 수 있는 RB-KA IROS+, 보조로봇 분야의 Fetch 등이 연구용으로 판매 되고 있다. 추가적으로 기존의 사용되고 있는 협동로봇(메니퓰레이터)와 모바일 플랫폼을 합쳐서 따로 사용하곤 한다. 보행형 로봇을 사용한 모바일 매니퓰레이터도 존재한다. Boston dynamics사의 spot로봇이다. Manipulator를 부착할 수 있으며 홈페이지에서 판매 중이다. Youtube 동영상을 통해 여러 외란의 상황에도 문을 여는 성능을 보여주었다.

2. 매니퓰레이터 제어(Control)

매니퓰레이터 제어는 단순한 위치제어에서 시작하였지만, 로봇이 사람과 공존하는 환경이 늘어나고 로봇과 로봇, 사람과 로봇 상호작용에 대한 요구가 늘어나면서 힘 제어 방식이 고려되고 있다.

기존의 위치 제어의 한계점은 첫째로 갑작스러운 환경 변화에 대응할 수 없다는 것이고, 두 번째는 장애물에 대해 접촉이 생겼을 때 모터에 피해가 남게 된다는 것이다. 세 번째는 복잡한 Task를 수행하기 힘들다는 것이다. 이러한 한계점들 때문에 힘제어가 필요하며 위치 제어에서 불가능한 외부 환경과의 상호작용(ex. 기계적 작업, Multi-manipulator의 협동, 보행 로봇의 보행 등)을 힘 제어를 통해 구현할 수 있다.

힘 제어는 로봇이 외부 환경과 접촉하면서 생기는 힘을 제어할 수 있도록 하는 것이다. 힘 제어에는 임피던스 제어 방식과 하이브리드 힘 제어 방식 두 가지가 주류로 나뉜다. 임피던스 제어 방식은 힘과 위치를 직접 제어하는 것이 아니라 로봇 팔 끝의 위치와 대상으로부터 반영된 힘과의 동적 관계를 조절함으로 간접적으로 힘을 제어하기 때문에 원하는 힘을 직접 기준입력으로 표시하지 못한다는 단점이 존재한다. 그렇지만 하이브리드 힘 제어 방식에서는 힘을 제어할 수 있는 방향과 위치를 제어할 수 있는 방향을 선택행렬을 사용하여 정하기 때문에 원하는 힘과 위치를 직접 제어할 수 있지만 로봇과 대상사이의 동적인 관계가 무시됨으로써 힘의 과도응답을 제어하지 못한다는 단점이 있다. 최근에는 인공신경망을 통한 힘 제어 방식에 대한 많은 연구가 이뤄지고 있다.

3. 모바일 매니퓰레이터 경로계획 알고리즘

경로계획의 경우, 모바일과 매니퓰레이터를 따로 경로 계획하는 경우와 동시에 계획하는 방법이 존재한다. 이번 프로젝트에서는 각각의 로봇의 경로를 따로(decouple) 계획하여 진행하려 한다.

모바일 로봇의 경우 지역이 큰 경우 global과 local로 계획을 나눠서 진행한다. 그렇지만 현재 진행하려는 프로젝트는 작은 지역이기 때문에 global 계획으로 가능하며 이중 가장 많이 쓰이는 graph 기반의 경로 계획을 보려 한다. 일반적으로 Dijkstra -> a star -> dynamic a star로 발전되는 그래프 기반 경로 계획 알고리즘이 가장 많이 알려져 있다. A* 알고리즘의 경우 휴리스틱한 항을 추가하여 목표까지의 최단거리를 찾기 쉬운 알고리즘을 구현하였으며, Dynamic A star 알고리즘의 경우 실시간 경로계획을 위해서 기존에 가지고 있는 정보를 다시 사용해 이동 중에도 부분적인 경로계획을 다시 할 수 있게 하였다. 이는 변화하는 동적인 환경이나 장애물이 있는 상황에서 유용하게 경로 계획을 할 수 있게 한다. Hybrid A*는 이산적인 경로를 생성하는 A*의 단점을 보완하기 위해 나온 경로 탐색 알고리즘으로 연속적인 경로를 탐색한다는 장점이 있다. 현재 위치에서 로봇의 방향, 속도, 각속도를 고려하여 가능한 다음 위치를 계산하며 경로를 탐색하는 방식으로 연속적인 경로가 생성되어 부드러운 주행이 가능하다.

매니퓰레이터의 경로 계획은 전통적인 알고리즘과 기계학습 기반의 경로 계획 알고리즘이 존재한다. 현재 최신 기술들은 강화 학습을 통해 최적화된 경로계획을 하는 DQN기반의 PPO, TRPO, DDPG등이 존재한다. 하지만, 이번 프로젝트 내에 기계학습 기반의 새로운 알고리즘은 사용하지 않을 예정이다. 그래프 기반 알고리즘은 위의 모바일의 경로계획과 거의 유사하며, 샘플링 기반의 알고리즘은 RRT(Rapidly-exploring Random Tree)와 PRM(Probabilistic Roadmap Method) 기반으로 하여 이에 적합한 변형으로 이루어져 있다.

4. 물체 검출 및 인식

물체의 검출과 인식은 패턴 인식이라고도 하며, 컴퓨터 비전 분야에서 오래도록 연구해오던 과제이다. 인공 신경망을 통한 이미지 분류 시도는 오래전부터 존재하였지만, 처리할 하드웨어의 발전이 따라오면서 폭발적인 성장을 거두었다. 대표적인 모델인 maskR-CNN 과 YOLO 모델이 있다.

딥러닝 기반 객체 탐지 알고리즘으로는 고속 R-CNN, SSD, YOLOv4, YOLOv5 등이 있다. 장점으로는 첫째, 학습 파이프 라인이 기존의 detection 모델들에 비해 간단하기 때문에 학습과 예측의 속도가 빠르고 둘째, 모든 학습 과정이 이미지 전체를 통해 일어나기 때문에 단일 대상의 특징 뿐 아니라 이미지 전체의 맥락을 학습하게 된다는 것, 셋째, 대상의 일반적인 특징을 학습하기 때문에 다른 영역으로의 확장에서도 뛰어난 성능을 보인다는 장점이 존재한다. 테두리상자 조정 (Bounding Box Coordinate)과 분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection)을 구현하는 큰 특징을 가지고 있다.

Mask R-CNN은 이미지 세그멘테이션을 위해 고안된 모델로 기존의 Fast R-CNN의 구조 중 branch에 새롭게 mask branch를 추가해 픽셀단위의 이미지 객체를 판별할 수 있게 하였다. Fast R-CNN 구조의 특성인 간단한 학습이라는 장점 또한 그대로 가지고 있으며, 다른 작업들에도 쉽게 사용할 수 있다. (ex, instance segmentation , object detection )

이미지 인식을 통해 물체를 인식하였다면 이에 해당하는 자세가 있어야 로봇 메니퓰레이터가 직접 물체를 잡을 수 있다. 그렇기 때문에 카메라의 물체 인식 과정 뒤에는 로봇을 기준으로 한 물체의 정확한 자세 추정이 중요하다. 정확한 자세 추정을 위한 방법에는 대표적으로 ICP(Iterative Closest Point) 알고리즘이 존재한다.

ICP 알고리즘은 ‘Iterative Closest Point’의 약자로, 하나의 대상물에 대해 다른 기준 축에서 스캔된 두 개의 Point Cloud가 있을 경우, 둘 간의 대응 관계를 추정하여 iterative하게 Point Cloud Registration(정합)하여 최적 변환관계인 Rotation Matrix R과 Translation Vector t를 찾는 방법이다. 즉, 좌표 변환관계를 추정하여 로봇의 Base 좌표계와 카메라 좌표계 간의 관계를 파악하여 물체에 더 정확하게 다가갈 수 있다.

5. 그리퍼

그리퍼의 경우 다음과 같은 종류로 구별된다.

• Two, three finger 그리퍼

가장 일반적인 그리퍼의 형태로 손가락을 이용해 물체를 파지한다는 특징이 있다. 손가락의 개수에 따라 물체를 파지할 때 안정성이 달라지며, 각 손가락이 어떻게 위치하는지 어떠한 형상을 가지고 있는지도 파지력에 영향을 미친다.

• 소프트 그리퍼

소프트 그리퍼의 경우 인간 생활에 로봇공학 기술이 적용되기 위해 가장 필수적인 그리퍼라고 할 수 있다. 기존의 강성이 있는 그리퍼는 오작동을 통해 사람과 부딪혔을 경우 사고의 위험이 존재하며, 재료비가 비싸며, 강성 때문에 정밀한 제어가 필요하다는 단점이 있다. 그렇지만, 소프트 그리퍼의 경우, 비교적 재료가 싸며, 가볍고 안전하고, 제어 시 높은 적응성 때문에 비교적 낮은 연산이 필요하다는 장점이 존재한다.

해당 프로젝트에서는 투 핑거 그리퍼, 소프트 그리퍼 두가지 종류의 그리퍼를 합쳐서 문을 열기 위한 적응형 그리퍼를 제작할 계획이다.

2. 특허조사 및 특허 전략 분석

1. 이동 로봇 장치와 문 제어 장치 및 그 문 개폐 방법

주변의 영상 정보를 획득한 후에 영상 분석을 통해 출입문 부근에 설치된 개방 버튼의 위치를 인식하는 단계와, 인식된 위치의 개방 버튼에 대한 조작을 수행하여 개방 선택 신호가 생성되도록 하여 개발 선택 신호에 따라 문 제어 장치가 출입문을 개방하도록 하며, 이동 로봇 장치와 문 제어 장치의 인터랙션을 기반으로 하여 문을 용이하게 개폐할 수 있도록 함으로써 기술적 어려움으로 인해 명확한 해결책을 제시하지 못했던 종래의 문 손잡이 조작을 통한 로봇의 문 개폐 방법에 대한 현실적이고 효율적인 대안을 제공한다.

2. 로보트를 사용한 도어개폐제어장치

주행축에 따라 본체가 이동하는 로봇과, 이 로봇의 주행위치에 대응하여 배치된 도어와, 이 도어의 위치를 검출하는 센서와, 이 센서에 의해 상기 도어의 위치를 검출한 경우에는 상기 로보트와 도어를 연결하는 연결제어수단과, 이 연결제어수단에 의해서 상기 로보트와 도어를 연결한 후에는 상기 주행축에 따라 로보트를 이동시켜 도어를 개폐하는 개폐제어수단을 구비한 것을 특징으로하는 도어개폐장치이다.

3. Mobile Robot Apparatus, Door Control Apparatus, and Door Opening and Closing Method Therefor

모바일 로봇 장치는 주변 영상 정보를 획득한 후 영상 분석을 통해 도어 주변에 장착된 개방 버튼의 위치를 인식하는 영상 인식부를 포함한다. 또한, 상기 모바일 로봇 장치는, 영상 인식부가 인식한 위치에서 상기 개방 버튼에 대한 연산을 수행하여 개방 선택 신호를 생성함으로써, 상기 생성된 개방 선택 신호에 따라 도어 제어 장치가 도어를 열 수 있도록 하는 모바일 컨트롤러를 포함한다.

4. Door Position Recognition Method and Mobile Robot

도어 위치 인식 방법 및 모바일 로봇에 따르면, 각도 정보, 선 정보 및 미리 설정된 파라미터에 기초하여 차트를 필터링하고, 필터링된 차트를 판정하는 판정 조건에 따라 의심 도어 위치의 신뢰성을 판정한다. 최종적으로, 이동 로봇이 가상 벽 장비의 도움 없이 미리 설정된 파라미터, 각도 정보 및 라인 정보를 사용하여 의심되는 도어 위치의 라인 정보를 판단할 수 있도록 대상 환경에서의 실제 도어 위치가 결정된다. 로봇의 의심 도어 위치 인식 정확도가 향상되고, 의심 도어 위치에 대한 로봇의 오판 확률이 감소되며, 로봇 격벽의 정확도가 향상되어 실제 도어 위치를 경계로 하여 이동 로봇이 파티션 청소를 수행할 수 있게 되며, 이동 로봇이 이동하도록 제어된다.

3. 특허전략

기존 국내 특허를 보면 a) 이동 로봇 장치와 문 제어 장치 및 그 문 개폐 방법은 문 손잡이를 직접 조작 기술적인 어려움으로 해결하지 못하고 개폐 스위치를 이용하는 방법을 채택하였다. 본 과제에서는 문 손잡이를 인식하고 매니퓰레이터를 이용하여 문 손잡이를 정확히 파지하여 문을 개폐하기 때문에 기술적인 접근이 다르다. b) 로보트를 사용한 도어개폐장치 또한 문 손잡이를 파지하여 개폐하는 방식이 아닌 도어 위치를 검출하는 센서를 이용하였으며, 로봇과 도어를 연결하는 별도의 컨트롤러 존재한다. 더욱이 이 두 개의 특허 모두 국내에서 등록 포기하거나 취하한 특허이므로 새로운 특허를 출원하는데 문제가 되지 않을 것으로 보인다.

국외 특허를 살펴보면 c) 이동 로봇 장치와 문 제어 장치 및 그 문 개폐 방법 또한 문 개방 버튼을 이용하여 개폐하는 방식을 사용하고 있다. 중국에서 출원된 d) 도어 위치 인식법과 이동 로봇 역시 문의 위치를 인식하는 기술에 대한 부분만을 다루고 있다. 본 과제에서는 이 특허에 제시된 인식 방법이 아닌 문 손잡이 인식에 대해 YOLOv5 딥러닝 기술을 사용할 예정이다.

아직 국내외 연구되어지고 있는 기술이기 때문에 본 과제에서 해결하고자 하는 기술과 일치하는 특허가 아직 존재하지 않으며, 국내에서는 본 과제를 통해 새로운 기술로서 특허를 출원하고 개발된 제품을 판매하는 것에 대해 특허상 문제가 없을 것으로 생각된다.

4. 기술 로드맵

시장상황에 대한 분석

1. 경쟁제품 조사 비교

• 히타치

일본기업 히타치는 최근 와세대 대학과 협업해 로봇이 문을 열고 닫는 실증시험을 진행한 결과 96%의 성공률을 보였다고 밝혔다. 히타치는 지난 2018년부터 딥러닝과 FPGA(프로그램이 가능한 비메모리 반도체의 일종, Field-Programmable Gate Array)를 조합시켜 로봇에게 직면한 '예상 밖 상황'에 유연하게 대처할 수 있도록 학습시켰다. 로봇은 바퀴로 움직이면서 두 팔로 문을 연다. 연구진은 문을 여는 각각의 동작을 학습하는 인공지능을 로봇에 탑재하고 6시간 분량의 데이터를 학습시켰다. 로봇은 기계학습을 통해 카메라에 문고리가 보이면 어떤 식으로 열어야 하는지 스스로 터득했다. 동시에 사람이 직접 문을 여는 동작을 108번 보여주어 기계학습과 시범교육을 병행하였다. 로봇은 문을 밀어서 열고 들어갔다가 다시 뒤돌아서 문을 당겨서 열고 들어가는 동작을 대략 2분에 1회 수행할 수 있다. 다만 히타치의 로봇은 상용화가 된 단계는 아니고 연구개발단계에 가까운 기술이다.

• 스팟(spot)

스팟은 보스턴 다이내믹스 사의 4족 보행 로봇이다. 이 로봇에 매니퓰레이터를 장착하여 문을 여는 동작을 수행하는 영상을 유튜브에서 확인할 수 있다. 스팟이 문을 여는데 걸리는 시간은 영상에서 보았을 때 20~30초 사이이다. 문을 여는 모든 과정이 기계학습방식을 사용하여 이루어 지는 것은 아니다. 문 앞까지는 사람이 직접 조작하여 위치시킨 후 ‘GO’ 명령을 내리면 문을 여는 과정은 자동으로 수행한다고 보스턴 다이내믹스는 설명하고 있다. 스팟은 ‘GO’명령 이후 사람이 문손잡이를 못잡게 하거나 몸통을 뒤로 잡아당겨서 문을 열지 못하게 방해하더라도 결국에는 문을 여는 작업을 수행할 수 있다. 스팟은 한화 약 9000만원에 판매되고 있으며 미국에서만 구입할 수 있고 배송 시간은 6~8주이다.

2. 마케팅 전략 제시

1. SWOT 분석

• Strength

모바일 로봇과 매니퓰레이터를 동시에 제어하여 벽, 문과의 충돌 없이 모션 플레닝을 하기 위해서는 각 부분의 planning 과정을 모두 알아야할 뿐만 아니라 자유도가 높은 과정이기에 최적화시키기 위해서는 높은 난이도의 기술이 필요하다. 또한 카메라로 손잡이를 인지하여 pose를 파악하는 과정, 손잡이를 잡을 수 있도록 도킹하는 과정, 모바일 로봇의 위치를 추정하는 과정 모두 필요하므로 제어, 비전, localization 등 다양한 영역의 지식이 융합되어야만 완성될 수 있는 기술이다.

• Weakness.

본 프로젝트에서는 특정 회사의 특정 로봇 플랫폼에서 개발을 진행한다. 따라서 해당 기술을 다른 종류 혹은 다른 제조사의 로봇 플랫폼에 적용하기가 힘들 수 있다. 로봇 플랫폼에 맞게 작업 반경과 같은 파라미터를 변경하면 해결가능한 것도 있겠지만, 로봇의 제어 방식이 다른 경우에는 더욱 개발한 알고리즘 이식이 쉽지 않다.

• Opportunity.

관련 기술을 개발하여 상용화하는 업체 및 기업이 존재하지 않다. 로봇이 돌아다니는 대부분의 건물에는 자동문이 설치되어 있는 것이 일반적이지만, 자동문이 설치되지 않은 경우에도 문을 여는 로봇이 필요한 상황이 많다. 해당 서비스를 개발하면 자동문이 아닌 여닫이 문이 있는 건물에서도 로봇이 문을 열 수 있다.

• Threat.

해당 기술이 필요한 경우가 특수하기에 수요층이 한정적이라는 단점이 있다. 또한 문을 여는 서비스만을 수행하기 위해 로봇 메니퓰레이터를 도입하기에는 로봇 메니퓰레이터의 가격이 매우 비싸다. 건물의 모든 층에 로봇 메니퓰레이터를 구비해 놓을 수는 없을 가능성이 크기에, 필요한 상황에서 문을 여는 로봇이 급하게 필요한 재난 상황의 경우, 로봇 메니퓰레이터가 스스로 층을 이동하는 기술 또한 요구된다.

2. STP 전략

• Segmentation

문 여는 것을 도와주는 서비스 제공 로봇이기 때문에 거동이 불편한 사람과 아닌 사람으로 소비자 층을 나눌 수 있다. 이는 나이가 많은 고령층과 아닌 사람들 혹은 휠체어를 타는 사람과 아닌 사람으로 나눌 수 있다. 또한 해당 기술이 필요한 개인과 업체 혹은 기관으로 나눌 수 있다.

• Targeting

주요 타겟이 되는 개인 고객으로는 거동이 불편해 휠체어를 타고 이동하는 모든 사람이 된다. 주요 타겟이 되는 기관 혹은 업체로는 화재를 진압하고 붕괴 위험 건물에 진입해야하는 소방 업체가 해당되고 또한 위험한 공장에서 로봇으로 모니터링을 진행하는 여러 제조 공장을 가진 업체가 될 수 있다. 특히 이미 매니퓰레이터가 달린 사족보행 혹은 모바일 로봇을 가지고 여러 일을 진행하려하는 업체가 주요 타겟이다.

• Positioning

매니퓰레이터가 달린 사족보행 혹은 모바일 로봇을 제공하는 회사는 있지만, 문을 여는 기술을 개발하여 제공하는 회사나 연구소는 존재하지 않는다. 따라서 유일성에서 경쟁력을 가진다.

개발과제의 기대효과

기술적 기대효과

본 과제에서는 당겨서 여는 문과 밀어서 여는 문, 그리고 일자형 문고리 이외에도 원형 문고리에 대해 개발을 진행함으로써 기존 연구와 비교하여 보다 다양한 사례에 대해 대처할 수 있도록 연구한다. 이 때, 로봇이 문을 지나갈 때의 주변 물리적 환경을 고려하여 로봇이 충돌 없이 안정적으로 통과할 수 있도록 한다. 나아가 양손을 사용하는 기존 로봇과 비교하여 매니퓰레이터 하나만을 이용하여 문을 여는 작업을 수행함으로써 로봇의 규모를 줄이고 공간활용성을 높이는 등의 기술적인 발전성을 제시한다. 또한 수행한 과제 연구의 결과를 재난 상황 탐사용, 서비스용, 배달용 로봇 등의 다양한 분야에서 활용할 수 있을 것으로 기대하여 연구 기술의 활용도가 높다고 할 수 있다.

경제적, 사회적 기대 및 파급효과

내용

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용