8조-최박사공노임

프로젝트 개요

기술개발 과제

국문 : 모바일 매니퓰레이터를 이용한 여닫이문 열기 서비스

영문 : Door-opening Service Using a Mobile Manipulator

과제 팀명

최박사공노임

지도교수

황면중 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20XXXXX040 최정현(팀장)

서울시립대학교 기계정보공학과 20XXXXX014 박범휘

서울시립대학교 기계정보공학과 20XXXXX017 사공의훈

서울시립대학교 기계정보공학과 20XXXXX023 노민

서울시립대학교 기계정보공학과 20XXXXX027 임예은

서론

개발 과제의 개요

개발 과제 요약

전 세계적으로 로봇 시장의 규모가 커지고 있는 가운데, 모바일 매니퓰레이터(Mobile Manipulator)를 이용하여 문을 여는 작업은 연구 및 개발이 필요한 기술이다. 본 개발 과제에서는 모바일 매니퓰레이터를 이용하여 로봇이 스스로 밀거나 당겨 문을 여는 동작을 구현하려 한다. 이때 일자형 및 원형 손잡이를 파지할 수 있는 그리퍼를 설계하고 제작할 것이다. 카메라를 통해 손잡이를 인식한 뒤 매니퓰레이터로 손잡이를 회전시켜 문을 열고, 3D Lidar를 통해 주변 환경을 인지한 뒤 모바일 로봇이 충돌 없이 문을 통과한다. 이러한 기술은 배달 로봇과 같은 서비스 로봇, 혹은 로봇 팔을 포함한 지능형 휠체어 등과 같은 다양한 분야에 활용될 수 있으며 기존 연구에 대한 문제점을 개선함으로써 경쟁력 또한 확보할 수 있다.

개발 과제의 배경

1. 개발 배경

동기 및 필요성

문을 연다는 행위는 최근까지도 온전히 사람만 할 수 있는 행위로 구분되어 왔다. 그렇지만 기술의 발전으로 모바일 로봇과 로봇 팔이 합쳐진 매니퓰레이터를 이용해 문을 여는 작업을 국내외 연구팀들이 진행중에 있다. 매니퓰레이터를 이용하여 문을 여는 작업은 미래의 다양한 상황에서 사용될 수 있는 기술이므로 연구 및 구현이 필요하다. 첫째, 재난 및 소방 상황 같은 상황에서 사람이 건물 내부로 직접 들어가는 탐색이 힘든 경우 모바일 로봇을 통해 대신 탐사가 이뤄질 수 있다. 생존자 구조 및 임무수행을 위해서 로봇이 문을 여는 작업이 필수적이다. 두번째, 장애인들을 위한 서비스가 가능하다. 거동이 불편한 분들이 휠체어를 타고 문을 여는 상황이나, 문의 위치를 정확히 찾기 힘든 시각장애인 분들을 위해 모바일 로봇이 안내를 하면서 문을 열 수 있다. 세번째, 편의를 위한 서비스로 사용될 수 있다. 기존 모바일 배달로봇의 경우 자동문이 아닌 이상 지나가기 힘들다. 문을 열고 지나갈 수 있다면 건물의 형태 및 구조에 국한되지 않고 모바일 로봇의 실내 배달 서비스가 이뤄질 수 있다. 그렇지만 문을 여는 작업은 자율 주행, 인식, 경로계획, 제어를 모두 동반하기 때문에 문제의 범위가 복잡하고 어렵다. 이에 기존 연구를 기반으로 문제해결을 해 나갈 필요가 있다.

기존 연구 사례 및 개선 방향

사이언스지에 게재된 로봇 히타치(Hitachi)는 인공지능 기계학습을 통해 96% 이상 문을 여는데 성공했다. 이는 카메라를 통해 문에 접근하는 과정과 문을 통과하는 과정 두가지 단계로 모듈화 되어 구현되었다. 문을 여는 것은 반복되는 단순한 작업(task)처럼 보이지만 Hard-coding으로는 구현하기 힘든 어려운 작업이다. 히타치는 총 5개의 문과 5개의 일자형 문고리에 대해 학습하여 높은 성능을 보여주었다. 그렇지만 기존 사례에서는 여전히 개선할 부분들이 존재한다. 첫째로, 일자형 문고리만 고려한 점. 둘째로 로봇이 문을 지나갈 때 로봇과 문이 부딪히는 상황이 고려되지 않았던 점. 마지막으로, 문을 당겨 여는 작업에서 양손을 사용하여 진행한 점들이 기존 사례의 한계점이다. 본 개발 과제를 통해 로봇에 문을 여는 동작을 수행함에 있어 기존 연구의 이러한 문제점들을 개선하고자 한다. 첫째로, 일자형 문고리 이외에도 원형 문고리에 대해 개발을 진행함으로써 기존 사례를 개선하려 한다. 둘째로, 라이다(LiDAR)로 위치추정을 함으로써 로봇이 문을 통과할 경우 문과의 충돌이 일어나지 않도록 한다. 셋째로, 하나의 매니퓰레이터만을 이용하여 작업을 수행하려 한다.

2. 기대 효과

본 개발 과제에서는 당겨서 여는 문과 밀어서 여는 문, 그리고 일자형 문고리 이외에도 원형 문고리에 대해 개발을 진행함으로써 기존 연구와 비교하여 보다 다양한 사례에 대해 대처할 수 있을 것이다. 로봇이 문을 지나갈 때의 주변 물리적 환경을 고려하여 로봇이 충돌 없이 안정적으로 통과할 수 있도록 한다. 나아가 매니퓰레이터 하나만을 이용하여 문을 여는 작업을 수행함으로써 양손을 사용하는 기존 로봇보다 경제성 및 효율성 또한 높일 수 있다.

로봇이 사람처럼 문을 여는 동작을 성공적으로 수행함으로써 앞서 언급한 재난 상황을 위한 탐사로봇, 장애인을 위한 서비스 로봇, 모바일 배달 로봇 등과 같은 다양한 분야에서 활용될 수 있을 것으로 기대된다.

개발 과제의 목표 및 내용

1. 개발 목표

모바일 매니퓰레이터를 이용하여 여닫이 문을 열 수 있는 그리퍼와 소프트웨어를 설계한다. 모바일 로봇은 Agile X사의 Scout2.0, 매니퓰레이터는 Franka emika사의 Panda 플랫폼을 활용할 것이며, 문 손잡이를 잡기 위한 그리퍼는 3D 프린팅으로 직접 제작하여 매니퓰레이터 끝에 결합한다. 이후 카메라를 통해 문 손잡이를 인식하고 매니퓰레이터를 움직여 그리퍼로 문 손잡이를 파지한 뒤 회전시켜 문 손잡이를 돌린다. 이때 문 손잡이는 일자형과 원형 두 형태 모두에 대해서 파지 및 회전할 수 있도록 한다. 이후 모바일 로봇과 매니퓰레이터를 상호적으로 움직여 문을 연다. 이때 문은 당겨서 여는 문과 밀어서 여는 문에 대해 모두 고려하며, 특히 모바일 매니퓰레이터가 주변 장애물 혹은 문과 충돌하지 않도록 개발한다.

2. 개발 내용

1. 카메라를 통한 문 손잡이 인식 및 자세 추정

로봇 매니퓰레이터의 그리퍼로 문 손잡이를 잡고 회전시키려면 가장 먼저 로봇이 문의 손잡이를 인식하고 해당 위치로 이동하여야 한다. 이를 위해서 깊이 카메라(Depth Camera)를 활용할 예정이다. 먼저 카메라를 통해 획득한 이미지에서 이미지 처리 알고리즘(GHT) 혹은 딥러닝 학습 방식(YOLO)을 활용하여 문고리를 찾아낸다. 이후 이미지의 깊이(Depth) 정보를 이용하여 카메라를 기준으로 문 손잡이의 자세(Pose)를 추정한 후, 로봇 매니퓰레이터와의 캘리브레이션(Calibration)을 진행한다. 문고리 인식은 아래의 알고리즘을 이용해 진행할 계획이다.

GHT(General Hough Transform)을 이용한 문고리 인식

허프 변환 알고리즘의 확장된 형태인 GHT 알고리즘을 개선하여 다양한 형태의 문고리를 인식할 수 있다. 또한 외곽선 정보를 이용해 문고리를 인식하는 GHT 알고리즘의 단점을 보완하고, 인식률을 향상시키기 위해 기계학습의 일종인 SVM(Support Vector Machine)을 통해 생성된 분류기를 이용한다. 마지막으로 인식된 문고리의 위치에 확률 기법을 적용하여 문고리의 오인식에도 강인하게 문을 탐지할 수 있도록 한다. https://koreascience.kr/article/JAKO201008863882781.pdf

YOLO 딥러닝 학습을 이용한 문고리 인식

딥러닝 기반 객체 탐지 알고리즘으로는 고속 R-CNN, SSD, YOLOv4, YOLOv5 등이 있다. 기존의 검출 방법에 비해 견고성이 우수하고 정밀도가 높은 특성을 가지고 있는 YOLO를 사용하여 문 손잡이를 실시간으로 감지하도록 한다. 카메라를 통해 여러 개의 문 손잡이 사진을 캡처하고, ‘Make Sense’ 온라인 도구로 이미지에 레이블링(Labeling) 하여 문 손잡이 데이터 세트를 만든다. 이 모델은 서버에서 학습되고 훈련된 모델은 로봇이 문 손잡이를 탐지하는데 적용된다. Research on Door Opening Operation of Mobile Robotic Arm ...https://www.mdpi.com › pdf

2. 모바일 로봇 및 매니퓰레이터의 경로 계획 및 제어

해당 내용은 크게 2단계로 나뉜다. 첫 단계는 초기에 문 주변에 위치한 모바일 로봇이 문 손잡이를 잡을 수 있는 위치 및 자세를 취할 수 있도록 이동하는 단계이다. 이를 위해서는 맵(map)을 제작하여 모바일 로봇의 위치를 스스로 인지해야 하며(SLAM), 카메라와 라이다를 통해 문과 손잡이를 인식하여 ‘작업공간(Workspace)’ 영역 안에 들어와야 한다. 두 번째 단계는 작업 공간 범위에 진입한 후의 과정이다. 손잡이를 인식하면 매니퓰레이터의 그리퍼가 손잡이를 잡기 위해 이동한다. 그리퍼가 손잡이를 잡으면 손잡이를 돌린 후, 손잡이를 밀거나 당겨 문을 열게 된다. 문을 여는 과정에서 모바일 로봇의 몸체 또는 매니퓰레이터와 부딪치지 않도록 주의하여 경로 계획을 진행해야 한다. 특히 문을 미는 작업과 당기는 작업은 경로 계획의 방법론이 서로 다르게 계획된다. 이는 문을 당기는 경우에는 문과의 충돌을 더욱 고려해야 하기 때문이다. 이 때문에 매니퓰레이터를 동작시키는 동시에 모바일 로봇의 경로 계획을 진행하여 충돌을 피하고 미션을 수행하여야 한다.

로봇 위치 추정

모바일 로봇을 제어할 때 로봇의 정확한 위치를 알아야 충돌 없이 정밀하게 제어할 수 있다. 하지만 실내에서 진행되는 작업이기에 GPS와 같은 위치 추정 센서를 사용하기가 어렵다. 본 과제에서는 3D LiDAR를 기반으로 위치 추정 및 지도 작성 알고리즘인 SLAM을 활용하여 실내에서 로봇의 위치를 실시간으로 추정한다.

로봇 경로 계획 및 제어

로봇 경로 계획(Trajectory Planning)은 모바일 로봇과 매니퓰레이터를 각각 계획하는 경로계획 방법과 둘을 동시에 진행하는 다자유도 로봇의 경로 계획이 존재한다. 각 로봇의 경로 계획을 따로 하는 경우, 모바일 로봇의 경우는 A*, D* 알고리즘과 매니퓰레이터의 경우는 RRT* (Rapidly-exploring Random Tree) 알고리즘을 이용한 경로 계획 알고리즘이 주로 사용된다. 문 앞까지 도달하거나, 인식된 손잡이를 잡는 과정에서는 각각 로봇의 경로계획을 진행한다. 이렇게 결정된 경로는 제어 방식에 따라서 다르게 제어된다. 모바일 로봇의 경우 차량 동역학 기반의 바퀴의 회전 속도가 결정되며, 매니퓰레이터의 경우 역기구학 기반의 위치제어(Position Control)로 관절의 각도가 계산된다.

모바일 로봇과 매니퓰레이터를 합친 다자유도 로봇의 경로 계획은 문을 밀거나 당기는 과정에서 사용된다. 모바일 매니퓰레이터의 그리퍼의 위치를 계획함으로써 경로를 계획할 수 있으며 각각 계획하는 경로와 큰 차이가 없다. 그렇지만 제어 방식의 경우 같은 경로를 추종한다고 해도 자유도가 높기 때문에 이에 해당하는 여러 개의 자세(Configuration)가 존재하게 되어 남은 자유도(Redundant DoF)를 제어해야 하는 것이 주 해결과제로 남아있다. 추가적으로 그리퍼가 문고리를 잡고 있어 문이 회전함에 따라 모바일 로봇도 같이 움직여야 하는 문과의 상호작용이 존재한다는 점이다. 이는 매니퓰레이터에서 사용하는 방법인 힘제어(Force Control)을 이용하여 문제를 해결하려 한다. 일반적인 위치 제어를 통한 제어 방식은 모바일 로봇의 바퀴의 위치와 매니퓰레이터의 관절의 위치는 정할 수 있겠지만, 문을 연다는 동적인 상황에는 적합하지 않은 방식이다. 이에 비해 힘 제어는 문열기와 같이 외부 환경과 상호작용이 있는 상황에서 사용된다. 내부의 토크측정센서에 입력된 토크를 측정하여 원하는 토크를 출력할 수 있도록 모터를 제어한다. 결과적으로 여유 자유도를 제어하는 것과 힘제어를 사용하는 것이 모바일 매니퓰레이터를 제어하는 것에 있어 주요한 해결 과제이다.

3. 문고리 파지를 위한 그리퍼 설계 및 제작

문 손잡이를 파지하기 위한 그리퍼를 제작한다. 그리퍼는 ‘CATIA V5’를 이용하여 모델링하고 3D 프린팅으로 제작한다. 그리퍼의 구조는 물체와 맞닿는 집게부와 그 집게를 모터로 움직이게 하는 구동부로 나눠진다. 집게부의 경우 원형 문 손잡이와 일자형 문고리 두 가지를 모두 움켜쥘 수 있도록 그 형태를 설계한다. 또한 안정성을 가질 수 있도록 문 손잡이와의 닿는 면적을 크게 설계한다. 이후 문 손잡이를 회전시킬 때 미끄러지지 않을 수 있을 정도의 마찰력을 가질 수 있도록 고무나 실리콘과 같은 재료를 부착한다. 구동부는 모터의 출력을 제어할 수 있는 Franka Emika사의 Panda-Hand를 이용한다. Panda-Hand의 집게부를 새롭게 설계한 형태로 교체하여 문 손잡이를 안정적으로 파지할 수 있게 한다. 전체적인 그리퍼의 형상은 시중에 나와있는 제품을 참고하여 문을 여는 데에 가장 적합한 형태로 발전시켜 제작한다.

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용