2조-ㅋㅋ루핑퐁

프로젝트 개요

기술개발 과제

국문 : 훈련용 얼굴추적 탁구공 발사로봇 개발

영문 : Face-Tracking pingpong robot for training

과제 팀명

ㅋㅋ루핑퐁

지도교수

신동헌 교수님

개발기간

2022년 3월 ~ 2022년 6월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20154300** 남**수(팀장)

서울시립대학교 기계정보공학과 20164300** 현*윤

서울시립대학교 기계정보공학과 20194300** 워**전

서론

개발 과제의 개요

개발 과제 요약

전 세계적으로 AI 산업이 도래하고 있다. 그 중에서도 AI 사물인식 기술은 로봇이 주변상황을 인식하고 제어하는데 매우 중요하게 활용된다. 로봇 관련산업의 성패는 AI 사물인식 기술에 달려있다고 해도 과언이 아니다. 본 과제에서는 사물인식 기술 중에서도 사람 얼굴을 인식하는 인공지능모델을 이용하여, 사용자의 얼굴을 따라가며, 탁구공을 발사하는 로봇을 개발하는 것이 목적이다.

개발 과제의 배경

지난 50년간 로봇기술은 비약적인 발전을 지속해 왔으며 최근 인공지능 및 ICT기술의 발전과 고령화, 삶의 질 향상을 요구하는 사회적 수요에 대응하여 제조 및 서비스 전 분야에서 활용이 폭발적으로 확대되기 시작하고 있다.

로봇의 활동 범위와 영향력은 매우 확대되고 있다. 실제로 인간의 곁에서 힘들고, 더럽고, 위험한 일을 대신하거나 단순하고 반복적인 동작을 수행해왔던 로봇이, 이제는 스스로 차량을 운전하고, 주식을 매수하며, 환자를 진단하는 등 인간의 일상적인 생활에 깊숙이 들어와 있다. 이와 더불어 로봇은 경제, 제조기술, 직업, 교육, 비즈니스, 복지 등에 이르기까지 사회 전반적인 분야에서 패러다임을 변화시키고 있으며, 이의 결과는 곧 우리들 앞에 나타나게 될 것이다.

이러한 로봇산업의 최근 동향은 인공지능의 발전과 매우 연관 되어있다. 2015년부터 최근에 이르기까지, 딥러닝으로 대두되는 인공지능의 성능이 인간의 수준에 가깝거나, 뛰어넘어버렸다. 사진을 보고 이것이 어떤 물체인지를 인식하는 인공지능은 이제 사람보다 더 잘 판단할 수 있다. 인공지능의 발달로 로봇을 작동시키는 알고리즘의 성능이 발전하면서, 로봇산업은 새로운 국면을 맞이하게 되었다.

시중에 판매되고 있는 탁구공 발사 로봇은 불편한 점이 많다. 탁구공 도달 위치를 정하기 위해서 버튼으로 위치값을 입력해줘야 한다. 그리고 위치를 바꿔가며 발사하는 경우에는, 위치를 바꾸는 주기도 일일이 버튼으로 값을 입력해줘야 한다. 이런 경우에, 사용자는 탁구공 도달 위치를 변경해야 할 때마다, 로봇이 있는 곳으로 갔다와야 한다. 기존의 탁구공 발사 로봇을 사용할 때, 이러한 시간적인 비용이 발생할 수 밖에 없다.

그리고 이러한 탁구공 발사 로봇을 개인적으로 제작한 인터넷 동영상들을 살펴보면, 모두 시중에 판매되고 있는 탁구공 발사 로봇의 불편함을 그대로 가지고 있다. 탁구공 도달 위치가 고정되어 있고, 이를 변경하기 위해서는 수동으로 각도를 조절하거나, 버튼으로 조절하는 형태로 제작되었다. 시중에 판매되고 있는 탁구공 발사로봇과 개인이 제작한 탁구공 발사 로봇 모두, 기본적으로 사용자의 위치를 고려하지 않고, 정해진 방식으로 반복적인 동작만을 수행한다. 이러한 방식에서 탈피해서, 사용자 위치를 추적하여, 환경에 능동적으로 반응하는 탁구공 발사 로봇이 필요하다. 그리고 이는 틈새시장으로서 새롭게 노려볼만한 제품이 될 수 있다고 생각한다.

또한, 현재 기술적으로 카메라를 이용하여 사람의 얼굴을 실시간 추적하는 기술은 완성되어 있다. 그리고 이를 구현하는 것은 큰 비용이 필요하지도 않을 것으로 예상된다. 이를 활용하면, 사람의 반복적인 로봇 조작도 줄일 수 있고, 시간적인 비용도 아낄 수 있을 것이다. 본 과제에서는 로봇산업의 동향에 맞춰, 인공지능 기술을 이용하여, 값비싼 라이다나 초음파센서 대신, 대중적으로 널리 사용되는 2D 카메라만을 이용하여, 발사로봇이 사람의 얼굴을 인식하고, 이를 추적하게 할 것이다. 그리고 이 기능을 활용하여, 탁구 플레이어를 실시간 추적하며 탁구공을 발사하는 로봇공학적 목적을 달성해보고자 한다.

개발 과제의 목표 및 내용

1. 개발 과제의 목표

사용자가 직접 설정하여 정해진 방식으로만 수행할 수 있던 기존의 수동적인 제품과는 차별화된 사용자 얼굴 추적 탁구공 발사 로봇을 개발한다. 이를 위해 딥러닝 기술인 AI 얼굴 인식을 오픈 소스 라이브러리인 OpenCV 모듈과 Raspberry Pi 카메라 모듈을 통해 얼굴 탐지 알고리즘을 구현하고 Raspberry Pi 개발 환경에서 서보모터를 제어하여 탁구공 발사 로봇이 사용자의 위치로 따라갈 수 있도록 한다.

2. 개발 과제의 내용

• 1) 카메라와 OpenCV를 이용한 실시간 사용자 얼굴 추적

본 과제는 얼굴 탐지 알고리즘 Cascading classifiers를 구현하고 적용하기 위해 Raspberry Pi 개발 환경에서 수행한다. 사용자의 얼굴을 실시간 영상으로 데이터를 받고 식별하기 위해 Raspberry Pi 용 카메라인 Raspberry Pi Camera Module을 사용한다.

그림 1. Raspberry Pi Camera Module

OpenCV를 이용한 얼굴 탐지 알고리즘 Cascading classifiers를 python 환경에서 구현한다. 우선 알고리즘 프로그래밍에 필요한 Numpy, OpenCV, Matplotlib 라이브러리들을 import 한다. 이후 OpenCV의 haarcascades 파일에 있는 haarcascade_frontalface_default.xml 파일을 이용하여 카메라에서 받은 정보로 사용자의 얼굴을 탐지한다. 위의 과정을 통해 얻은 데이터로 cv2.VideoCapture와 반복문을 통해 실시간으로 카메라가 얼굴을 탐지할 수 있도록 프로그래밍한다.

• 2) 탁구공 발사대 설계

탁구공 발사대는 Catia V5 모델링을 통해 3D 프린팅으로 제작한다. 탁구공 발사대의 구조는 모터가 들어가는 파트 3가지로 나눌 수 있다. 탁구공 바스켓, 탁구공 발사대, 탁구 로봇 방향 제어 부분이다. 먼저 탁구공 바스켓은 탁구공 바스켓 내부의 판이 회전하면서 탁구공을 일정한 주기로 발사대로 전달하는 역할을 한다. 다음 파트인 탁구공 발사대는 한 개의 모터를 이용하여 탁구공과의 마찰력을 이용하여 발사하고 모터의 토크를 제어하여 탁구공의 궤적을 설정한다. 마지막으로 탁구 로봇 방향 제어부는 서보모터를 Raspberry Pi 환경에서 제어하여 사용자의 위치로 공의 발사대가 향할 수 있도록 설계한다. 전체적인 형상은 실제 제품인 METCO BY KTR Table Tennis Robot의 형태를 모티브로 제작한다.

그림 2. METCO BY KTR Table Tennis Robot

• 3) 탁구공 발사 방향조절을 위한 펜-틸트 시스템

그림 3. Pimoroni, 라즈베리파이용 pan-tilt hat 키트 (예시)

그림 4. Kinematics of Pan-Tilt system

탁구공을 발사할때, 발사방향을 결정하는 모듈이다. 이때 서보모터를 이용하는데, 서보모터의 회전각에 따라 탁구공의 발사방향이 결정된다. 서보모터는 총 2개를 사용한다. 서보모터 하나는 발사방향의 수평방향을 결정하고, 나머지 하나는 발사발향의 수직방향을 결정한다. 발사방향을 어디로 향하게 할지 판단하는 것은 일차적으로 카메라 얼굴추적을 기반으로 한다. 카메라 화면의 중앙좌표와 탐지된 사람얼굴의 중앙좌표와의 변위를 이용해서, 이 값이 0에 수렴하도록 서보모터를 제어한다. 구체적으로는 라즈베리파이의 GPIO 핀을 이용하여 서보모터를 작동시킨다. 제어코드는 파이썬언어를 기반으로 하고, 서보모터 제어는 PID제어 중 P제어만을 사용한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

1. 전 세계적인 기술현황

• 1) 탁구공 발사로봇

탁구공 발사로봇이란 모터 구동으로 탁구공과 모터사이의 마찰력을 이용하여 탁구공을 발사하는 로봇을 의미한다. 일반적으로 2개의 모터를 이용하는 피칭머신의 원리로 탁구공의 스핀이나 발사 방향을 제어하는 제품들이 주류를 이루었고 소수의 practice partner 20같은 제품만이 1개의 모터를 이용하여 탁구공을 발사하는 제품이 시중에 존재했다. 제어 방식 또한 유선 컨트롤러가 주류였다. 2018년에 개발된 ipong trainer motion 제품을 시작으로 무선 방식의 컨트롤이 점차 상용화 되었고 2019년에 개발된 butterfly 사의 amicus prime을 최초로 3개의 원판을 이용한 제어를 통해 다양한 탁구공 발사 궤도나 스핀들을 구현할 수 있게 되었다.

그림 5. amicus prime/ipong trainer motion

현재 개발된 제품 중 가장 진보된 기술을 집약한 power pong 사의 power pong omega 모델은 3개의 모터에 연결된 원판을 각각 제어하여 탁구공의 스핀 형태, 탁구공 발사 주기, 탁구공 발사 속도, 탁구공의 도달 위치까지 제어할 수 있고 제어 방식 또한 회사 자체 개발의 앱을 이용하여 탁구 발사 로봇을 설정할 수 있다.

그림 6. power pong omega 제품

• 2) 객체탐지 (object detection)

본 프로젝트에서는 사람 얼굴을 추적하여 탁구공을 발사하는 기능을 구현한다. 사람 얼굴을 추적하는 기능을 구현하기 위해서, 객체탐지 기술을 활용하였다. 따라서 객체탐지 기술에 대해 설명하고자 한다. 객체탐지 (object detection) 기술은 주어진 이미지 안에 어떤 물체가 있는지 파악하고 그것의 위치를 찾는 기술이다. 컴퓨터비전 기술의 중요한 기반이 되는 기술로서, 더 복잡한 기술인 의미론적 분할(sementic segmentation) 과 물체추적(object tracking), 그리고 이미지를 보고 문장을 만들어내는 이미지 캡셔닝(image captioning) 기술 등의 기초가 되는 기술이다. 객체탐지 (object detection) 기술은 매우 다양한 분야에 활용된다. 구체적으로는 로봇의 시각지능, 일반 가전제품, 방범시스템, 자율주행차, 인간-컴퓨터 상호작용, 지능형 비디오 감시시스템, 증강현실 등에 활용된다. 객체탐지 기술의 역사는 2000년대 부터 시작되었으며, 최근 2015년 이후 딥러닝(deep learning) 기술의 발전으로 객체탐지 기술의 성능이 매우 크게 향상되었다. 객체 탐지를 하기 위해서 입력 이미지 데이터로부터 특징을 추출하여 이것이 어떤 사물인지를 판단하는 알고리즘이 구현되어야 한다. 이때 입력 이미지 데이터로부터 특징을 추출하여 판단하는 알고리즘은 작동방식에 따라 3가지로 구분된다. 이 3가지 방식에 대해서 아래에서 설명하고자 한다.

• • 2) – 1 객체탐지를 위한 방식상의 분류

그림 7. 주어진 이미지로부터 특징을 추출하는 방법

사람 얼굴 이미지에서 사람 얼굴이 특정 위치에 있다는 것을 인식하는 프로그램을 구현한다고 해보자. 굉장히 다양한 모양의 얼굴 이미지를 보고 이것이 사람 얼굴인지 아닌지를 알아 맞추고, 어디에 위치하는지 찾는 프로그램을 구현하는 것이 목표이다. 그런데 이 모든 것을 수행하는 알고리즘을 사람이 직접 설계하는 것은 엄청 어려운 문제다. 사람의 두뇌는 그것을 매우 쉽게 알아채지만, 그 과정을 컴퓨터가 수행할 수 있도록 직접 설계하는 것은 매우 어렵다. 따라서 이러한 알고리즘을 사람이 직접 설계하지 말고, 데이터를 활용하여 자동으로 알고리즘을 만들어내는 방법이 있다. 주어진 이미지에서 특징(feature)을 추출하고 얻어낸 특징들을 기계가 학습하는 방법이다. 이때 어떤 특징들을 추출할지를 사람이 결정하면 기계학습 방식이 되고, 어떤 특징을 추출할지도 기계가 알아서 찾아내는 방식으로 작동시키면 딥러닝 방식이 된다.

정리하자면, 객체 탐지를 위한 방식은 3가지가 된다. 첫번째 방식은 사람이 직접 설계한 알고리즘 방식이다. 이미지로부터 객체를 인식시키기 위해서, 조건문과 반복문을 직접 프로그래밍하여 알고리즘을 만드는 방식이다. 이는 매우 어렵고, 성능도 매우 좋지 않다. 두번째 방식은 기계학습 방식이다. 기계학습 방식은 주어진 이미지로부터 특징을 추출하고, 추출한 특징값들을 가지고 인공지능이 학습하여 객체를 판단하도록 만든 방식이다. 이때 이미지로부터 특징을 추출하는 방법은 kernel 이라고 하는 특징추출기에 의해 결정되는데, 기계학습 방식은 이 kernel 의 크기는 어떻게 할지, 그리고 kernel 안의 값들은 어떻게 할지 사람이 직접 결정하고 설계한다. 세번째 방식은 딥러닝 방식이다. 딥러닝 방식은 기계학습 방식과 마찬가지로, 주어진 이미지로부터 특징을 추출하고, 추출한 특징값들을 가지고 인공지능이 학습하여 객체를 판단하도록 만든 방식이다. 다만, 이때 kernel 이 가지고 있는 값들을 사람이 결정하고 설계하지 않는다. 딥러닝 방식에서는 데이터학습을 통해서 스스로 kernel 의 값들을 결정한다.

그림 8. 기계학습 방식과 딥러닝 방식의 차이

• • 2) – 2 haar cascade 방법

본 프로젝트에서는 비교적 작고 값싼 임베디드 보드인 라즈베리파이를 사용하기 때문에, 객체탐지 기술 중에서 연산량이 많이 필요한 기술은 활용하기 어렵다. 따라서 본 프로젝트에서는 저사양의 임베디드 보드에서 비교적 적은 연산으로 작동시킬 수 있는 간단한 객체탐지 기술을 활용해야 한다. 그러한 대표적인 기술로 haar cascade 가 있다. 본 프로젝트에서는 이 기술을 활용하려고 한다. haar cascade 는 기계학습 기반의 객체탐지 기술이다. 2001년에 나온 “Rapid Object Detection using a Boosted Casade of Simple Features”라는 논문에서 Paul Viola 와 Michael Jones 가 제안한 특징(feature) 커널을 기반으로 이미지로부터 객체를 검출하는 기술이다. 직사각형 영역으로 구성되는 특징커널을 사용했기 때문에 동작속도가 빠르다는 장점이 있다.

그림 9. haar cascade 특징(feature) 커널(kernel)

그림 10. haar cascade 특징 커널의 타켓 위치

구체적으로 이 알고리즘은 4가지 단계로 구성되어 있다.

(1단계) Haar Feature Selection

(2단계) Creating Integral Images

(3단계) Adaboost Training

(4단계) Cascading Classifiers

1단계의 Haar Feature Selection 은 haar feature 라는 설계된 특징 커널로 주어진 이미지로부터 특징값들을 구하는 단계다. 2단계는 위 1단계를 빠르게 수행하기 위한 방법이다. 3단계는 얻어낸 특징값들 중에서 의미있는 값들만을 골라내는 과정이다. 4단계는 위의 1~3단계의 과정을 계층의 깊이마다 다른 속도로 수행하도록 하는 방법이다. 깊이가 깊은 계층일수록 해당 특징 영역이 얼굴영역인지를 판단하는데 더 많은 시간을 할애하도록 하는 방식으로 작동한다.

이미지로부터 특징을 추출하는 kernel 은 위 그림5 과 같이 세가지가 있다. 모두 정사각형 또는 직사각형 모양의 kernel 이라는 것을 확인할 수 있다. kernel 에서 하얀색에 해당하는 셀들의 값은 1의 값을 가지고, 검은색에 해당하는 셀들은 0 의 값을 가진다. 이러한 kernel 들이 이미지 위를 지나가면서, 해당 위치에서 이미지를 구성하는 셀들의 값들과 kernel를 구성하는 셀들의 값들이 1대1로 매칭되어, 곱하기 연산이 이루어지고, 이 곱한 값들을 모두 합한 값이 하나의 특징(feature)값이 된다. kernel 이 이미지 위를 지나가면서 이러한 연산이 반복되면서, 특징(feature)값들을 만들고, 이렇게하여 구한 특징(feature)값들이 모여 feature map 을 이루게 된다. 그림 5 의 (a) 에 소개된 kernel 은 이미지 내에서 수직 경계선을 잡아내는 kernel 이고, 사람 얼굴의 왼쪽과 오른쪽 뺨의 특징을 추출하는데 적합하다. 따라서 왼쪽과 오른쪽 뺨을 인식하는데 관여한다. 그림 5 의 (b)에서 왼쪽에 소개된 kernel 은 사람의 코의 특징을 추출하는데 적합하며, 사람의 코를 인식하는데 관여하는 kernel 이다. 그림 5 의 (b)에서 오른쪽에 소개된 kernel 은 사람의 눈의 특징을 잘 잡아내며, 사람의 눈을 인식하는데 관여한다. 한편, 그림 5 의 (c) 에서 소개된 kernel 은 모서리의 특징을 추출하는데 적합하며, 사람의 얼굴에서 모서리를 인식하는데 관여한다.

• • 2) – 3 opencv 라이브러리

그림 11. opencv 라이브러리 로고

이번 프로젝트에서 haar cascade 를 구현하기 위해서 opencv 라이브러리를 이용했다. 왜냐하면, opencv 라이브러리에는 haar cascade 가 이미 구현되어있으며, opencv 라이브러리는 매우 빠르고 효율적인 라이브러리이기 때문이다. 탁구공 발사로봇은 실시간으로 작동하기 때문에 빠른속도와 효율성이 중요하다. 따라서 opencv 라이브러리가 본 프로젝트에 적합하다고 판단했다. opencv 는 실시간으로 작동하는 컴퓨터비전 시스템을 구현하기 위한 라이브러리로 인텔이 개발했다. 빠른속도와 효율성이 opencv 라이브러리의 장점이다. opencv 는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다. C / C++ 프로그래밍 언어로 개발 되었다. 주로 활용되는 곳으로는 인간-컴퓨터 상호작용 분야, 객체 탐지 분야, 안면인식 분야, 모바일 로보틱스 분야 등이 있다. opencv 는 윈도우와 리눅스 등 여러 플랫폼에서 쉽게 사용할 수 있으며, 일반인은 무료로 사용할 수 있다.

• 3) 서보 모터

• • 3) – 1 서보 모터 정의 및 서보 모터 제어 원리

서보 모터란 정보처리회로(cpu)의 명령에 따라 물체의 위치, 방위, 자세, 회전 속도, 가속도 등을 제어량으로 하고 목표치의 변화에 뒤따르도록 구성된 자동제어계의 서보 시스템 중 조작부에 해당하는 모터를 칭한다. 서보 모터는 일반 모터와 달리 빈번하게 변화하는 위치나 속도에 대한 정보처리회로의 명령을 신속하고 정확하게 이행할 수 있는 구조를 가지고 있다. 서보 모터는 다양한 구조로 발전되어 왔으며 그 구조와 원리에 따라 세분화가 가능하다. 현대에 이르러 일반적으로 사용되는 대중적인 모터는 5가지로 DC 모터, AC 모터, BLDC 모터, 스텝 모터, 디지털 서보 모터로 나눌 수 있다. 그 중 로봇 제어 부품으로 각광받고 있는 디지털 서보 모터가 본 프로젝트에서 사용된다.

그림 12. 서보 모터 제어 루프 구성 블록도

일반적으로 서보 모터의 제어는 토크 제어 시스템, 속도 제어 시스템 그리고 위치 제어시스템으로 구분된다. 전체적인 구조를 설명하자면 입력신호에 대하여 검출센서로 신호값을 연산하여 제어 연산 증폭기에 의한 제어 신호를 생성하고, 이를 전력 변환기로 변환하여 서보 모터에 공급함으로 그 제어가 이루어진다. 앞서 언급한 세가지의 서보 모터 제어 시스템의 원리는 다음과 같다. 먼저, 전류 제어 시스템에 해당하는 전류 제어 루프(토크 제어 루프)는 서보 모터에 인가되는 전류를 검출하여, 이를 다시 토크 명령과 비교하여 다시 인버터를 통해 서보 모터에 전류를 인가로 하는 형태로 서보 모터 전체를 포함하지 않은 Open-Loop 제어이다. 따라서 토크 제어는 서보 모터에 주어지는 부하량에 관계없이 일정한 전류를 모터에 공급함으로 서보 모터에서는 일정한 토크가 발생된다. 속도 제어 루프는 서브 모터를 일정한 속도로 회전시키는 제어를 말하며 제어 루프에 입력되는 속도명령에 대하여 서보 모터의 출력에서 검출되는 검출속도의 편차를 제어연산 증폭기를 통하여 토크 제어 루프의 명령으로 주어진다. 동시에 서보 모터에 인가되는 토크를 제어함으로, 속도명령에 비례하는 속도출력을 갖도록 제어한다. 그림 1에서 볼 수 있듯이 서보 모터의 속도 제어는 전류 제어 루프와 서보 모터를 포함한 Closed-Loop 형태이다.

마지막으로 토크 제어 루프와 속도 제어루프를 내부에 포함하는 구조로 위치명령이 주어지면 검출센서와 검출 증폭기로부터 나오는 속도신호를 위치연산을 하여 위치 제어신호로 변경하여 오차를 연산하고 제어연산 증폭기를 통하여 속도 제어 루프로 전달한다. 이러한 서보 모터의 제어구조는 전류에 의하여 모터를 회전시키고 검출센서를 통해 되돌아오는 신호와 기준신호를 비교 연산하여 오차를 빠른 시간내에 최소화하여 정밀한 제어를 가능하게 한다.

• • 3) - 2 PWM(pulse width modulation) 제어

PWM(펄스 폭 변조) 제어는 전압 제어 방식으로 일정한 주기에서, 출력이 필요로 하는 만큼의 전력을 스위치를 켜서 입력으로부터 공급받는다. 즉, 출력전력에 따라 on/off의 비율, 듀티 사이클(duty cycle)이 달라진다. 일반적으로 디지털 서보모터를 아두이노나 라즈베리파이 모듈을 이용하여 위치를 제어하는데 쓰이는 제어 기술이다.

그림 13. on/off 시간 비율에 따른 duty cycle

그림 14. PWM 제어를 활용한 서보모터 위치 제어 방법

2. 특허조사 및 특허 전략 분석

전반적으로 탁구공 발사로봇에 대한 강력한 권한을 가진 특허는 보이지 않는다. 본 프로젝트에서 채택하여 탁구공 공급부에 제작할 모델이 탁구공 발사장치의 공 투입부 (출원번호 : 2020140003502)의 아이디어와 유사하나 특허법 제29조제2항에 따라 거절되었기 때문에 프로젝트를 진행하는데 큰 영향은 없을 것으로 예상된다. 또한, 각도와 높이를 조절할 수 있는 탁구공 발사장치에 해당하는 특허 탁구공 자동 발사장치(출원번호 : 1020020023970)는 법적 상태로 소멸된 상태로 각도와 높이를 조절하는 탁구공 발사대를 제작하는데 문제가 없을 것이다. 하지만 탁구공 발사 장치(출원번호 : 1020110127084)는 등록이 되어 있는 상태로 프로젝트 진행에 있어 가장 크게 영향을 끼칠 것으로 보인다. 특허 출원에 있어 상기의 특허와 충돌하지 않기 위해 탁구공 발사대의 회전 원판을 1개로 만드는 등 구조의 차별성을 둘 필요성이 있다.

딥러닝기술의 발전 시기와 비슷하게, 객체탐지 기술에 관한 특허는 2010년대 이후에 많이 등장했다.

2013년에 출원된 HOG 특징 방식의 객체탐지기술 특허 (출원번호 : 1020130119953) 는 등록료 불납으로 소멸되어 HOG 방식의 객체탐지를 이용한 검출기는 법적문제 없이 사용가능해졌다. 2015년에 출원된 객체 인식/탐지 장치에 관한 특허(출원번호 : 1020150116257) 는 카메라 및 레이더 센서를 통한 이동객체를 인식하는 탐지장치에 관한 특허로서 현재 법적 상태는 등록중이며, 강력한 특허권로 보이며, 카메라와 레이더 센서를 이용하여 이동객체를 탐지하는 장치를 상업적으로 사용하는 경우, 이 특허에 저촉되는 문제가 발생할 수 있을 것으로 보인다. 한편, 2016년에 출원된 이미지 내의 물체 인식 시스템 및 방법에 관한 특허 (출원번호 : 1020160117198)는 현재 법적 상태는 공개되어 있다. 따라서 컨볼루셔널 신경 네트워크와 페이스 정렬 회기 네트워크 등을 활용한 객체탐지 네트워크 자체는 법적인 문제없이 사용 가능할 것으로 보인다. 마지막으로, 2018년에 출원된 객체 인식 기반 영상 인증 방법 및 그 장치에 관한 특허 (출원번호 : 1020180082500) 는 객체탐지 자체에 대한 특허가 아니며, 객체 탐지를 활용하여, 객체인식에 대한 정보에 디지털서명을 생성하여 객체 영상에 대한 암호화 인증에 관한 특허로서 본 프로젝트의 내용과는 충돌할 가능성이 낮아 보인다.

본 프로젝트에 진행에 있어 구동부위에 해당하는 서보모터 구동에 관한 특허 중 가장 관련도가 높은 3가지를 선정하여 조사하였다. 우선 2014년에 출원된 얼굴영상정보를 이용한 졸음방지시스템 및 이의 구동방법 (출원번호 : 11020140134990)는 법적 상태로 등록되며 조사한 특허로는 가장 먼저 등록된 특허로 조사한 특허권 중 가장 높은 효력을 갖고 있는 특허이다. 또한 프로젝트의 핵심 기술인 객체탐지를 이용한 서보모터 구동 제어에 해당하는 강력한 특허권으로 특허 출원 진행에 있어 본 특허와는 차별화된 목적의 방향성을 가지는 전략으로 출원할 필요할 것으로 보인다. 그 예로 조사한 2017년애 출원된 조사한 보안을 강화시킬 수 있는 지능형 타겟 추적 시스템 (출원번호 : 1020170024399) 은 법적 상태로 취하된 상태로 개발의 방향성이 달라 2014년에 출원된 특허권과 출동이 없이 출원이 가능한 것으로 보인다. 하지만 가장 최근에 출원 시도된 서보모터를 이용한 자동 얼굴 추적 셀카 장치(출원번호 : 1020180111961)는 특허법 제29조제2항에 따라 거절된 것으로 보아 개발의 방향성 외에도 기술의 전문성 또한 고려하여 특허 출원을 진행해야 할 것으로 예상된다.

• 특허전략

특허조사 결과, 2015년에 출원된 객체 인식/탐지 장치에 관한 특허(출원번호 : 1020150116257) 는 현재 법적 상태는 등록중이며, 강력한 특허권로 보이며, 카메라와 레이더 센서를 이용하여 이동객체를 탐지하는 장치를 상업적으로 사용하는 경우, 이 특허에 저촉되는 문제가 발생할 수 있을 것으로 보인다. 따라서 이 특허를 우회하는 방법으로는 카메라의 실시간 영상을 사용하여 이것을 통해 이동객체를 탐지하는 방식을 사용하지 않고, 1초 이상의 일정한 시간 간격으로 사진을 찍고 얻어낸 정지된 사진을 통해, 사람의 얼굴을 탐지하는 방식으로 작동방식을 바꾸면 해당 특허권을 우회할 수 있을 것으로 보인다.

한편, 특허조사 결과, “탁구공 발사로봇을 위한 객체탐지 장치”에 관한 특허는 없는 것으로 보인다. 따라서 이에 대한 새로운 특허를 출원할 수도 있을 것으로 보인다. 다만, 발명에 대한 내용을 단순히 “객체탐지 기술을 이용하여 사람이 있는 방향으로 발사한다”는 포괄적인 내용으로만 청구항을 구성한다면, 발명의 진보성이 인정되기 어려워보이며, 이 경우 특허거절통지를 받을 수도 있을 것으로 보인다. 발명의 진보성이란, 당해 기술분야에서 통상의 지식을 가진 자가 선행기술(종래 기술)에 의하여 그 발명을 용이하게 발명할 수 없는 것을 의미하기 때문에, 일반적인 기술자가 구현하기 어려운 요소를 청구항에 기재해야 할 것으로 보인다. 따라서 카메라 및 레이더 등의 장치를 통해 얻은 영상으로부터, 객체를 인식하고, 인식된 객체의 특징으로부터 장치와 객체와의 거리 및 각도등을 연산을 통해 추출하는 연산부 및 이에 따른 발사기를 제어하는 제어부를 포함한다는 내용을 청구항에 추가하면 특허 출원시에 발명의 진보성이 인정될 수 있을 것으로 보인다.

3. 기술 로드맵

탁구공 발사로봇

객체탐지 (object detection)

서보 모터(servo motor)

시장상황에 대한 분석

• 경쟁제품 조사 비교

• butterfly amicus prime

그물망이 없어 적재량이 120개라는 비교적 적은 적재량을 갖고 있고 국제 표준 탁구대 기준으로 탁구 로봇과 탁구대의 탈부착이 쉽다. 태블릿을 통해서 21가지의 훈련 코스 중 하나를 설정할 수 있다. 또한 사용자가 탁구공 스핀, 발사 주기, 발사 속도, 도달 위치, 미리 쓰는 손에 따라 커브를 다르게 해주는 등의 설정이 가능하다. 하지만 임의로 설정하기 위해서 처음 구매한 사용자들이 이용하기에는 불편하며 설정하고 다시 변경하는데 어려움을 겪을 수 있다. 국내 구매 사이트에서는 구매가 불가능 하므로 국내 이용자들은 해외 직구나 구매 대행 사이트에서 수수료를 내면서 구매를 진행해야 한다.

• power pong omega

Butterfly 사의 제품과는 다르게 태블릿과 회사의 독자적인 스마트폰 앱을 통해서 99가지의 훈련 코스를 설정할 수 있다. 앞의 제품 보다 다양한 스핀과 훈련코스 설정이 가능한 제품이다. 그물망이 있어 탁구공을 사람이 다시 로봇에 넣어줄 필요가 없으며 탈부착과 조립이 어려우며 총 무게는 12kg으로 가볍지 않다. 또한 Butterfly 사의 제품처럼 국내 구매가 불가능하다.

• ipong trainer motion

제품의 특징으로 3단 조립에 가벼운 무게로 휴대하기에 용이하다. 리모컨으로 간단하게 탁구공의 발사 주기, 발사 속도, 두 가지의 스핀을 제어할 수 있다. 위의 두 비교 제품과는 다르게 20만원이 넘지 않는 저렴한 가격이며 국내 구매 사이트로 구매할 수 있어 국내 사용자들이 구매하고 판매하는데 용이하다. 하지만 앞선 두 제품에 비해 제어할 수 있는 범위가 매우 적으며 사용자가 임의로 설정을 할 수 없다는 단점이 있다.

• JT-A

타 제품들에 비해 이용자에게 쉬운 탁구공 발사 설정과 느린 발사 속도로 탁구 훈련에 초심자들에게 추천되는 제품이다. 사용 법이 간단하기 때문에 해외 제품임에도 불구하고 국내 구매 사이트에서 활발하게 구매가 이루어지는 경쟁력 높은 제품이다.

• practice partner 20

이 제품은 전체적인 구조가 간단하기 때문에 제품의 불량이나 망가짐이 적고 수리 또한 쉽다. 하지만 다른 제품과 다르게 1개의 모터 만이 탁구공 발사를 제어한다. 따라서 탁구공의 스핀 발사속도, 도달위치 등을 정밀하게 제어하지 못하는 단점이 있다. 비교적 비슷한 크기인 ipong trainer motion과 비교하여 9kg이라는 크기 대비 무거운 제품에 속한다.

• 마케팅 전략 제시

SWOT 분석

1) Strengths

간단한 구조의 로봇을 제작하므로 비교적 저렴한 탁구공 발사로봇의 제작이 가능하다. 객체탐지 기술을 이용하므로 사용자가 임의로 설정하지 않아도 사용자 기반 구동이 가능하다. 서보 모터를 이용하므로 구동의 고장 가능성이 낮고 피드백 제어가 즉각적으로 일어나므로 실시간으로 움직임이 가능하다. 가벼운 부품들을 사용하므로 휴대하기 좋으며 탈부착식이 아니므로 설치 또한 용이하다.

2) Weaknesses

본 프로젝트는 3D 프린터를 이용하여 탁구 발사대 부분을 출력하고자 한다. 이에 따른 내구도의 약점과 파손의 가능성이 있다. 객체 탐지 기술에 의존하는 로봇으로 카메라 환경에 따른 이미지 인식 오류에 취약하다.

3) Opportunities

객체탐지는 이미 많이 개발되고 진행되는 기술로 실제 제품에 적용하여 사용하는데 용이하다. 객체탐지 탁구공 발사로봇은 아직까지는 개발되지 않은 상황으로 본 프로젝트의 특허 관련으로 이점이 있다. 본 프로젝트의 주요 경쟁 제품들 중 사용자가 임의로 설정할 수 있는 탁구공 발사 로봇들은 가격이 비싸며 국내 구매 사이트로 살 수 없어 경쟁력이 떨어진다.

4) Threats

인공지능 스포츠 로봇 시장은 시장중에 그 규모가 작으며 그 중에서도 탁구 발사 로봇을 이용하는 한정적인 수요 고객층을 상대한다. 또한 현 시장의 경쟁제품에 비해 설정할 수 있는 탁구공 발사 스핀, 위치 등 수행 능력이 부족하다.

개발과제의 기대효과

기술적 기대효과

• 일반 가전 제품류 객체탐지 기술적용의 대표적 사례

탁구공 발사로봇의 크기는 대략 통상적인 소형 가전제품 정도에 해당한다. 기존에 객체탐지 기술이 일반 가전제품에 적용된 사례가 거의 없다. 제품 생산자 입장에서는, 객체탐지 기술을 제품에 적용했을때, 일반 소비자 시장에서 수익을 기대하기는 아직 어렵다고 판단하는 것으로 보인다. 본 프로젝트에서 탁구공 발사로봇에 객체탐지 기술이 성공적으로 적용된다면, 이후에 소형 가전 제품류에서 본 프로젝트를 벤치마킹하여 객체탐지 기술이 적용된 다양한 제품 사례가 나타날 수 있을 것으로 보인다. 본 프로젝트는 일반 가전 제품류에서의 객체탐지 기술적용의 대표적인 사례가 될 수 있다.

• 탁구공 발사 로봇의 지능화

그간의 탁구공 발사 로봇이 갖고 있던 비용적 한계를 극복하고, 더 소형화되고, 휴대성이 편리해진 탁구공 발사로봇이 등장할 수 있을 것으로 보인다. 기존의 매우 크고, 옮기기 어려웠던 탁구공 발사로봇 제품의 트렌드가 바뀔 수 있을 것으로 보인다. 한편, 인공지능을 통해 지능화되어, 사용자가 직접 탁구공 도달 위치를 조절하지 않아도, 자동 조절이 되는 편리한 제품이 많이 등장할 수 있을 것이다.

경제적, 사회적 기대 및 파급효과

객체인식기술을 적용한 탁구공 발사로봇이 성공적으로 판매되고 다른 제품들에 벤치마킹 된다면, 경제적으로 객체인식 기술 발전에 대한 사회적인 투자가 더 많이 이루어질 수 있을 것으로 보인다. 또한 객체 인식 기술을 일반 가전 제품 전반에 걸쳐 활용하기 위한 산업적 분위기가 형성될 수 있다. 왜냐하면, 성능만 확실하다면, 객체인식 기술은 다양한 곳에 활용될 수 있기 때문이다. 예를 들어, 모기를 추적하여 퇴치하는 모기 퇴치 로봇을 만드는데 객체탐지기술이 활용될 수 있다. 또한, 집안 잡동사니 정리 로봇을 만드는데 객체탐지기술이 활용될 수 있다. 이런 분위기가 형성되면, 서비스로봇 시장도 세탁기나 냉장고 및 에어컨과 같은 생활가전제품 시장만큼 큰 시장으로 확대될 것으로 기대된다. 더 궁극적으로는 스마트폰과 객체탐지기술 및 로봇기술이 융합하여, 드론과 같이 날아다니거나, 강아지와 같이 걸어다니는 스마트 디바이스 시장이 새롭게 탄생할 수 있을 것으로 보인다. 이런 경우, 스마트폰이 사라지고, 새로운 소형 모빌리티 디바이스가 그 자리를 대신할 수 있을 것으로 보인다.

한편, 사회적으로는 단기적으로 탁구공 발사로봇의 등장으로 탁구에 대한 사회적 관심이 증가할 것으로 보인다. 또한 객체인식 기술에 대한 사회적인 관심이 증가하고, 인공지능 기술에 대한 대중의 관심이 더욱 많아질 것으로 보인다. 인공지능과 객체인식 기술에 대한 교육이 활성화되고, 다양한 교육자료와 더불어 일선에서 학교에서 관련 교육도 많이 이루어질 것으로 보인다. 또한, 가전제품의 지능화에 대한 투자가 많이 이루어져, 노인층을 위한 헬스케어 로봇 산업이 크게 발전할 수 있을 것으로 보인다. 고령화 사회로 진입한 한국 사회의 경우, 실질적으로 노인과 관련된 실버산업이 미래에 크게 성장할 것으로 기대된다. 이러한 상황과 더불어 실버 로봇 산업이 새롭게 등장할 수 있고, 노인 복지가 크게 발전하는 결과를 가져올 수 있을 것으로 보인다. 사람을 대하는 서비스 로봇의 등장이 가속화된다면, 일반 개인간의 교류와 소통은 더욱 단절되는 사회가 도래할 수 있을 것으로 보인다. 한편, 일반인을 대상으로 하는 서비스 가전로봇산업이 크게 확대된다면, 로봇 부품의 대량생산에 의한 단가하락으로 인하여, 로봇 제품을 일반인이 손쉽게 조립할 수 있는 문화가 형성될 수 있다. 오늘날 PC는 일반인도 손쉽게 다양한 부품을 구입하고, 원하는 대로 조립할 수 있게 되었다. 이처럼 로봇 역시 일반인이 원하는 방식으로 다양한 조립이 가능해질 수 있고, 이를 통해 ROS 와 같은 로봇 플랫폼 과 커뮤니티 역시 크게 확장될 수 있을 것으로 보인다. 결과적으로는 지구상에서 데이터를 생산하는 디바이스의 수가 기하급수적으로 증가하게 될것이며, 이로인해 인터넷 상에 존재하는 데이터는 더욱 크게 늘어날 것으로 보인다. 로봇의 센서 데이터를 수집한 대용량의 오픈 데이터셋이 등장할 수 있으며, 이렇게 등장한 로봇 센싱 데이터는 로봇산업의 발전을 더욱 가속화시킬 것으로 보인다. 로봇 산업의 확대로 인해 부품 생산에 필요한 각종 천연자원의 소비도 더욱 많아질 것으로 보인다. 버려지는 로봇 폐기물 역시 늘어날 것으로 보이며, 로봇 폐기물에 남아있는 정보로 인하여 개인정보 유출의 문제가 발생할 수 있다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

설계 사양

개념설계안

본 과제에서 제안하는 시스템은 탁구공을 저장하고, 탁구공을 공급해주는 탁구공 공급부와 탁구공 공급부로부터 탁구공을 받아서 발사하는 탁구공 발사대, 탁구공 발사대가 어디를 향해 발사할지 그 방향을 조절하는 발사각 조절부 그리고 사람얼굴을 인식하고 방향을 판단 및 탁구공 공급부의 모터를 제외한 모든 모터의 구동을 제어하는 객체탐지부로 이루어져있다.

탁구공 공급부가 탁구공을 저장하고 있으며, 한번에 하나씩 플렉시블 파이프를 통해 탁구공을 탁구공 발사대로 전달한다. 탁구공 발사대로 들어간 탁구공은 모터에 의해 회전하는 바퀴의 표면과 접촉하게 된다. 이때 마찰력에 의해 탁구공은 탁구공 발사대가 향한 방향으로 발사된다. 탁구공 발사대에는 사람 얼굴의 위치를 인식 및 판단하기 위한 카메라가 부착되어 있다. 발사각 조절부는 서보모터 2개로 구성되었으며, 이 서보모터 2개는 방위각과 고도를 갖는 펜틸트 구조를 이룬다. 객체탐지부는 라즈베리파이 4 라는 소형 임베디드 컴퓨터 보드로 구성되어있다. 객체탐지부는 탁구공 발사대에 설치된 카메라로부터 영상을 받아 사람얼굴을 인식 및 판단하고, 탁구공 공급부의 모터를 제외한 모든 모터의 구동을 제어한다.

• 탁구공 공급부 : 여러개의 탁구공을 저장하고, 그 중에서 한번에 한 개의 탁구공만 꺼내어 탁구공 발사대로 공급해주는 역할을 한다.

• 탁구공 발사대 : 탁구공 공급부로부터 받은 탁구공을 발사하는 역할을 한다.

• 발사각 조절부 : 탁구공 발사대가 어디를 조준할지 그 방향을 조절하는 역할을 한다.

• 객체탐지부 : 사람 얼굴을 탐지하여, 어느 방향에 사람이 있는지를 인식 및 판단하고, 또한 탁구공 공급부의 모터를 제외한 모든 모터의 구동을 제어하는 역할을 한다.

상세설계 내용

• 1. 조립도

본 프로젝트의 완성한 부품들을 최종적으로 조립한 상태를 Catia v5 모델링을 통하여 구현하였다. 좌측에 해당하는 부분이 탁구공 발사대와 발사각 조절부가 조립된 형태이고 우측에 해당하는 부분이 탁구공 투입부가 완성된 형태에 해당한다. 두 부위는 플렉시블 파이프로 연결되고 이 플렉시블 파이프는 탁구공 투입부 부터 탁구공 발사대로 탁구공이 이동하는 통로의 역할을 한다.

• 조립순서

<탁구공 공급부>

1)탁구공 공급부 원통 틀 바닥에 싱크로너스 모터를 고정한다.

2)싱크로너스 모터에 탁구공 공급용 원판을 부착한다.

3)플렉시블 파이프를 탁구공 공급부 원통 틀 벽면에 부착한다.

<탁구공 발사대>

1)나사를 이용하여, 모터브라켓에 고속 모터를 고정한다.

2)고속 모터가 부착된 브라켓을 발사대 틀에 고정한다.

3)라즈베리파이 카메라를 발사대 틀에 고정한다.

4)플렉시블 파이프를 발사대 틀에 고정한다.

5)모터와 카메라에 회로를 연결한다.

<발사각 조절부>

1)나사를 이용하여 브라켓에 서보 혼을 고정하고, 수나사와 암나사를 이용하여 브라켓 두개를 연결한다.

2)서보 혼을 서보모터에 부착하고, 그 서보모터를 브라켓에 연결한다.

3)브라켓 회전부를 서보 혼에 연결하기 위해서 나사 4개로 고정한다.

4)나머지 서보모터를 반대편 서보 혼에 연결한다.

• 2. 부품도

<탁구공 공급부>

탁구공 공급용 원판

<탁구공 발사대>

탁구공 발사대

발사대 모터 커넥터

<발사각 조절부>

서보 모터 커넥터

• 3. 제어부 및 회로설계

라즈베리파이와 모터 그리고 카메라를 포함한 모듈의 회로도

라즈베리파이4는 Pi Camera 로부터 실시간 영상을 입력받는다. 라즈베리파이 내부적으로 입력 영상을 이용하여 사람 얼굴을 인식한다. 라즈베리파이는 인식한 사람 얼굴을 바탕으로 사람 얼굴의 위치를 판단하고, 어느 방향으로 서보모터를 회전시킬지 결정한다. 또한 라즈베리파이는 고속 DC 모터를 회전시킨다. 고속 DC 모터와 서보모터는 각각 12V 와 6V 의 배터리팩으로 전원을 공급받는다. 한편 라즈베리파이는 별도의 전원단자를 통해 전원을 공급받는다. 그리고 위 회로도에는 나와있지 않지만, MR50 싱크로너스 모터는 일반 가정용 전기인 60Hz, 220V 콘센트를 이용하여 전원을 별도로 공급받는다.

• 4. 소프트웨어 설계

본 프로젝트에서는 하나의 파이썬 프로그램만을 사용한다. 이 하나의 파이썬 프로그램으로 객체탐지와 서보모터 제어 그리고 발사대용 고속모터 제어를 모두 수행한다. 따라서 본 소프트웨어 설계의 내용은 주로 파이썬 프로그램의 내용에 대한 것이 주를 이룬다.

1) 객체탐지를 위한 방법 기본적으로 Opencv 2 라이브러리를 사용한다.

위와 같이 Opencv 2 라이브러리 에서 CascadeClassifier 라는 함수를 이용하여 이미 학습이 완료된 객체탐지용 인공지능 모델파일을 불러온다.

불러온 인공지능 모델에 넣어줄 영상(gray) 을 인자로 넣고, 영상을 몇배로 축소하여서 사용할지 나타내는 scale factor값(1.3)과 박스를 치기 위한 최소한의 후보물체의 수를 나타내는 minNeighbors(5) 를 인자로 넣어서 detectMultiScale 함수를 실행한다. minNeighbors 값은 높을수록 검출되는 사람얼굴의 박스갯수는 적어지지만, 일단 탐지된 얼굴은 실제 사람 얼굴일 가능이 높다.

2) 서보모터 구동을 위한 방법 PWM 을 이용하여 DutyCycle 를 변경하며 서보모터를 제어한다.

3) 고속 모터 구종을 위한 방법 GPIO 핀을 이용하여, 모터의 (+)핀 쪽은 True 를 입력으로하고, 모터의 (-)핀 쪽은 False 로 입력하면, 모터가 정방향으로 최고속력으로 회전한다.

4) 프로그램 동작 순서 (순서도)

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

• 1. 탁구공 공급부

• 2. 탁구공 발사대

• 3. 발사각 조절부

• 4. 객체탐지부

포스터

관련사업비 내역서

완료작품의 평가

향후계획

본 프로젝트를 통해 제작한 프로토타입의 경우, 몇가지 부족한 점이 발견되었다. 펜틸트 구조를 가진서보모터가 발사대와 고속모터 등의 하중을 지속적으로 받아 그 결합 강도가 약해지는 문제가 있다. 따라서 추후에 서보모터가 하중을 덜 받게하는 형상 디자인이 필요할 것이라 생각한다.

향후 발사각 조절부의 서보모터의 내구도를 더 향상시키고, 객체탐지 성능을 더 향상시킨다면, 본 프로젝트 결과물을 상용화할 수도 있을 것이라 생각한다. 또한, 본 프로젝트에서는 탁구공을 발사시키는 고속 모터의 속도를 일정하게 했지만, 추후에는 이 고속 모터의 속도를 다양하게 조절하여, 발사 거리를 바꾸는 기능을 추가할 수 있을 것으로 기대한다.

사용자의 얼굴을 인식하는 객체 탐지 알고리즘의 성능을 더 향상시키면, 탐지되는 사용자의 얼굴 크기에 따라 현재 탁구공 발사기와 사용자 사이의 거리를 추정하는 것도 가능할 것이다. 한편, 탁구공 공급부의 원판의 속도를 다양하게 변화시켜, 탁구공 발사주기를 바꾸는 기능도 추가할 수 있을 것이다. 이러한 개선들을 통해 궁극적으로 자동추적 탁구공 발사 로봇이 상용화 될 수도 있을 것으로 기대한다.

특허 출원 내용