2조-최강 몬스터즈

프로젝트 개요

기술개발 과제

국문 : 파울 볼 자동 수거 시스템

영문 : Automatic Foul Ball Collection System

과제 팀명

최강 몬스터즈

지도교수

이광훈 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20184300** 김*빈(팀장)

서울시립대학교 기계정보공학과 20184300** 권*빈

서울시립대학교 기계정보공학과 20184300** 김*형

서울시립대학교 기계정보공학과 20184300** 신*훈

서울시립대학교 기계정보공학과 20184300** 이*구

서론

개발 과제의 개요

개발 과제 요약

야구에서는 볼보이가 페어볼을 파울볼로 착각하고 잡는 경우가 있어 경기에 영향을 줄 가능성이 다른 종목에 비해서 높은 편이다. 이 프로젝트에서는 파울로 판정된 볼의 위치를 추적하여 로봇을 통해 수거하는 시스템을 개발하려 한다. 이를 통해 볼보이의 역할을 로봇이 대신함으로써 볼보이가 파울볼을 미처 피하지 못해 몸에 맞는 사고를 미연에 방지하고 페어볼을 잘못 잡을 일이 없기에 경기에 차질이 생기지 않아 더욱 원활한 경기를 진행할 수 있다.

개발 과제의 배경

내용 최근에 과학기술이 점점 발전함에 따라 스포츠에도 그러한 기술들이 많이 활용되고 있다. 축구의 VAR(비디오 판독), 테니스의 호크아이 같은 판정 보조 시스템이 그러한 예이다. 그리고 2022년 이데일리에서 발행한 기사에 따르면 이제 곧 야구에서도 로봇 심판을 사용할 계획이라는 것을 알 수 있다. 과학기술을 통해 스포츠의 한 부분이 로봇에 의해 자동화되어가는 것이다. 이에 야구의 파울볼을 수거하는 과정을 로봇으로 대체해보면 어떨까 생각하게 되었다.

<AI를 활용한 로봇 심판 원리>

야구 경기에서는 페어볼과 파울볼이 존재한다. 페어볼은 내야 페어그라운드 안으로 들어온 공을 의미하고, 파울볼은 파울라인 바깥으로 나간 공을 의미한다. 파울볼을 잡는 사람들을 볼보이라고 하는데 볼보이가 간혹 페어볼을 파울볼로 착각하거나 파울볼이 볼보이 몸에 맞아 경기에 영향을 주는 경우가 있다. 이에 본 프로젝트에서는 볼보이를 대신해 파울볼을 수거하는 시스템을 개발하려 한다.

개발 과제의 목표 및 내용

1. 개발 목표

1루심 또는 3루심의 파울 사인을 받으면 양쪽의 파울 라인을 비추고 있는 외장 카메라를 통해 공의 대략적인 위치를 파악하고, 이를 전송하여 로봇을 해당 위치로 이동시킨 후 로봇에 부착되어 있는 카메라를 통해 공의 정확한 위치를 인식하여 로봇 팔을 이용해 파울볼을 수거하는 시스템을 개발한다.

2. 개발 내용

1) 로봇 팔 설계

로봇 팔의 형태는 다양하지만 본 개발 과제에서는 아래 그림의 형태와 비슷하지만 야구공보다 조금 더 크게 설계하여, 공을 집는 형태가 아닌 가두는 형태로 제작하고자 한다. CAD 프로그램 중 하나인 CATIA를 이용하여 로봇 팔을 설계하고, 3D 프린터를 이용하여 출력 후 조립한다.

2) 신호 전송 시스템 설계

외부에서 파울라인 구역을 비추고 있는 카메라로부터 야구공의 대략적인 위치를 파악하려면 외부 카메라에서 로봇으로 신호를 전송해주어야 한다. 이에 개발 과제에서는 로봇 개발을 위한 미들웨어 플랫폼인 ROS(Robot Operating System)를 활용하여 신호를 전송한다.

3) 공 detection & tracking 알고리즘 설계

야구공을 감지하기 위해서는 야구공의 이미지를 인식할 필요가 있고 그러기 위해서는 인공지능을 통해 학습시킬 필요가 있다. 이 개발 과제에서는 YOLO v2를 이용해 이미지 학습을 시킨다. 로봇이 파울볼을 수거하기 위해서는 공과 자신의 위치를 인식할 필요가 있다. ROS의 RVIZ를 이용, SLAM의 Cartographer 방식을 이용해 야구장에 대한 맵을 생성하고, RVIZ상에 이 맵을 연동함으로써 로봇이 자신의 위치를 인식할 수 있도록 한다.

4) 심판과 외부 카메라의 통신 설계

파울로 판정된 공을 수거해오는 시스템이기 때문에 외부에서 파울볼이라는 신호를 로봇에게 전달할 필요가 있다. 이에 양쪽 파울라인 옆에 있는 1루심, 3루심에게 간단한 신호를 보낼 수 있는 신호기를 전달할 것이다. 아두이노 나노와 RF모듈을 연결하고, 스위치를 연결하여 외부 카메라와 연결된 노트북의 아두이노에 신호를 전달한다. 신호를 받은 노트북은 외부 카메라에 대한 공의 대략적인 범위를 ROS 통신을 통해 로봇에게 전달한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황

1. 무선 인터컴

무선 이어폰과 마이크를 통해 판독센터에서 무선으로 판독 결과를 전달받는다. 블루투스 통신을 사용하여 다른 인터컴과 통신한다.

2. Around View Monitor

자동차를 위에서 내려다본 영상을 생성하여 자동차의 주차를 돕는다. 자동차 전 후방 및 측면에 설치된 카메라로부터 얻은 영상에 원근감을 보정하여 위에서 내려다본 영상을 생성한다.

3. 공 수거 로봇

1번 case. 카메라 탑재형

컴퓨터 비전, 인공지능 기술을 활용해 경기장을 돌아다니면서 흩어져 있는 공들을 수거한다. 경기장 안에 설치되어 있는 스테이션과 무선으로 커뮤니케이션하며 자신의 위치를 지속적으로 파악하고 이동 경로를 결정하여 이동한다. 또한 로봇의 자율주행 또는 수동 조작을 선택할 수 있고 공을 수거하는 위치를 지정해줄 수도 있다.

2번 case. 카메라 비탑재형

사용자가 설정한 경로를 이동하며 공들을 수거한다. 자율주행 또는 수동 조작으로 운영되며 카메라가 탑재되어 있지 않고 정해진 경로를 이동하며 공을 수거하므로 파울볼처럼 특정한 공을 수거하기에는 비효율적인 방식이다. 대신 공이 작고 경기장이 넓은 골프장 등에서 골프공을 수거할 때 많이 활용된다.

특허조사 및 특허 전략 분석

1. 특허조사

2. 특허 전략

기술 로드맵

1. 통신 기술

가. RF통신

일반적으로 30kHz부터 300GHz사이 고주파 대역의 전자파를 통하여 신호를 주고받는 통신방식이다.

1864년에 전자파가 발견된 이래로, 전자파를 통해 정보를 전달할 수 있음을 활용하여 1896년에 무선전신기가 발명되었으며, RFIC칩의 경우 1958년에 발명되어 2001년에 상용화되었다.

나. TCP/IP

TCP/IP란 인터넷 프로토콜 스위트(Internet Protocol Suite)란 인터넷에서 컴퓨터들이 정보를 주고받는 데 쓰이는 통신규약(프로토콜)에서 가장 많이 쓰이는 방식으로 패킷이라고 하는 작은 단위로 나누어져 네트워크를 통해 개별적으로 전송되며, 데이터 전송 중 오류를 감지하고 수정할 수 있다. TCP/IP는 패킷 통신 방식의 인터넷 프로토콜인 IP(Internet Protocol)와 전송 조절 프로토콜인 TCP(Transmission Control Protocol)로 이루어져 있다. IP는 패킷 전달 여부를 보증하지 않고, 패킷을 보낸 순서와 받는 순서가 다를 수 있다. TCP는 IP에서 동작하는 프로토콜로, 데이터의 전달을 보증하고 보낸 순서대로 받게 해준다. HTTP, FTP, SMTP등 TCP를 기반으로 한 많은 수의 애플리케이션 프로토콜들이 IP위에서 동작하기 때문에, 묶어서 TCP/IP로 부르는 경우가 많다.

TCP/IP는 미국 국방부에서 구축한 전산망인 알파넷(ARPAT)에서 개발된 프로토콜으로서, 1983년 1월 알파넷에서 NCP 대신에 이 표준을 사용하였다. 그 후에 알파넷에서 Milnet를 독립시키고, 이 두 네트워크 사이의 통신으로 인터넷을 이용할 무렵 미국 방위통신청(DCA)이 모든 알파넷을 이용하는 호스트 컴퓨터를 TCP/IP로 사용하도록 하였다. 이후 유닉스(UNIX) 운영체제 내에 채용되고 인터넷에도 사용되었으며, 유닉스와 인터넷 사용이 늘어나면서 네트워크상에서 데이터를 전송하는 표준이 되었다.

다. 블루투스 통신

2. 위치 인식 기술

가. GPS

위성에서 보내는 신호를 수신해 사용자의 현재 위치를 알려주는 시스템이며, 여러 위성과 수신기 사이의 거리를 계산하여 수신기의 정확한 좌표를 계산한다. 1970년대 미국 국방성에서 개발한 것이 시초이다.

1978년 최초의 시험용 Block-I GPS 위성이 발사되었고, 1983년에 GPS통신이 민간 부분에 개방되었으며, 2000년 SA(Selective Availability, 선택적 사용성)가 해제되어 민간에서 더욱 정확한 위치 측량이 가능해졌다.

나. SLAM

로봇의 이동 궤적을 추정하기 위해 GMapping과 같이 particle filter를 활용하는 것을 시작으로 다양한 방식으로 시도되고 있다. ROS가 도입되면서 다양한 센서 데이터를 쉽게 활용할 수 있게 되었고 급속히 발전하게 되었다. 카메라 센서를 활용한 비주얼 슬램, 라이다를 사용한 라이다 슬램 등 여러 방식이 있다.

3. 컴퓨터 비전 기술

컴퓨터가 디지털 이미지나 비디오에서 정보를 추출하고 해석하여 특정 작업을 수행하는 기술이다. 1960년 이전 Frank Rosenblatt의 “퍼셉트론” 개념을 기반으로 Image Pattern recognize 연구가 시작되었지만, 아직 단순한 픽셀 수준의 처리와 패턴 인식에 초점이 맞춰져 있었다. 그 뒤로 1990년대에 더 복잡하고 정교한 알고리즘과 방법론이 도입되면서 Object detection, Tracking, Segmentation 기술이 등장했다. 2000년대에 이르러서는 딥러닝과 신경망 알고리즘의 등장과 함께 모델의 정확도와 성능이 획기적으로 향상되었으며, 이미지 인식과 얼굴 인식 및 객체 분류 등 다양한 응용 사례가 나오기 시작했다. 컴퓨터 비전은 인공지능(AI)의 한 분야로, 컴퓨터와 시스템을 통해 디지털 이미지, 비디오 및 기타 시각적 입력에서 의미 있는 정보를 추출한 다음 이러한 정보를 바탕으로 작업을 실행하는 기술이다. 컴퓨터 비전의 알고리즘 기술은 아래와 같은 순서로 발전해왔다.

4. ROS

ROS는 로봇 응용프로그램을 개발할 때 필요한 하드웨어 추상화, 하위 디바이스 제어, 센싱, 인식,SLAM, 네비게이션 등의 기능 구현 및 메시지 전달, 패키지 관리, 개발 환경에 필요한 라이브러리와 다양한 개발 및 디버깅 도구를 제공하는 오픈 소스 기반의 미들웨어(MiddleWare)이다. ROS(Robot Operating System)는 2007년 5월 모건 퀴글리(Morgan Quigley)에 의해 미국 스탠퍼드대학 인공지능 연구소가 진행하던 STAIR(Stanford AI Robot) 프로젝트인 스위치야드(Switchyard)라는 시스템에서 시작되었다. 2007년 11월에 윌로우 개러지(Willow Garage)가 이어받아 ROS라는 이름으로 개발을 시작하였으며, 2010년 1월 ROS 1.0을 출시하였다. 이후 2013년부터 Open Source Robotics Foundation이 개발 관리해왔으며, 2017년 5월부터 "Open Robotics"라고 이름을 변경하였다. 2017년 12월에는 ROS 2.0을 릴리즈 하였다. ROS의 버전은 아래의 표와 같이 출시되어왔다.

시장상황에 대한 분석

경쟁제품 조사 비교

동일한 기능을 가지는 제품이 없어 유사 제품군을 통하여 비교하였다. 기존의 제품들은 여러 개의 바닥에 퍼져있는 공을 수거하는 제품이지만, 우리가 만들고자하는 제품은 파울이 선언된 단일의 공을 인식하여 수거하는 제품입니다.

골프보이

주식회사 마루시스의 실외 골프 연습장에서 사용하는 골프공 수거 로봇이다. 밀대 장치를 이용하여 모은 골프공들을 골프공 회수로로 밀어서 떨어뜨리는 방식으로 운용된다. 자율 주행 방식이지만 카메라를 탑재하지 않아 정해진 경로로만 이동할 수 있고 또한 외부 카메라를 활용하지 않는다.

골프공 무선 수거기

천일로드산업의 골프연습장 등에서 사용하는 골프공 무선 수거기다. 밀대 장치를 이용하여 모은 골프공들을 회수로로 밀어서 떨어뜨리는 방식이다. 리모컨을 사용해 수동으로 조작하는 방식이며 외부 카메라를 활용하지 않는다.

테니봇

보스턴 스타트업 회사의 테니봇이다. 컴퓨터 비전, 인공지능 기술을 활용해 경기장을 돌아다니면서 흩어져 있는 테니스볼들을 수거하는 로봇이다. 경기장 안에 설치되어 있는 스테이션과 무선으로 커뮤니케이션하며 자신의 위치를 지속적으로 파악하고 이동 경로를 결정하여 이동한다. 또한 로봇의 자율주행 또는 수동 조작을 선택할 수 있고 공을 수거하는 위치를 지정해줄 수도 있다. 하지만 외부 카메라는 활용하지 않는다.

RP-1200 레인지 피커

ECHORobotics의 RP-1200 레인지 피커다. 특수하게 설계된 가드와 날을 이용하여 골프장에서 골프공을 수거하며 동시에 잔디를 관리할 수 있는 로봇이며 자율 주행 방식이지만 카메라를 탑재하지 않아 정해진 경로로만 이동할 수 있다. 또한 외부 카메라를 활용하지 않는다.

마케팅 전략 제시

개발과제의 기대효과

기술적 기대효과

1. 파울볼 회수 정확도 개선

파울신호를 읽은 뒤 파울볼의 회수가 일어나므로 페어볼을 파울볼로 착각하여 건드려 경기에 영향을 주는 일을 방지할 수 있으며, 이후 개선을 통해 페어볼과 선수를 인식하여 회피할 수 있다면 선수나 공이 볼보이나 볼보이가 앉는 의자에 부딪혀 발생할 수 있는 사고 혹은 경기에 미치는 영향을 줄일 수 있다.

2. 다른 종목에 대한 활용성

인공지능을 통한 이미지 인식에 활용되는 공의 종류와 SLAM을 통한 경기장의 Mapping, 아웃 또는 파울 감지 방식의 변경을 통하여 테니스, 탁구 등 다른 구기 종목에서도 동일한 공 수거 시스템을 충분히 활용할 수 있을 것이다.

3. 실제 활용 시 발전 가능성

심판의 판정 신호를 직접 받을 수 있는 프로경기의 중계시스템과 경기장 전체를 비추고 있는 중계 카메라와 연동할 수 있다면 심판으로부터의 파울 판정 수신 과정 및 야구공 위치추적 과정에서 하드웨어 요소의 간소화가 가능하다.

경제적, 사회적 기대 및 파급효과

1. 로봇에 대한 사람들의 관심 증가 야구를 보러 온 사람들이 평소에 접하기 힘들거나 생소하게 생각했던 로봇에 대해서 관심을 가질 수 있고 실생활과 가까워짐에 따라 로봇에 대한 친숙도가 증가할 것이다.

2. 야구장 관객 유치 및 야구에 대한 사람들의 관심 증가 야구장에 새로운 기술이 도입됨으로 호기심을 가지는 사람들을 유치할 수 있고 이런 볼거리를 제공함으로 사람들의 야구에 대한 관심을 증가시킬 수 있다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

목적 계통도

개념설계안

상세설계 내용

조립도

가. 조립도

본 프로젝트의 수거 로봇의 최종 모델링은 아래 사진과 같다.

나. 조립 순서

1) 수거 로봇 지지대에 모터 조립

2) 지지대와 팔 부분 조립

3) 팔 부분과 손 부분 조립

4) 로봇과 지지대 조립

5) 로봇의 3층 부분과 2층 부분 조립

부품도

1) 수거 로봇 지지대

2) 수거 로봇 팔

3) 수거 로봇 손

4) 신호기 박스

5) 신호기 뚜껑

제어부 및 회로설계

1) 리모컨 송신부

2) 리모컨 수신부

3) 구동 및 전원부

4) 센서부

5) 로봇 팔

소프트웨어 설계

가. 사용시나리오

심판이 경기 중에 발생한 파울을 판단하면, 신호기를 이용해서 메인 컴퓨터에 파울 발생했다는 신호를 RF 모듈을 통한 ROS 통신을 통해서 전달해 준다. 메인 컴퓨터는 받은 신호를 토대로 USB 통신으로 연결된 외부 카메라를 통해서 일정한 지역을 실시간으로 촬영해 준다. 메인 컴퓨터에서는 OpenCV와 YOLO를 활용해서 야구공이 존재하는 구역에 대한 정보를 계산해 준다. ROS 통신을 이용해서 구역에 대한 정보 즉, 좌표를 로봇에 전달해 준다. 전달된 좌표로 로봇이 이동을 한다. 공의 근처에 이동한 로봇은 주위를 돌면서 야구공의 위치를 탐색하고, 허프 변환을 기반으로 야구공의 위치를 추적하여 자율주행으로 공을 찾아간다. 서보모터 제어를 통해, 야구공을 확보하고, 초기의 좌표를 수신 받아서 복귀한다.

<시나리오에 따른 Flow Chart>

나. 기능별 알고리즘

1) 송신기-수신기 통신 알고리즘

2) YOLO 활용 야구공 인식

3) OpenCV 활용 야구공 위치 계산

4) 로봇 제어 알고리즘1(야구공이 위치한 좌표로의 이동)

5) 로봇 제어 알고리즘2(야구공 추적)

6) 로봇 제어 알고리즘3(야구공 수거 후 복귀)

7) 주요 ROS 노드 정리

8) 주요 Topic 정리

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

완료작품의 평가

향후계획

향후 야구 중계 시스템과 연계할 수 있다면 리모컨 없이도 파울 발생 시 시스템이 작동할 수 있도록 설계할 수 있으며, 중계 카메라를 이용한 야구장 내 야구공 감지도 가능하므로 추가적인 장비 설치 없이 로봇 만을 통해 시스템을 구현할 수 있을 것으로 보인다.
향후 더욱 신속한 모터와 더욱 큰 바퀴를 이용한다면 신속하게 파울 볼을 추적하여 수거함으로써 수거 시간을 단축시킬 수 있을 것으로 보인다.
향후 로봇에 더욱 발전된 수거시스템을 장착한다면 수거한 파울 볼의 처리도 구현할 수 있을 것이다.
향후 더 나은 연산 성능 또는 GPU가 장착된 메인보드를 사용하여 로봇을 구성한다면 더욱 빠르고 정확하게 파울 볼 인식을 수행할 수 있을 것이다.
향후 테니스 등 공의 수거를 필요로 하는 다른 종목에도 적용될 수 있을 것이다.