"6조-안내봇이루멍"의 두 판 사이의 차이

2023년 12월 19일 (화) 06:13 판

프로젝트 개요

기술개발 과제

국문 : 00000000..

영문 : 00000000..

과제 팀명

00000..

지도교수

황면중 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 2018430035 이용재(팀장)

서울시립대학교 기계정보공학과 2018430012 김영민

서울시립대학교 기계정보공학과 2018430013 김영준

서울시립대학교 기계정보공학과 2019430011 박정현

서론

개발 과제의 개요

개발 과제 요약

실외에서 움직일 수 있는 사족보행 로봇과 음성 AI 서비스를 개발해 학교 투어 및 길 안내를 수행하는 로봇의 소프트웨어 시스템을 구현하고자 한다. 위 시스템 개발로 사용자의 편의성이 증가하고 학교 홍보효과가 증대될 것이라 기대된다. 학교 투어는 로봇이 정해진 경로를 이동하고 길 안내는 현재 위치부터 사용자가 설정한 목적지까지 계산된 경로를 이동한다. 그리고 이동 중에 로봇은 스스로 장애물 회피를 진행하고 음성 AI 기능을 탑재해 사용자와 질의응답을 하며 학교와 관련된 정보를 제공해준다.

개발 과제의 배경

현재 대형 건물과 박물관에서는 안내를 위한 로봇이 사용되고 있으나, 이들은 주로 바퀴형 로봇으로 제한된 실내 공간에서만 운용 가능하며, 사용자가 직접 검색해야 하는 정보 제한이 있다. 반면, 사족보행 로봇은 이러한 제약을 극복하고, 의료 및 물류 분야 등에서 이미 활용되고 있어 안내 로봇 분야에서도 큰 잠재력을 가지고 있다. 또한, 최근에는 OpenAI의 ChatGPT 같은 LLM을 이식한 챗봇이 주목받고 있으며, 이들 기술을 안내 로봇에 도입하면 공공장소나 상업시설에서 더 효율적인 안내 서비스가 가능해진다​​.

개발 과제의 목표 및 내용

이 프로젝트의 목표는 사족보행 로봇 GO1을 활용하여 학교 캠퍼스 투어 및 길 안내 서비스를 제공하는 것이다. 이 로봇은 음성인식 및 인공지능을 이용하여 사용자와 의사소통이 가능하도록 설계된다. 개발 내용으로는, Unitree사의 GO1 모델을 사용하여 기본 움직임과 장애물 회피 기능을 구현하고, 음성인식 및 자율주행을 위한 센서들을 부착한다. 필요한 경우 3D 프린터로 부품을 제작하며, 최종적으로 목표 기능을 탑재한 소프트웨어를 로봇에 이식해 특정 실험과 최종 시연을 진행할 예정이다​​.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황

LLM (Large Language Model)

국내 기술:

Maum AI: 한국어 처리 가능한 큰 언어 모델 개발 및 확장 계획. Naver Clova: 신경망 기반 기계 번역 모델 개발로 국내 언어 모델 기술 성숙도 향상.

국외 기술:

모델 자체 훈련 데이터 생성: 구글 연구자들이 개발한 자가 훈련을 통한 언어 모델 개선. ChatGPT와 Bard: 사용자 기반 확장 및 비즈니스에 새로운 가능성 제시. GPT-4: OpenAI의 모델로 인간 수준의 성능 및 복잡한 추론 이해, 고급 코딩 능력 등을 보유. 글로벌 건강 및 개발 솔루션 개발: Bill & Melinda Gates 재단의 AI 기반 큰 언어 모델 활용 연구. 비교: 국내는 주로 기업 중심의 언어 모델 개발에 집중, 해외는 연구 및 개발, 개방형 커뮤니티 및 국제 협력을 통한 언어 모델 발전에 초점​​.

안내로봇(Navigation)

국내 기술:

KIST: 실내 및 실외 환경에서 로둣 안내 시스템 연구. LG CNS: 지하철 역 및 공공 시설에서 로봇 안내 서비스 제공. GNSS, AI 내비게이션, SLAM 기술: 실외 길안내 로봇 개발에 기여.

국외 기술:

Waymo: 자율 주행 차량을 통한 안전한 길 안내 서비스 제공. Savioke의 Relay 로봇: 호텔 및 병원에서 활용되는 물건 배달 로봇. Rovenso의 범용 로봇: 다양한 응용 분야에서 활용 가능한 로봇 개발. 비교: 국내 안내로봇은 주로 실내 환경에서 사용되며, 해외 안내로봇은 다양한 환경에서 자율 주행 능력에 초점을 맞춤. 양측 모두 GNSS, AI 내비게이션, SLAM 등 핵심 기술 사용하여 로봇의 실외 길안내 기능 개발에 힘쓰고 있음​​.

• 특허조사 및 특허 전략 분석

내용

• 기술 로드맵

하드웨어 (H/W) 설계

통신: 사용자와 로봇 간의 효율적인 커뮤니케이션을 위해 마이크와 블루투스 모듈이 포함된 목걸이 사용.

센서: 2D LiDAR 센서로 로봇이 주변 물체를 인식 및 회피.

제어 시스템: 컨트롤러 PC가 로봇의 뇌 역할을 하며, 모든 처리 작업을 총괄.

전력 공급: 배터리 시스템이 장기간의 동력을 보장.

위치 추적: RTK GPS 모듈을 이용한 정밀한 위치 추적 및 최적 경로 결정​​.

소프트웨어 (S/W) 설계

자율주행: 장애물 회피, 경로 최적화, 거리 유지 기능 포함. GPS와 내장된 지도 데이터를 활용해 최적 경로 계산. 음성 AI: 사용자와 자연스러운 대화를 가능하게 하는 음성 인터페이스 제공. STT(Speech-to-Text) 기술과 LLM(Large Language Model)을 활용하여 사용자 요구 분류 및 적절한 반응 생성. 연속적인 개선: 소프트웨어 설계는 프로젝트 진행 과정에서 지속적으로 검토 및 개선됨​​. 로봇 자율주행

Global Planner: Dijkstra’s algorithm을 활용한 그래프기반 경로 탐색. GPS좌표에 기반한 경유점들을 활용해 global path 생성. Local Planner: DWA 로컬 플래너를 사용하여 장애물 회피 및 경로 생성. 위치 추정: RTK-GPS와 IMU 센서를 활용하여 로봇의 정확한 위치 추정 및 회전값 파악​​.

시장상황에 대한 분석

• 경쟁제품 조사 비교

내용

• 마케팅 전략 제시

내용

개발과제의 기대효과

기술적 기대효과

사족보행 로봇의 이동능력 향상

사족보행 로봇의 기술적 발전은 로봇의 운용성, 보행 속도 및 하중 용량에 큰 영향을 미친다. 이러한 기술적 발전으로 인해 사족보행 로봇은 더 높은 운용성과 더 빠른 속도, 그리고 더 높은 하중 용량을 가질 수 있다 [a]. 특히, 센서 기술의 향상과 인공지능의 발전은 로봇이 더욱 정확하고 빠르게 환경을 인식하고 반응할 수 있게 만든다. 이는 로봇이 더 효율적으로 작동하고 더 다양한 작업을 수행할 수 있게 해, 실내외의 다양한 환경에서 움직일 수 있게 되어, 기존 바퀴형 로봇의 한계를 극복한다. 

음성 인식 및 자연어 처리 기술의 활용

음성 인식, 자연어 처리(NLP), 머신러닝 등의 기술이 발전함에 따라, 챗봇은 사용자의 질문을 더 정확하게 이해하고 더 적절한 답변을 제공할 수 있게 된다. 사용자의 선호도와 필요에 따라 맞춤형 서비스를 제공하는 등의 챗봇 기술의 발전이 예상된다. 또한, 더욱 진보된 데이터 분석과 머신 런닝 알고리즘의 도입은 챗봇이 더욱 개인화된 서비스를 제공하고 사용자의 만족도를 높일 수 있게 해줄 것이다. 따라서 사용자와의 효율적인 의사소통을 가능하게 하며, 원활한 질의응답 서비스를 제공한다. 

경제적, 사회적 기대 및 파급효과

경제적 파급효과

학교 홍보 효과 증대는 본 프로젝트의 중요한 기대효과 중 하나다. 사족보행 로봇과 음성 인식 기술의 도입은 학교의 현대적이고 기술적인 이미지를 강화하는 데 큰 역할을 할 것으로 예상된다. 특히, 이러한 신기술은 학교의 혁신적인 면모를 대외적으로 알릴 수 있는 효과적인 수단이 될 것이다. 로봇이 학교 캠퍼스를 안내하며, 방문객과 학생들에게 유익한 정보를 제공함으로써, 학교는 기술적 진보와 사용자 중심의 서비스를 통해 좋은 인상을 심어줄 수 있다. 또한, 이 프로젝트는 학교의 연구 및 개발 역량을 강조하며, 기술 혁신을 추구하는 학교의 정신을 반영한다. 이는 미래의 학생들, 교직원, 그리고 협력 기관들에게 학교의 긍정적인 이미지를 전달하며, 학교의 명성을 높이는 데 기여할 것이다. 

사회적 파급효과

사회적 기대효과는 이 프로젝트의 중요한 부분으로, 편의성 제공과 안전한 길 안내는 전체 학생과 방문객 대상으로 큰 이점을 제공한다. 편의성 제공은 캠퍼스 안내와 정보 제공을 통해 학교 생활을 더욱 쉽고 편리하게 만들어 준다. 학생들과 방문객은 로봇을 통해 신속하고 정확한 정보를 얻을 수 있어, 학교의 다양한 시설과 서비스를 이용하는 데 도움이 된다. 또한, 안전한 길 안내는 장애물 인식 및 회피 기능을 통해 학생들과 방문객이 캠퍼스를 더 안전하게 이동할 수 있게 돕는다. 이러한 기능은 학교의 서비스 품질을 높이고, 학교 커뮤니티의 만족도를 증가시키는 데 기여할 것이다.

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

<Figure 1>제품 요구사항

설계 사양

목적 계통도

<Figure 2>목적 계통도

<Figure 3> 설계 사양

개념설계안

가. 음성 시스템

1) 입출력 장치 구성방식

<Figure 2>입출력 장치 구성방식

2) 음성 인식 (Speech o Text)

<Figure 2>음성 인식

3) 음성 합성 (Text to Speech)

<Figure 2>음성합성

4) Large Language Model

<Figure 2>Large Language Model

나. 자율주행 시스템

1) 장애물 인식 센서

<Figure 2>장애물 인식 센서

2) 위치 인식 기술

<Figure 2>위치 인식 기술

3) 사족보행로봇

<Figure 2>사족보행로봇

4) 사용자와의 거리측정 방식

<Figure 2>사용자와의 거리측정 방식

다. 구체 설계안

1) 전체 시나리오

<Figure 2>전체 시나리오

2) ROS 구조도

<Figure 2>ROS 구조도

이루멍 로봇은 사용자에게 길 안내 서비스를 하기위해 자율주행 기능이 필요하다. 자율주행 알고리즘은 global planner와 local planner 2단계로 적용된다. global planner는 현재 로봇의 위치로부터 목적지까지의 전체 경로를 생성하는 역할을 한다. 전체 경로는 일련의 gps좌표들로 이루어지게 된다. 학교의 주요 목적지들과 갈림길들이 그래프로 형태로 저장되어 있고, Dijkstra’s 알고리즘을 사용하여 최단경로를 생성하게 된다. gps를 사용하여 로봇의 위치를 파악한다. 생성된 global path는 local planner에게 전달된다. local planner에서는 전달받은 global path를 추종하며, 장애물이 존재하면 이를 회피하며 이동하는 역할을 한다. gps를 통한 위치파악, 라이다센서를 이용하여 장애물을 감지등을 활용하여 동작하게 된다. robot state에서는 로봇의 현재 속도를 파악할 수 있다. local planner의 결과로써 로봇이 최종적으로 동작해야 하는 속도와 각속도를 얻을 수 있다.

3) 음성 AI 설계

i. 음성 안내 기능 개요

<Figure 2>음성AI 동작 시나리오

이루멍 로봇은 사용자와의 음성 기반 상호작용을 위해 두 가지 주요 기능을 수행한다. 첫째, '정적 기능'에서는 GPS 또는 블루투스 신호와 같은 이벤트를 감지할 때 미리 저장된 음성 파일을 재생하여 사용자에게 필요한 정보를 전달한다. 이 과정은 Robot Operating System(ROS) 토픽을 통해 다양한 센서 데이터와 통합되어 실행된다.

둘째, '동적 기능'은 마이크를 통해 지속적으로 사용자의 음성을 모니터링하여 호출명령어("안녕 이루멍")를 인식하고, 이를 통해 음성 챗봇이 활성화된다. 활성화된 후에는 사용자가 요구하는 작업(속도 조절, 목적지 설정, 학교 관련 질문 등)을 분석하고 이에 대응하여 적절한 ROS 메시지를 구성하거나, 질문에 대한 응답을 생성하기 위해 LLM으로 텍스트를 전송한다.

이루멍의 정적 기능은 학교 안내와 사용자와의 거리 조절을 제어하는 데 중점을 두고, 동적 기능은 사용자의 명령에 반응하여 대화를 이어가는 데 사용된다. 이루멍은 이 기능들을 통해 사용자에게 유용한 안내 서비스를 제공한다.

ii. LLM 모델링 파이프라인

<Figure 2>LLM 모델링 파이프라인

이루멍은 서울시립대학교 관련 지식을 통합한 대화형 언어 모델을 개발하여, 정확하고 신뢰할 수 있는 대학 캠퍼스 정보를 제공하기 위해 설계되었다. 이 과정에서 사용되는 Langchain 프레임워크는 언어 모델을 기반으로 한 애플리케이션 개발을 용이하게 하며, 특히 Word Embedding 기술을 통해 텍스트 데이터를 수치적 벡터로 변환, 의미론적인 정보를 딥러닝 모델이 이해할 수 있는 형태로 인코딩한다.

지식 통합 과정은 대규모의 텍스트 데이터를 처리하고 이를 벡터 데이터베이스에 저장함으로써, 쿼리가 발생할 때마다 관련 정보를 신속하게 검색하고 LLM에 제공한다. 이를 통해, 이루멍은 단순한 대화 생성이 아닌, 구체적인 데이터에 기반한 정보를 제공함으로써 사실과 다른 거짓 정보를 생성하는 환각 현상(Hallucination)을 방지하고 사용자에게 실질적인 가치를 제공한다.

이러한 시스템은 서울시립대학교의 공식 문서와 데이터를 학습 자료로 사용하여, 이루멍이 사용자로부터 속도 조절, 목적지 설정, 학교 관련 질문 등의 쿼리를 받았을 때, 정확한 정보를 기반으로 응답할 수 있도록 한다. 이루멍의 LLM은 사용자의 쿼리를 분석하고, 벡터 데이터베이스에서 추출한 관련 문서의 정보와 결합하여, 사용자의 질문에 대한 구체적이고 정확한 답변을 생성한다.

결과적으로, 이루멍은 서울시립대학교의 캠퍼스 정보와 서비스를 정확하게 안내하는 역할을 하며, 사용자의 질문에 대해 검증된 데이터를 바탕으로 답변을 제공한다. 이로써 사용자들은 필요한 정보를 더 빠르고 쉽게 얻을 수 있다.

이론적 계산 및 시뮬레이션

내용

상세설계 내용

가. H/W 설계안

<Figure 2>하드웨어설계안

본 프로젝트의 하드웨어 구성은 사용자와 로봇 간의 효율적인 커뮤니케이션과 정밀한 환경 인식을 목표로 구축되었다. 사용자는 통합된 마이크와 블루투스 모듈이 포함된 편안하고 실용적인 목걸이를 착용하게 되는데, 이 장치는 사용자의 명령을 실시간으로 로봇에 전달하고, 로봇과의 원활한 양방향 통신을 보장한다. 로봇의 등 위에는 몇 가지 주요 하드웨어들을 적재하여 고정하는 방식을 사용하였다.

2D LiDAR 센서는 로봇이 주변의 물체들을 인식하고 이를 효과적으로 회피하는 데 필수적인 역할을 한다. 스피커는 로봇이 사용자에게 음성으로 정보를 전달하며, 상호작용의 자연스러움을 강화한다. 컨트롤러 PC는 로봇의 뇌 역할을 하여 모든 처리 작업을 총괄하고, 복잡한 명령을 신속하게 수행한다. 배터리 시스템은 안정적이고 장기간의 동력 공급을 보장하여 로봇이 장시간 작업을 수행할 수 있도록 한다. 추가적인 블루투스 모듈은 사용자의 목걸이와 로봇 간의 단거리 통신을 담당하며, 데이터 전송의 신뢰성과 속도를 높인다. 마지막으로, RTK GPS 모듈은 정밀한 위치 추적 기능을 제공하여, 로봇이 캠퍼스 내에서의 위치를 정확하게 파악하고 최적의 경로를 결정하게 한다. 이러한 디바이스들을 통해 로봇은 캠퍼스 환경에서 다양한 작업을 수행할 수 있는 기반이 된다.

나.S/W 설계안

<Figure 2>소프트웨어설계안

본 프로젝트의 자율주행 로봇 '이루멍'은 두가지 주요 시스템이 있고 각 기능을 위한 소프트웨어 설계가 동반된다(그림 2 참고). 자율주행을 위해서는 장애물 회피, 경로 최적화 그리고 거리 유지 기능이 존재한다. 장애물 회피능력을 위해 로봇은 다양한 센서를 활용하여 주변 환경을 정밀하게 감지한다. 이 센서들은 로봇이 계단, 불규칙한 지형 등을 인식하고 이를 효율적으로 회피할 수 있도록 정보를 제공한다. 경로 최적화 기능 역시 로봇의 핵심적인 기능으로, GPS와 내장된 지도 데이터를 기반으로 로봇의 현재 위치와 목적지 사이의 최적 경로를 실시간으로 계산한다. 이는 로봇이 임무 수행 중 발생할 수 있는 예측 불가능한 변수에 대처하고, 효율적인 경로 수정을 가능하게 하여 에너지 소비를 최소화하고 운영 시간을 극대화한다. 거리 유지 기능은 로봇이 사용자와의 안전한 거리를 유지하며 동행하도록 한다. 이 기능은 로봇이 사용자를 안내하는 동안 특히 중요하며, 블루투스와 같은 통신 모듈을 통해 사용자와 로봇 사이의 거리를 지속적으로 측정하고 조정한다.

두번째 시스템인 음성 AI는 사용자와의 상호작용을 하는 기능으로서, 사용자와 로봇 간의 자연스러운 대화를 가능하게 하는 음성 인터페이스를 제공한다. 이 인터페이스는 인식된 음성 명령을 텍스트로 변환하고 이를 로봇의 작동 명령으로 전환하는 과정을 포함하며, 사용자의 질문에 대한 응답을 생성하여 음성으로 전달한다. 이 모든 기능들은 통합적으로 작동하여 사용자에게 직관적이고 편리한 상호작용을 제공하며, 이는 본 프로젝트의 진행 과정에서 지속적으로 검토하고 개선해온 부분이다. 이러한 세심한 설계와 개발을 통해 '이루멍'은 서울시립대학교 캠퍼스 내에서 학생 및 방문객에게 신뢰할 수 있는 안내 서비스를 제공할 것이다.

이론적 계산 및 시뮬레이

시뮬레이션은 ROS통신을 활용한 GAZEBO simulator를 사용하였으며, 알고리즘 구현의 정확성을 테스트하였다. 실제 학교의 중앙로와 유사하게 맵을 구성하였고 위 환경에서 로봇의 자율주행 성능을 테스트하였다. 목표위치를 주었을 때 제작한 global_planner가 정상적으로 동작하는 것을 확인할 수 있었다. 또한, local_planner에서 장애물을 인식하고 미리 지정해놓은 속도 임계값을 지키며 회피하고 주행하는 것을 확인할 수 있었다.

• RSSI

RSSI는 무선 통신 단말기의 수신에서 측정된 수신 신호의 전력 값으로, 단위는 dBm로 대부분 음의 값을 가진다. 거리가 가까울수록 RSSI가 커지고, 거리가 멀수록 작은 값을 나타낸다. 아래 식은 RSSI와 실제 거리 사이의 관계식이다.

<Figure 2>RSSI 수식

해당 식에서 d는 거리를 의미하고, α는 1m 거리에서 측정된 RSSI 값이다. N은 장애물 등과 같은 전파 환경에 따라 설정이 가능하고, 일반적으로 2~4의 값을 가진다

• 칼만 필터

칼만 필터는 잡음이 포함되어 있는 센서의 측정치에서 선형 역학계의 상태를 추정하는 재귀 필터이다. 칼만 필터 알고리즘은 예측과 업데이트 두 단계로 이뤄진다. 예측 단계에서는 현재 상태 변수의 값과 정확도를 예측한다. 업데이트 단계에서는 이전에 추정한 상태 변수를 기반으로 예측한 측정치와 실제 측정치를 반영해 현재의 상태 변수를 업데이트한다.

<Figure 2>칼만필터

• 칼만 필터 적용 전

<Figure 2>칼만 필터 적용 전 RSSI 데이터

• 칼만 필터 적용 후

<Figure 2>칼만 필터 적용 후 RSSI 데이터

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용