"1조-레전두"의 두 판 사이의 차이

2023년 12월 18일 (월) 05:32 판

프로젝트 개요

기술개발 과제

국문 : 침대용 얼굴 추적 거치대

영문 : Face-Tracking Smart Phone Holder on Bed

과제 팀명

레전두

지도교수

신동헌 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20XXXXX0** 정**(팀장)

서울시립대학교 기계정보공학과 20XXXXX0** 공**

서울시립대학교 기계정보공학과 20XXXXX0** 이**

서울시립대학교 기계정보공학과 20XXXXX0** 허*

서울시립대학교 기계정보공학과 20XXXXX0** 최*

서론

개발 과제의 개요

개발 과제 요약

기존 침대용 스마트폰 거치대 이용에는 자세 변경 시 사용자가 직접 위치를 재조정해야 하는 불편함이 있다. 이를 해소하기 위해 카메라를 통해 사용자의 얼굴을 인식하고 이를 바탕으로 자동으로 스마트폰의 위치를 조정해주는 자동 위치 조정 거치대를 개발한다. 라즈베리파이를 통해 MediaPipe 프레임워크를 사용하여 사용자의 눈의 위치를 파악할 수 있도록 하고, 모터드라이버를 통해 서보모터를 제어하여 사용자의 얼굴 방향에 맞추어 거치대가 구동할 수 있도록 한다. 이를 통해 침대에서 휴대폰을 이용하는 사용자가 수동 조정이 따로 필요없이 편리하게 스마트폰을 볼 수 있도록 한다.

개발 과제의 배경

2006년 아이폰의 출시화 함께 스마트 폰이 등장했다. 아이폰의 출시와 함께 스마트폰으로 간단히 인터넷을 사용할 수 있게 되었다. 컴퓨터를 사용해야만 하는 작업이 스마트 폰으로 가능해졌고, App Store에 올라오는 다양한 어플리케이션을 이용해 단순 전화기를 넘어선 ‘만능 기기’로 재탄생했다. 연락, 업무, 은행 등 일상적인 일부터 유튜브, 넷플릭스 같은 스트리밍, 게임까지 다양한 취미생활까지 점령하고 있는 스마트폰은 이제 사람과 밀접한 관계가 되었다. 컴퓨터로만 가능했던 일을 스마트폰에서도 할 수 있게 됨에 따라, 다른 작업과 함께 스마트폰을 이용하거나, 침대에서 사용한다는 등 더 편하게 스마트폰을 이용하기 위한 ‘휴대폰 거치대’가 등장했다. 초기의 거치대는 단순히 수동으로 각도 조정이 가능한 1자유도의 받침대 형태로 등장했다.

Fig1

이후 유연하게 움직이는 팔을 가진 거치대가 출시되었고, 각도를 자유롭게 조절하여 사용자가 원하는 상태로 만들 수 있게 되었다. 이는 여분의 자유도를 추가해 침대에 누워 편하게 스마트폰을 즐길 수 있는 환경을 조성했다.

Fig2

하지만 기존 스마트폰 거치대는 단순 고정 기능만 있을 뿐 자세가 조금이라도 달라지면 위치와 각도를 다시 조절해야 하는 번거로움이 있다. 만약 자주 뒤척이는 사용자가 기존 거치대를 사용하는 경우, 매번 거치대의 각도를 변경해야 하는 큰 번거로움이 있다.

이러한 번거로움을 덜어주기 위해, 자동 조정 거치대를 찾아보면, 사용자의 얼굴을 인식하고 이를 바탕으로 각도를 조정하는 1자유도 자동형 거치대가 존재한다. 하지만 360도 회전하는 1자유도만 가지기 때문에 시선과 정확한 거치대를 맞추기 어렵고, 침대에서 휴대폰을 사용하는 경우가 많다는 점을 고려하면, 누워서 사용하는 것이 불가능하다는 단점이 있다.

Fig3

따라서 본 과제에서는 이러한 기존의 거치대의 단점을 보완할, 침대에서도 사용자가 누워서 편리하게 휴대폰을 사용할 수 있도록 4 자유도를 가지는 자동형 거치대를 제작하고자 한다. 그 이상의 자유도는 설계가 복잡하고 시간적 측면에서 불가능하다고 판단하여 4자유도를 택하였다.

Fig4

얼굴 방향 추출 방식에는 여러가지가 있지만, 접근성이 좋고, 정면이 아닌 경우에도 인식이 가능하며, 라즈베리파이와 같은 모바일 및 저사양 기기에 최적화된 mediapipe 라이브러리를 이용하기로 한다. 기존 기술인 Dlib 라이브러리는 68개의 landmark를 이용하여 사람의 얼굴 특징을 추출하는 방법이였다. 하지만, 낮은 정확도와 동 사양의 기기에서 최적화 부분에서 뒤쳐진 기술이었기에, mediapipe 라이브러리를 사용하기로 결정했다.

Mediapipe 라이브러리에서는 얼굴 추적을 위해 기술적 특성이 약한 장치에 최적화된 BlazeFace 모델을 사용한다. 라이브러리에서 제공되는 face_mesh 추적 기능을 활용하여, 카메라를 통해 촬영한 사람의 얼굴 특징을 파악한다. 특히 BlazeFace을 통해 얻은 468개의 landmark 좌표값 중 눈, 코, 입 주변의 landmark 좌표 값을 통해 현재 사용자 얼굴의 방향을 추정할 수 있다.

최종적으로, 기존의 거치대와 비교하여 현재 개발하려는 face-tracking 스마트폰 거치대의 장점은 다음과 같다.

- 고개를 상하좌우로 움직이는 것에 맞춰 자동으로 각도를 변경하여 수동 조정이 필요 없다. - 4 자유도라는 면에서 기존의 자동형 거치대에 비해서 더욱 향상된 편의성을 가져다준다.

종합하면, face-tracking 스마트폰 거치대는 사용자의 편의성을 증대할 것으로 예상된다. 본 연구에서는 거치대 중에서도, 사용자가 침대에 누워서 휴대폰을 사용할 수 있도록 하는 것에 초점을 두어, ‘침대용 face-tracking 스마트폰 거치대를 만들고자 한다. 이 제품을 통해 사용자는 한 자세로 오래 있어야 하는 불편함을 겪지 않아도 되며, 자세를 바꿀 때 마다 거치대 각도를 조정할 필요가 없으므로 사용자에게 더 큰 편리함을 줄 수 있다.

개발 과제의 목표 및 내용

Fig5

1) 라즈베리파이용 카메라와 MediaPipe라이브러리를 이용한 실시간 사용자 얼굴 방향 추적 본 프로젝트는 실시간으로 사용자의 얼굴을 인식하여 거치대가 사용자의 정면 모습을 추적하게 만드는 기술이 필요하다. 이를 구현하기 위해 라즈베리파이의 환경에서 mediapipe 라이브러리와 BlazeFace 모델의 face_mesh 추적기능을 통해 눈, 코, 입과 같은 사용자의 얼굴 특징들을 인식하고, 얼굴이 현재 바라보는 방향을 추정할 수 있도록 한다. 추출된 데이터를 기반으로 핸드폰 거치대의 위치와 각도를 자동 조정하여 사용자의 얼굴 방향을 따라 움직이게 할 예정이다.

- OpenCV를 사용하는 이유

  OpenCV와 mediapipe라이브러리를 사용하는 이유는 접근성이 좋고, 이미지 처리와 컴퓨터 비전 작업에 필요한 다양한 함수를 제공하기 때문에 복잡한 알고리즘 개발 시간을 절약하고 프로젝트의 효율성을 높일 수 있기 때문이다. 실제로 해당 라이브러리들은 안정성과 성능 면에서 검증되었고, 다른 라이브러리에 비해 확장과 수정이 용이한 것으로 알려져 있다. 또한 OpenCV의 경우 이전 프로젝트에서 사용해본 경험이 있기 때문에, 보다 더 사용하는 데에 있어서 친숙하다는 점을 고려하여OpenCV를 사용하기로 결정했다.

- 라즈베리파이를 사용하는 이유

  라즈베리파이는 Linux 기반의 운영 체제를 지원하여 다양한 소프트웨어와 라이브러리의 설치가 가능하다. 또한, 고해상도 카메라 연결이 용이하여 컴퓨터 비전 프로젝트에 적합하다고 생각하여 라즈베리파이를 선택하였다.

2) 거치대 manipulator 구성

manipulator의 경우 4개의 rotation joint를 지니는 4 DOF 구조의 거치대 제작을 목표로 한다. 4 DOF를 초과하는 manipulator은 제작 및 SW 설계가 어려울 것으로 판단하여 복잡한 매커니즘은 본 연구에서는 따로 고려하지 않기로 한다. 사용자의 머리맡은 고정되어있는 상태에서, 머리만 회전하여 움직이는 상황만을 가정한다. CATIA로 manipulator의 각 link들을 모델링하고, manipulator 구동상황을 바탕으로 ANSYS FEM tool로 응력해석을 하여 각 link의 내구성을 판단한다. 이 과정을 통해, manipulator 가 문제없이 거치대의 역할을 할 수 있도록 한다. 개략적인 거치대 manipulator 형태 및 구동 양상은 아래 Fig.7 과 Fig.8과 같다.

Fig6 Fig7

3) manipulator의 각도를 조절하기 위한 모터 제어

manipulator의 rotation joint를 구현하기 위해서 각도 제어가 용이한 모터인 서보모터를 사용한다. MediaPipe로 계산된 방향 정보와 모터 구동 사이의 딜레이를 최소화하기 위해 아두이노를 사용하지 않고 모터 드라이버를 라즈베리파이에 직접 연결하여 4개의 모터를 제어한다. 라즈베리파이에서 구한 사용자의 방향과 위치 값을 바탕으로 휴대폰이 점차 사용자 정면 방향에 가도록 제어한다. 방향 정보에는 카메라에 대한 사용자 얼굴의 roll, pitch, yaw 값과 사진 상에서의 사용자 코의 위치좌표가 나온다. Roll, pitch, yaw 값은 최소가 되도록, 코의 위치좌표는 사진 중앙에 오도록 제어한다.

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용

@@ 30번째 줄: / 30번째 줄: @@
 ===개발 과제의 개요===
 ====개발 과제 요약====
-내용
+기존 침대용 스마트폰 거치대 이용에는 자세 변경 시 사용자가 직접 위치를 재조정해야 하는 불편함이 있다. 이를 해소하기 위해 카메라를 통해 사용자의 얼굴을 인식하고 이를 바탕으로 자동으로 스마트폰의 위치를 조정해주는 자동 위치 조정 거치대를 개발한다. 라즈베리파이를 통해 MediaPipe 프레임워크를 사용하여 사용자의 눈의 위치를 파악할 수 있도록 하고, 모터드라이버를 통해 서보모터를 제어하여 사용자의 얼굴 방향에 맞추어 거치대가 구동할 수 있도록 한다. 이를 통해 침대에서 휴대폰을 이용하는 사용자가 수동 조정이 따로 필요없이 편리하게 스마트폰을 볼 수 있도록 한다.
 ====개발 과제의 배경====
-내용
+년 아이폰의 출시화 함께 스마트 폰이 등장했다. 아이폰의 출시와 함께 스마트폰으로 간단히 인터넷을 사용할 수 있게 되었다. 컴퓨터를 사용해야만 하는 작업이 스마트 폰으로 가능해졌고, App Store에 올라오는 다양한 어플리케이션을 이용해 단순 전화기를 넘어선 ‘만능 기기’로 재탄생했다. 연락, 업무, 은행 등 일상적인 일부터 유튜브, 넷플릭스 같은 스트리밍, 게임까지 다양한 취미생활까지 점령하고 있는 스마트폰은 이제 사람과 밀접한 관계가 되었다.
+컴퓨터로만 가능했던 일을 스마트폰에서도 할 수 있게 됨에 따라, 다른 작업과 함께 스마트폰을 이용하거나, 침대에서 사용한다는 등 더 편하게 스마트폰을 이용하기 위한 ‘휴대폰 거치대’가 등장했다.  초기의 거치대는 단순히 수동으로 각도 조정이 가능한 1자유도의 받침대 형태로 등장했다.
+Fig1
+이후 유연하게 움직이는 팔을 가진 거치대가 출시되었고, 각도를 자유롭게 조절하여 사용자가 원하는 상태로 만들 수 있게 되었다. 이는 여분의 자유도를 추가해 침대에 누워 편하게 스마트폰을 즐길 수 있는 환경을 조성했다.
+Fig2
+하지만 기존 스마트폰 거치대는 단순 고정 기능만 있을 뿐 자세가 조금이라도 달라지면 위치와 각도를 다시 조절해야 하는 번거로움이 있다. 만약 자주 뒤척이는 사용자가 기존 거치대를 사용하는 경우, 매번 거치대의 각도를 변경해야 하는 큰 번거로움이 있다.
+ 이러한 번거로움을 덜어주기 위해, 자동 조정 거치대를 찾아보면, 사용자의 얼굴을 인식하고 이를 바탕으로 각도를 조정하는 1자유도 자동형 거치대가 존재한다. 하지만 360도 회전하는 1자유도만 가지기 때문에 시선과 정확한 거치대를 맞추기 어렵고, 침대에서 휴대폰을 사용하는 경우가 많다는 점을 고려하면, 누워서 사용하는 것이 불가능하다는 단점이 있다.
+Fig3
+따라서 본 과제에서는 이러한 기존의 거치대의 단점을 보완할, 침대에서도 사용자가 누워서 편리하게 휴대폰을 사용할 수 있도록 4 자유도를 가지는 자동형 거치대를 제작하고자 한다. 그 이상의 자유도는 설계가 복잡하고 시간적 측면에서 불가능하다고 판단하여 4자유도를 택하였다.
+Fig4
+얼굴 방향 추출 방식에는 여러가지가 있지만, 접근성이 좋고, 정면이 아닌 경우에도 인식이 가능하며, 라즈베리파이와 같은 모바일 및 저사양 기기에 최적화된 mediapipe 라이브러리를 이용하기로 한다. 기존 기술인 Dlib 라이브러리는 68개의 landmark를 이용하여 사람의 얼굴 특징을 추출하는 방법이였다. 하지만, 낮은 정확도와 동 사양의 기기에서 최적화 부분에서 뒤쳐진 기술이었기에, mediapipe 라이브러리를 사용하기로 결정했다.
+Mediapipe 라이브러리에서는 얼굴 추적을 위해 기술적 특성이 약한 장치에 최적화된 BlazeFace 모델을 사용한다. 라이브러리에서 제공되는 face_mesh 추적 기능을 활용하여, 카메라를 통해 촬영한 사람의 얼굴 특징을 파악한다. 특히 BlazeFace을 통해 얻은 468개의 landmark 좌표값 중 눈, 코, 입 주변의 landmark 좌표 값을 통해 현재 사용자 얼굴의 방향을 추정할 수 있다.
+최종적으로, 기존의 거치대와 비교하여 현재 개발하려는 face-tracking 스마트폰 거치대의 장점은 다음과 같다.
+-	고개를 상하좌우로 움직이는 것에 맞춰 자동으로 각도를 변경하여 수동 조정이 필요 없다.
+-	4 자유도라는 면에서 기존의 자동형 거치대에 비해서 더욱 향상된 편의성을 가져다준다.
+종합하면, face-tracking 스마트폰 거치대는 사용자의 편의성을 증대할 것으로 예상된다. 본 연구에서는 거치대 중에서도, 사용자가 침대에 누워서 휴대폰을 사용할 수 있도록 하는 것에 초점을 두어, ‘침대용 face-tracking 스마트폰 거치대를 만들고자 한다. 이 제품을 통해 사용자는 한 자세로 오래 있어야 하는 불편함을 겪지 않아도 되며, 자세를 바꿀 때 마다 거치대 각도를 조정할 필요가 없으므로 사용자에게 더 큰 편리함을 줄 수 있다.
 ====개발 과제의 목표 및 내용====
-내용
+Fig5
+) 라즈베리파이용 카메라와 MediaPipe라이브러리를 이용한 실시간 사용자 얼굴 방향 추적
+본 프로젝트는 실시간으로 사용자의 얼굴을 인식하여 거치대가 사용자의 정면 모습을 추적하게 만드는 기술이 필요하다. 이를 구현하기 위해 라즈베리파이의 환경에서 mediapipe 라이브러리와 BlazeFace 모델의 face_mesh 추적기능을 통해 눈, 코, 입과 같은 사용자의 얼굴 특징들을 인식하고, 얼굴이 현재 바라보는 방향을 추정할 수 있도록 한다. 추출된 데이터를 기반으로 핸드폰 거치대의 위치와 각도를 자동 조정하여 사용자의 얼굴 방향을 따라 움직이게 할 예정이다.
+- OpenCV를 사용하는 이유
+   OpenCV와 mediapipe라이브러리를 사용하는 이유는 접근성이 좋고, 이미지 처리와 컴퓨터 비전 작업에 필요한 다양한 함수를 제공하기 때문에 복잡한 알고리즘 개발 시간을 절약하고 프로젝트의 효율성을 높일 수 있기 때문이다. 실제로 해당 라이브러리들은 안정성과 성능 면에서 검증되었고, 다른 라이브러리에 비해 확장과 수정이 용이한 것으로 알려져 있다. 또한 OpenCV의 경우 이전 프로젝트에서 사용해본 경험이 있기 때문에, 보다 더 사용하는 데에 있어서 친숙하다는 점을 고려하여OpenCV를 사용하기로 결정했다.
+- 라즈베리파이를 사용하는 이유
+   라즈베리파이는 Linux 기반의 운영 체제를 지원하여 다양한 소프트웨어와 라이브러리의 설치가 가능하다. 또한, 고해상도 카메라 연결이 용이하여 컴퓨터 비전 프로젝트에 적합하다고 생각하여 라즈베리파이를 선택하였다.
+) 거치대 manipulator 구성
+manipulator의 경우 4개의 rotation joint를 지니는 4 DOF 구조의 거치대 제작을 목표로 한다. 4 DOF를 초과하는 manipulator은 제작 및 SW 설계가 어려울 것으로 판단하여 복잡한 매커니즘은 본 연구에서는 따로 고려하지 않기로 한다. 사용자의 머리맡은 고정되어있는 상태에서, 머리만 회전하여 움직이는 상황만을 가정한다.
+CATIA로 manipulator의 각 link들을 모델링하고, manipulator 구동상황을 바탕으로 ANSYS FEM tool로 응력해석을 하여 각 link의 내구성을 판단한다. 이 과정을 통해, manipulator 가 문제없이 거치대의 역할을 할 수 있도록 한다. 개략적인 거치대 manipulator 형태 및 구동 양상은 아래 Fig.7 과 Fig.8과 같다.
+Fig6
+Fig7
+) manipulator의 각도를 조절하기 위한 모터 제어
+manipulator의 rotation joint를 구현하기 위해서 각도 제어가 용이한 모터인 서보모터를 사용한다. MediaPipe로 계산된 방향 정보와 모터 구동 사이의 딜레이를 최소화하기 위해 아두이노를 사용하지 않고 모터 드라이버를 라즈베리파이에 직접 연결하여 4개의 모터를 제어한다. 라즈베리파이에서 구한 사용자의 방향과 위치 값을 바탕으로 휴대폰이 점차 사용자 정면 방향에 가도록 제어한다. 방향 정보에는 카메라에 대한 사용자 얼굴의 roll, pitch, yaw 값과 사진 상에서의 사용자 코의 위치좌표가 나온다. Roll, pitch, yaw 값은 최소가 되도록, 코의 위치좌표는 사진 중앙에 오도록 제어한다.
 ===관련 기술의 현황===