5조-약쟁이들

프로젝트 개요

기술개발 과제

국문 : 얼굴 인식을 이용한 자동 알약 배급기..

영문 : 영문 Automatic Pill Dispenser Using Face Recognition ..

과제 팀명

약쟁이들..

지도교수

이동찬 교수님 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20164300** 방**(팀장)

서울시립대학교 기계정보공학과 20154300** 김**

서울시립대학교 기계정보공학과 20174300** 송**

서울시립대학교 물리학과 20175500** 강**

서울시립대학교 물리학과 20175500** 임**

서론

개발 과제의 개요

개발 과제 요약

본 프로젝트는 영양제를 규칙적으로 섭취하는 1~4인 가구를 대상으로 해 각 개인에게 필요한 알약이나 영양제 등을 빠르고 효율적으로 배급하기를 목표로 함. 이를 위해 Opencv를 활용한 얼굴인식 딥러닝 모델을 활용하여 각 가구 구성원의 얼굴을 구분하고 해당 인원에게 필요한 종류의 알약을 배급하는 것을 목표로 한다.

개발 과제의 배경

영양제에 대한 관심과 수요가 늘어나며, 매일 수 개에서 수 십개씩 영양제를 챙겨 먹는 현대인이 늘어났다. 질병관리청에 따르면 국민의 45%가 영양제를 챙겨 먹고 있으며, 이는 3년 전에 비해 13%p가량 가파르게 증가한 수치이다. 영양제 정보 서비스인 필라이즈(Pillrise)가 조사한 ‘영양제 분석 리포트’의 15,171건의 데이터에 따르면 영양제를 섭취하는 현대인은 평균 4.3개를 주기적으로 섭취하며 8개 이상의 영양제를 섭취하는 인원도 전체의 12.9%에 달한다. 
규칙적으로 복용하는 영양제의 개수가 늘어남에 따라 일일히 뚜껑을 열었다가 닫는 번거로움이나 소요되는 시간이 늘어남은 물론이고 일부 알약들은 습기에 영향을 받을 수 있기 때문에 보관 상태에 악영향을 끼치게 된다. 또한 여러 명이 함께 사는 가구의 경우 구성원 각자에게 필요한 영양제가 다를 수 있어서 혼란의 여지가 있음에 따라 이러한 불편을 해소하기 위해 등록된 얼굴을 구분, 인식하여 각자에게 필요한 약이나 영양제를 자동으로 배급해주는 기계를 구상하였다.

개발 과제의 목표 및 내용

본 프로젝트의 가장 궁극적인 목표는 얼굴 인식을 통해 정해진 대상에게 정해진 알약을 정해진 개수만큼 빠르고 정확하게 배급하는 것이다. 이를 위해 프로젝트의 내용은 크게 기계적 부분과 소프트웨어적 부분으로 나뉘게 된다.
RasberryPi를 기반으로 OpenCV (haar cascade)를 이용해 얼굴 등록과 얼굴 인식을 처리하며, 기계부와의 내부 통신 및 모터 구동, 부족한 알약 감지와 같은 제어는 아두이노와 필요한 센서들을 통해 수행하며, 기계적 매커니즘 부분을 수행할 부품은 3D 프린팅을 이용해 출력한다. 이에 따라 알약의 모양과 크기에 관계없이 정해진 개수만큼 배출될 수 있도록 메커니즘을 개발할 필요가 있다. 카트리지 내부의 습도를 조절하기 위해 실리카 겔 등이 이용될 수 있으며, 얼굴 인식에서부터 알약이 배출되기까지의 구동 시간 목표를 5초로 설정하였다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황 1. 알약 자동 분배기 1.1. 알약 데이터 베이스

알약 자동 분배기는 알약의 정보가 저장되어 있는 데이터베이스를 기기에 내장한다. 와이파이 등 무선 인터넷 연결 기술을 이용하여 제약사에서 업데이트해주는 알약의 정보를 데이터베이스에 업로드할 수 있다. 또한 사용자가 등록하려는 알약 명칭의 일부만 알고 있어도 알약 검색 기능을 갖추고 있어 정확한 알약을 찾는데 사용된다. 사용자는 복용하고자 하는 알약을 기기에서 제공하는 스케줄 기능에 맞추어 등록할 수 있다. 또한 복용할 시각을 선택하고 사용자에게 알린다. 추가적으로 카트리지에 담으려는 알약을 데이터 베이스에서 검색하여 선택하면 담기 적절한 크기의 카트리지를 사용자에게 제시한다.
또한 보호자에게 알약이 공급된 시간, 복용 횟수 등이 담기 요약 보고서를 제공한다. 또한 핸드폰 문자 메세지, 메일 등으로 약 복용 여부, 기기의 방전 여부 등을 전송하여 사용자 혹은 보호자에게 정보를 전달한다.

<보호자 및 사용자에게 제공되는 보고서(좌측), 스케줄 등록 터치 스크린(우측)>

1.2. 알약 분배 매커니즘

알약은 사용자가 등록한 정보에 맞추어 제공된다. 이때 진공 펌프에 전원이 공급되고 팁(876)을 통해 공기가 흡입된다. 진공을 생성하고 적어도 하나의 알약을 끌어당기도록 의도된 흡입력을 야기하기 위해 마이크로 스위치 프로브 팁(878)이 물체나 용기 표면과 움직임이 없는 접촉을 할 때마다 피드백이 된다. 이때 압력 변환기(또는 다른 유형의 센서 및 회로)는 팁에 의해 적어도 하나의 알약이 파지(진공으로 인한 압력 차이로 인해 알약이 프로브에 압착하게 된 상태를 의미한다) 되었을 때의 음압의 피드백을 제시, 이를 통해 프로브를 끌어올리는 판단을 한다.

<프로브(876)와 팁(878), 캐니스터(228, 226)>

1.3. 싱귤레이션

싱귤레이터의 한 예는 물체가 검색되어야 하는 구멍이며, 여기서 구멍은 단 하나의 물체만 검색될 수 있도록 가변적으로 크기가 지정된다. 검색 프로브 및 팁은 적어도 하나의 물체 또는 물체를 유지하면서 구멍을 통과할 만큼 충분히 작아야 한다. 프로브와 팁보다 작은 물체의 경우, 프로브와 팁이 구멍을 통과하도록 구멍을 조정할 수 있으며 구멍의 크기는 하나의 물체만 통과할 수 있도록 조정된다.
때로 길이가 직경보다 큰 제약 캡슐 등을 찾을 때, 조리개는 종종 검색되는 대상의 길이 치수보다 작게 조정된다. 물체가 회수 프로브의 끝 부분에 끌리는 경우(예: 물체의 긴 면이 팁과 접촉하는 경우), 물체의 긴 치수보다 작은 구멍을 통해 물체를 회수하는 것은 불가능하지만 팁과 검색되는 물체 사이의 인력이 충분하면 물체가 프로브 팁에 압착된 채 방향이 바꿀 수 있다. 물체가 제한적인 구멍을 만났을 때, 조리개와 압착력에 의해 재배열된 물체는 구멍에 더 작은 치수, 단면 또는 덜 제한적인 모양이 될 수 있고 구멍을 성공적으로 통과할 수 있다. 특히 개구를 둘러싸는 표면을 테이퍼링(예: 개구 개구 방향으로 점점 가늘어지는 원뿔 모양)하면 물체가 성공적으로 방향을 바꿀 가능성이 높아진다.

싱귤레이터의 다른 예는 디지털 이미지 캡처 장치 및 검색된 대상(들)의 복수의 이미지를 분석하여 단일 또는 다수의 대상이 서치되었는지 여부를 결정하는 관련 이미지 처리 회로이다. 이미지 기반 싱귤레이션 장치는 적절한 약물(예를 들어, 알약 유형)이 분배를 위해 서치되었음을 보장하기 위해 물체를 추가로 검증할 수 있다.

또한, 위 두개의 싱귤레이션이 동시에 적용되는 복수의 싱귤레이션 기술이 조합될 수 있다.

<이미지 처리에 활용되는 카메라(480), 가변 오리피스의 도면(우측)>

2. 얼굴 인식 기술 2.1. Face ID

도트 프로젝터를 활용해 만든 보이지 않는 점을 이용하여 얼굴의 30,000개 이상의 점을 투영해 핸드폰 사용자의 얼굴의 특징적인 데이터를 저장하는 맵을 만들고 인식 시에는 적외선 센서와 True Depth 카메라로 도트 패턴을 판독하여 저장된 얼굴 데이터와 대조해 사용자를 식별하는 기술이 Face ID이다. 이 기술의 특징은 얼굴을 적외선으로 인식하기 때문에 어두운 곳에서도 문제없이 인식 가능하고, 안경, 모자를 쓰고 수염을 기르더라도 정확히 인식할 수 있는 점이다.
기존 얼굴 인식과 다르게 머신러닝을 통해 사용자의 얼굴 변화를 감지하는 기술을 적용해 보안성을 크게 높인 것이 Face ID의 장점이다. 또한 A11 바이오닉 칩 내부에 있는 별도의 보안 구역에 암호화된 얼굴 맵 정보를 저장하는 방법을 통해 정보를 보호하기 때문에 생체 정보가 유출될 걱정이 없다.

2.2. Deep Face

딥러닝 기술이 얼굴인식에 처음으로 접목된 연구는 2014년 CVPR에서 발표된 Facebook의 DeepFace 연구이다. DeepFace에서는 사전에 학습된 3D 얼굴 기하 모델을 이용하여 랜드마크 추출 후에 어파인(affine) 변환에 의해 얼굴 정렬을 수행한 후 9개의 층으로 구성된 컨볼루션(Convolution) 신경망을 Facebook이 내부적으로 수집한 대용량의 데이터를 이용해 학습하였다.
이때, 얼굴 영역 내의 지역적인 특징을 효과적으로 추출하기 위하여 국소 연결(Locally Connected) 컨볼루션 층을 사용한 것이 특징이다. DeepFace 구조는 LFW 데이터셋에 대해 97.35% 정확도를 달성하면서 기존 Hand-crafted 특징 기반 방법과 비교했을 때 약 27%의 인식률을 향상시키면서 딥러닝 기반 방법이 매우 성공적임을 보여주는 사례가 되었다.

2.3. VGGFace

DeepFace 이후로 등장한 구조는 옥스포드 대학의 Visual Geometry Group(VGG)에서 제안한 VGGFace 딥 네트워크 구조이다. VGGFace에서는 인터넷 검색을 통해 직접 만든 대용량의 얼굴인식을 위한 데이터셋인 VGG 얼굴 데이터셋을 공개하고, 이 데이터를 이용하여 15개의 컨볼루션 층으로 구성된 딥 네트워크 구조를 학습시켰다. VGG에서는 VGGFace 학습 모델을 제공할 뿐만아니라, ImageNet 영상인식 챌린지(Challenge)에서의VGG 구조와 마찬가지로 상대적으로 간단한 3×3 컨볼루션 필터를 이용하여 학습시킴으로써 VGGFace는LFW 데이터셋에 대해 DeepFace보다 약 1% 정도 개선된 98.95% 성능을 달성하였다.

2,4. Distance Metric Learning

앞에서 언급한 다양한 얼굴인식 딥 네트워크 구조에 대한 연구 사례와 더불어서 손실함수(Loss Function)의 재정의를 통한 분별력 있는 특징을 학습하기 위한 거리 척도 학습(Distance Metric Learning)에 대한 연구가 수행되었다. 대표적으로, 구글에서 발표한 FaceNet에서는 동일한 인물에 대해 추출된 특징들 사이의 유클리디언(Euclidean) 거리가 다른 인물들로부터 추출된 특징들 사이의 유클리디언 거리보다 작다는 Triplet Loss를 정의하여 딥 네트워크를 학습시킨 사례가 있다. 즉, 학습을 통해anchor 특징과 동일인에 대한 Positive 특징 사이의 거리가 negative 특징과 비교했을 때 가까워지는 것이다. 이때, 기본 딥 네트워크 구조는 22개 층으로 구성된Inception 네트워크를 사용하였고, 내부적으로 수집된 500M 장의 얼굴 영상 데이터셋으로 학습하였다. 학습을 통해 얼굴 영상 입력에 대해 높은 분별력을 갖는 128바이트(bytes)의 특징 embedding을 수행하였고, LFW 데이터셋에 대해 99.6%의 정확도를 보였다.

특허조사 및 특허 전략 분석

내용

기술 로드맵

내용

시장상황에 대한 분석

경쟁제품 조사 비교

내용

마케팅 전략 제시

내용

개발과제의 기대효과

기술적 기대효과

내용

경제적, 사회적 기대 및 파급효과

내용

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용