2조-졸업시켜조

프로젝트 개요

기술개발 과제

국문 : 낙상감지와 복약보조를 위한 실버 케어 홈 IoT시스템

영문 : Silver generation care home IoT system for fall detection and medication assistance

과제 팀명

졸업시켜조

지도교수

김태현 교수님

개발기간

2022년 9월 ~ 2022년 12월 (총 4개월)

구성원 소개

서울시립대학교 기계정보공학과 20174300** 박**(팀장)

서울시립대학교 기계정보공학과 20174300** 김**

서울시립대학교 기계정보공학과 20164300** 안**

서울시립대학교 기계정보공학과 20174300** 이**

서울시립대학교 기계정보공학과 20174300** 한**

서론

개발 과제의 개요

개발 과제 요약

사용자(노인)가 정해진 시간에 약을 먹을 수 있도록 하고 사용자의 낙상을 감지하는 실버 케어 홈 IoT 시스템을 개발한다. 보호자용 어플리케이션을 통해 보호자는 사용자가 언제 어떤 약을 먹을지 정할 수 있고 사용자의 낙상이 감지될 때 알림을 받을 수 있도록 한다. 사용자는 음성을 통해 오늘 어떤 예약이 있고 보호자의 메시지를 받는 등 홈 IoT 시스템과 간단한 상호작용을 할 수 있도록 하며 알약 디스펜서를 제작하여 직접 알약을 배출할 수 있도록 한다.

개발 과제의 배경

고령화 사회에서 독거노인과 디지털 취약 계층이 늘어나고 의료적인 부분에서 이들을 돌봐 주는 사람이나 시설 또한 부족해짐에 따라 이들을 케어 해주는 홈 IoT 시스템이 필요하다. 또한 독거노인 수는 해마다 증가하지만 정부의 복지서비스인 돌봄 기본서비스 대상자 수에는 차이를 보이지 않고 있어서 돌봄이 필요한 독거노인의 절반 이상이 도움을 받지 못하고 있는 상황이다.

노인에게 발생하는 의료안전사고의 1위가 낙상으로 49.6%이고, 2위가 투약으로 31.1%이므로 낙상과 투약으로 인한 문제를 해소해야 한다.

또한, 대부분의 노인 낙상은 집에서 일어난다. 따라서 홈 IoT 시스템을 집 내부에 배치하여 노인의 낙상을 감지하고 낙상 발생시 신속한 케어를 해주어 늦은 치료로 인해 발생되는 추가적인 부상을 예방하도록 한다.

전체 노인의 10.26%는 약물을 10 종류 이상 처방 받는 다제복용자이다. 하지만 노인 환자 247명 중 83명(34%)가 제대로 약물을 복용하지 않는다. 기존의 돌봄 로봇의 경우 약을 복용하라는 메시지를 출력하지만 약물 복용 시간 알림 뿐만 아니라 약물을 직접 배분해 줄 필요성이 있다. 또한 돌봄 로봇 중 일부는 어플리케이션을 이용해야 하거나 복잡한 절차를 갖는 등 노인이 사용하기에 어려운 작동방식을 갖고 있다. 노인의 경우 디지털 소외가 심화가 되어 IT 취약계층이다. 따라서 사용하기 편한, 단순한 UI와 음성 안내를 통해 상호작용을 구현하고자 한다.

개발 과제의 목표 및 내용

개발 목표

사용자(노인)의 낙상을 감지하고 복약을 보조하는 실버 케어 홈 IoT 시스템을 개발한다.

낙상 감지를 위한 카메라 촬영 및 알약 배분 가능한 하드웨어를 제작한다
YOLO를 이용해 낙상 감지 알고리즘을 개발하고 이를 통해 사용자의 낙상 여부를 판단한다.
보호자가 설정한 시간에 맞추어 약을 제공하는 알고리즘을 제작한다.
복약 시간 예약 등 보호자와의 상호작용을 위해 보호자용 휴대폰 어플리케이션을 제작한다.
사용자가 쉽게 사용할 수 있도록 음성 안내를 위한 음성 인식 기능을 개발한다.

개발 내용

1) 카메라촬영 및 약물배분이 가능한 하드웨어 제작

사용자를 추적하여 촬영하기 위해 회전 가능한 카메라를 설치한다. 사용자가 감시 받는 느낌을 최소화하고자 카메라 케이스를 반투명 유리로 제작하거나 눈에 띄지 않는 부분에 설치하고자 한다. 디스플레이를 통해 사용자에게 알림을 제공하거나 웃는 얼굴을 보여주어 친숙함을 주는 등 상호작용이 가능하도록 한다. 하드웨어 후면부에 알약 공급을 위한 알약 디스펜서를 제작하여 설치한다. 디스펜서는 알약 공급을 위한 투입구와 배출구, 알약 저장공간으로 구성되어 있으며 디스펜서의 배출구는 하드웨어의 배출구와 이어져 있다. 알약 저장공간은 아침, 점심, 저녁 전용의 3개로 나뉘어서 각각 모터와 연결되어 있다. 배출구는 경사지게 만들어서 알약이 배출되기 용이하게 하고 사용자가 알약을 잡기 편하게 설계한다.

2) YOLO 알고리즘을 통한 낙상 여부 판단 알고리즘 개발

사용자의 낙상을 감지하기 위해서는 사용자를 실시간으로 추적할 필요가 있다. 회전이 가능한 카메라를 제작하고 추적 알고리즘을 개발하여 사용자를 계속해서 추적한다. 실시간으로 사용자를 추적하여 촬영한 후 YOLO 알고리즘을 이용해 낙상을 감지하는 시스템을 개발한다. 낙상과 일반적인 누운 자세를 구별해 내고 빠르게 판단할 수 있도록 한다.

3) 설정된 시간에 맞추어 약을 제공하는 알고리즘 개발

사용자의 보호자가 어플리케이션을 통해 복약 시간을 설정한다. 설정한 복약 시간에 맞추어 하드웨어에서 자동으로 알약을 배분하고 음성 안내를 통해 사용자가 복약을 하도록 한다. 복약이 끝난 후 음성을 통해 간단한 확인 절차를 하고 복용 여부를 보호자용 어플리케이션에 전달해 확인할 수 있도록 한다.

4) 보호자용 휴대폰 어플리케이션 개발

홈 IoT가 낙상을 감지할 시 보호자의 어플리케이션에 낙상 알림을 보낸다. 어플리케이션을 통해 복약 시간을 설정할 수 있고 병원 예약 정보를 어플리케이션에 기입하면 홈 IoT에 전송되어 디스플레이에 표시해준다.

5) 음성 인식 기능 개발

정해진 시간에 맞추어 홈 IoT에서 약이 배분된 후, 일정 시간이 지나면 음성 안내를 통해 사용자의 복약 여부를 확인한다. 만약 사용자가 “먹었어” 라는 음성을 말하면 기기에서 이 음성을 받아 분석한 후 복약을 완료했다는 알림을 보호자용 어플리케이션에 보낸다. 사용자와 음성으로 상호작용을 하는 이유는 서비스 사용자층이 주로 독거 노인이고 이분들은 디지털 소외계층으로, 기기와 상호작용시에 음성이 가장 조작하기 쉽고 정서적으로도 외로움을 해소시킬 수 있기 때문이다.

관련 기술의 현황

기술 로드맵

노인 돌봄 서비스

노인 돌봄 서비스는 크게 3세대로 구분되어 발전하였다. 초기 1세대 노인 돌봄 서비스는 응급전화 및 응급안전목걸이와 같은 노인 돌봄 응급알람 서비스이다. 고령층이 긴급 상황에 직면했을 때 응급 버튼을 누르면 원거리에서도 언제든지 도움을 받을 수 있도록 고안된 서비스이다. 응급상황을 인식하고 버튼을 누르지 않으면 어떤 돌봄을 볼 수 없다는 한계가 있어 이를 보완한 2세는 화재경보기, 가스누출기와 같은 자동알람 시스템을 사용하고 있다. 2세대의 특징은 사용자가 응급 버튼을 누를 필요가 없다는 것이다. 하지만 사전적 예방보다는 사후적 돌봄에 중점을 두고 있다. 이를 극복한 것이 3세대 서비스이다. 사물인터넷, 빅데이터 및 인공지능을 활용하여 이상 징후가 발생하면 위험 발생 이전에 예방적 돌봄 서비스를 제공하는 방법이다.

낙상감지

Object Detection은 컴퓨터비전(Computer vision), 영상처리(image processing)와 관계가 깊은 컴퓨터 기술이다. Computer Vision에서는 객체 검출(Object Detection), 객체 인식(Object Recognition), 객체 추적(Object Tracking) 세 가지 용어가 혼재되어 사용된다. 단, 객체 인식은 객체가 어떤 것인지를 구분하고, 객체 검출은 객체 인식 보다 더 작은 범위로써 객체의 존재 유무만 판단하는 것을 말한다. 객체 인식을 하기 위해서는 해당 이미지 혹은 영상에 객체가 있고, 그것이 무엇이냐를 찾는 문제이기 때문에, 객체 검출이 선행되어야 한다. 일반적으로 객체 검출 알고리즘은 찾고자 하는 객체의 특징을 사전에 추출하고 주어진 영상 내에서 해당 특징을 검출하는 방법을 사용한다. 전통적으로 영상처리에서 사용했던 객체 검출 알고리즘은 특징 엔지니어링(Feature Engineering)기법을 통하여 수학적으로 혹은 실용적으로 검증된 특징을 추출(Feature Extraction)하여 특징들의 분포(Distribution)에서 경계 결정(Boundary Decision)을 찾는 방법을 주로 사용했다. 전통적인 특징 추출(Feature Extraction) 방법은 Haar-like feature, HOG(Histogram of Oriented Gradient), SIFT(Scale Invariant Feature Transform), LBP(Local Binary Pattern), MCT(Modified Census Transform) 등이 있다. 최근에는 딥 러닝 중 CNN(Convolutional Neural Network)을 기반으로 한 다양한 검출 및 인식 알고리즘이 발전되고 있다. 최근 딥러닝 알고리즘에서의 객체 검출 알고리즘은 객체 검출과 인식을 통합하여 처리하고 있다.

자동화 알약 디스펜서

타이머가 있는 수동 알약 디스펜서

환자가 특정한 시간 이외에는 알약에 접근할 수 없고 특정한 시간에 약통에 접근하면 알약을 수동으로 가져갈 수 있다. 환자가 알약을 가져가는 것이 타이머의 트리거로 작동된다.

자동 순서 분배 알약 디스펜서

복수의 알약 보관 구획으로부터 미리 결정된 순차적인 순서로 미리 포장된 알약을 이격된 시간 간격으로 분배하기 위한 알약 시간 대응 표시기를 구비한 리필형 디스펜서이다.

자동 알림 및 분배기능 알약 디스펜서

자동 분배 알약 디스펜서 기능에 환자에게 경보를 울리는 기능이 추가된 디스펜서이다.

음성 인식

1950년대 벨 연구소에서 음성 인식 기술이 처음 발명되었을 때는 3살 아이 수준의 수준이었다. 이후 HMM과 같은 모델들이 생겨났지만 하드웨어 성능의 한계로 빙하기를 맞이하였다. 그러다 2010년대 들어서 AI 모델, 방대한 데이터, 컴퓨팅 자원이라는 3박자가 모두 충족됨에 따라 빙하기를 깨고 음성인식 분야가 딥러닝을 타고 급속도로 발전하였다. 기존의 HMM 기반 음성인식과는 달리 종단형 음성인식(End to End ASR)의 등장으로 HMM 기반 시스템의 단점이었던 개별 구성요소를 독립적으로 학습해야 하는 점을 해결했다. 하지만 E2E 방식은 실시간 음성 처리에 한계가 있었는데, 스트리밍 방식의 E2E가 개발됨에 따라 이 또한 해결되었다. 2020년대에 이르러서는 Wav2Vec, HuBERT 비지도 학습 기반의 음성인식 모델이 출현함에 따라 새로운 도약이 이루어지고 있다.

특허조사 및 특허 전략 분석

특허 조사

특허 전략

수동식 알약 분배기의 경우 회전에 따라 배출홀이 낙하로와 겹쳐질 시 알약이 낙하하는 방식이 본 프로젝트에서 구현할 방식과 비슷하지만 프로젝트에서는 알고리즘을 통해 모터에 의한 돌림각을 조절하여 자동 배출되는 구조이다. 기계학습을 기초로 낙상 사고를 감지하는 방법 및 그를 이용한 시스템의 경우 그 청구항으로써 신호발생부를 포함하고 있으므로, 별다른 신호발생부를 제작하지 않는다면 구성요소 완비의 원칙에 의하여 특허를 침해하지 않고 개발할 수 있다. 영상분석 기반 1인 낙상 감지 시스템 및 방법의 경우 그 청구항으로써 2명이상의 인원에 대해서는 낙상감지를 하지 않고, 낙상상태, 회복상태, 정상상태의 세 상태로 나누어서 낙상여부를 판단하므로 위와 같은 과정을 따르지 않는다면 특허를 침해하지 않고 개발할 수 있고 특허 출원에 있어 신규성을 충분히 얻을 수 있다.

시장상황에 대한 분석

경쟁제품 조사 비교

효돌

부모사랑 효돌은 24시간 사용자 곁에서 정서, 생활, 인지 건강을 도와주는 AI 반려 로봇이다. 온몸에 다양한 센서를 가지고 있어, 만지면 음성으로 반응하고 주요 기능으로는 능동적 대화로 생활, 정서 관리, 다양한 콘텐츠 제공, 전화 요청 기능, 치매 예방 운동, 움직임 감지 기능, 긴급 알림 단체 메시지 등이 있다. 전용 어플리케이션을 통해 보호자와 사용자가 상호작용이 가능하다. 스마트폰과 마찬가지로 충전식이며 한 번 충전 시 2일 정도 사용이 가능하다.

마이봄2

이동이 가능한 돌봄 로봇이다. 스스로 실내환경 지도를 작성하며 이동 시 물체 및 장애물을 인식하여 회피한다. 자율주행이 가능하며 사람을 계속해서 추적한다. 모니터를 통해 얼굴 표정 변화가 가능하고 약 복용 시간을 알리고 응급 상황을 감지한다. 이동이 가능하여 로봇이 자동으로 충전이 가능하다.

AI 케어로봇 시니어

AI 케어로봇 시니어는 사용자에게 놀이, 보호자에게는 케어서비스, 지자체에는 노인 건강 Big data를 제공하여 24시간 입체적인 케어 서비스를 제공한다. 음성 및 영상 분석을 통해 이상 징후 감지 시 보호자 및 119에 응급콜을 보낸다. 전용 어플리케이션을 통해 사용자의 건강, 정서 상태를 분석해 관리가 가능하고 로봇을 통해 사용자와 보호자가 손쉽게 연결이 가능하다. 음성정보, 영상정보를 분석하여 사용자에 맞춘 서비스를 제공한다.

창공이

창공이의 주요 기능은 복약보조와 낙상감지이다. 전용 어플리케이션을 통해 복약 시간을 설정할 수 있고 해당 시간에 디스펜서를 통해 사용자에게 약을 제공한다. 음성인식을 통해 복용 여부를 확인하여 보호자에게 알린다. 실시간 사용자를 추적하여 낙상을 감지한다. 감지 시 어플리케이션을 통해 보호자에게 알리고 영상을 제공한다. 이 밖에 일정 예약 및 알림 서비스 등이 있다.

마케팅 전략 제시

Strengths

기존의 돌봄 로봇 제품들 중에 복약지도가 있는 경우를 보면, 단순히 복약 안내 음성이 나올 뿐, 로봇이 약을 직접 제공해 주지는 않는다. 본 프로젝트에서는 알약이 미리 설정한 시간에 배분되고, 이후에 복용 여부를 확인하는 음성을 내보내어 사용자의 음성 응답이 있을 때까지 기다리기 때문에 약을 정확하게 먹었는지 확인할 수 있다는 강점이 있다.

Weaknesses

시중의 돌봄 로봇에 비해 기능이 적어 모든 사용자의 니즈를 폭 넓게 충족시킬 수 없다. 또한 본 프로젝트는 고정형으로 제작되기 때문에 사용자가 카메라 밖으로 벗어난 경우 낙상 감지가 불가능하다는 에로사항이 있다. 따라서 사용자를 추적하여 카메라를 자동으로 회전시켜 계속해서 촬영할 수 있도록 하고자 한다. 음성 인식이 제대로 되지 않을 경우 사용자가 직접 디스플레이를 터치하여 복용 여부를 알려야 해서 번거로움이 있을 수 있다. 번거로움을 최소화하고자 어떠한 절차 없이 디스플레이를 한 번만 터치하도록 하고 직관성 있는 UI를 통해 IT 취약계층도 쉽게 이용하도록 한다.

Opportunities

이미 시중에 판매되고 있는 제품들은 낙상감지 기능이 없거나 복약 안내 기능은 있지만 복약을 보조해주지는 않는 것들이 다수다. 본 프로젝트를 통해 시제품을 제작하게 되면 낙상감지, 복약 보조 기능을 원하는 고객층을 타겟으로 마케팅을 진행할 수 있어 노인 보조 홈 IoT 시장에서 경쟁력이 있을 것으로 예상한다.

Threats

카메라가 항시 작동하고 있기 때문에 사용자의 사생활 침해를 우려할 수도 있다. 이에 따라 카메라가 작동하고 있지만 데이터를 저장하고 있지 않다는 사실을 명확한 근거로 제시할 필요가 있어 보인다. 만에 하나 발생할 수 있는 낙상 감지 기능이 제대로 작동되지 않아서 생기는 2차 피해에 대해 어떻게 대처할 것인지에 대한 논의가 필요해 보인다. 판매 대상이 노인으로 한정되어 구매 수요가 적을 것으로 예상된다. 따라서 구매 대상을 어떻게 확장 시킬지에 대한 논의 또한 필요하다.

개발과제의 기대효과

기술적 기대효과

홈 IoT 시스템과 보호자 스마트폰간 상호 전달할 수 있는 데이터의 종류가 증가하면 할수록 보다 폭넓은 서비스 제공이 가능하다. 약 배분 기능이 고도화됨에 따라 차후 사전에 약 복용 시간을 입력하지 않고도 사용자의 식사 등을 감지하여 상황에 맞게 약을 배분해주는 기능도 개발될 수 있다. 센서를 사용하지 않고 카메라의 객체 탐지 기술만을 이용해서 추가적인 센서가 사용되는 것을 막았으며, 차후 단일 대상 낙상 감지뿐만 아니라 다양한 다중 돌발 위급사항을 감지하는 기능을 제공할 수 있는 가능성이 있다.

경제적, 사회적 기대 및 파급효과

경제적 파급효과

최근 4년간(2018년~2021년) 소비자위해감시시스템에 접수된 고령자 안전사고 2만3561건 중 낙상사고가 62.7%(1만2015건)이었다. 노인 낙상은 보통 심각한 부상으로 이어지기 때문에 장기간 치료를 요하고 이에 따라 경제활동에 참여를 할 수 없게 된다는 가정을 한다. 그리고 경기연구원에 따르면 2020년 65세 이상 노인의 경제활동 참가율은 36.8%며, 보건복지부에 따르면 2020년 65세 이상 노인의 연간 평균소득이 1558만원이고, 년간 평균 노인 낙상사고수가 3천건 이므로, 1건당 1명으로 가정하고 낙상으로 인해 감소하는 전체 소득을 계산해보면 3000 * 0,368 * 1558만원 = 172억원 가량의 소득을 해당 노인들은 얻지 못하게 되고 경제력이 더욱더 낮아지게 된다. 이때 우리의 홈 IoT를 사용한다면 낙상사고 발생시 신속한 의료조치로 일자리에 빠르게 복귀가 가능해져 경제력을 회복하는데 도움을 줄 수 있다.

사회적 기대효과

수십년간 지속된 핵가족화, 개인주의화의 도래로 65세 이상 독거 노인의 수는 2000년 이래로 지금까지 지속적으로 증가하고 있고 미래에는 더욱더 고령화가 심화될 것이다. 또한 노인 고독사 사망자수도 증가하고 있는 상황이다. 이에 따라 미래에 더 증가할 노인의 사건 사망 1, 2순위인 낙상과 복약 안내 기능이 탑재된 우리의 홈 IoT를 독거 노인분들에게 제공한다면 복지 사각지대에 놓인 독거노인들의 낙상사고를 지켜주기 때문에 부상으로 활동이 줄어들어 고독에 빠지는 것을 방지해준다. 나아가 대화 기능이 추가된다면 정서적 상호작용까지 가능해져 노인 고독사를 완벽하게 예방할 수 있을 것이다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

목적 계통도

설계 사양

개념설계안

가. 사용자 추적 및 낙상감지

낙상감지 방식

낙상감지 방식 설계안에서 영상 처리 방식의 낙상감지 알고리즘의 경우 영상 정보를 받기 위해 카메라와 사용자를 계속해서 추적해 촬영할 수 있는 사용자 추적 알고리즘이 필요하다. 카메라의 작동 방식은 사용자를 계속해서 추적해야 하기에 고정된 상태에서 상하좌우 회전할 수 있는 팬-틸트 방식으로 구현하고자 한다.

카메라 종류

사용자 추적 알고리즘

나. 복약보조 기능

알약 디스펜서

알약 디스펜서는 알약을 종류별로 분배해주는 방식과 순서대로 보관된 알약을 분배해주는 방식이 있다. 노인들은 다제복용자가 많으므로 알약을 한 번에 많이 복용하는 경우가 많다. 따라서 순서대로 보관된 알약을 분배하는 방식이 본 프로젝트에 유리할 것으로 판단된다. 순서대로 분배하는 알약 디스펜서의 내부 구조에 대한 이해를 돕고자 Figure 을 통해 설명한다.

순서대로 분배하는 알약 디스펜서의 형태

회전부는 하부와 결합할 수 있게 설계하였으며 틈새의 여유 폭은 0.1mm로 두었다. 밑면에는 키를 설치하여 모터와 연결이 가능하도록 설계하였다. 하부에서는 디스펜서의 회전부가 정확하게 회전하는 것을 돕기 위해 45도마다 브레이크를 설계하였다. 또한 하부에 연결되는 키 부분은 디스펜서 하부를 회전으로부터 고정해주고 리필된 디스펜서를 장착할 때 정확한 위치로 이끄는 역할을 한다.

순서대로 분배하는 알약 디스펜서 고정부

디스펜서 고정부는 3개의 디스펜서를 수직으로 모아주는 역할을 한다. 따라서 고정부 하부에 모터 3개를 층마다 설치한다. 고정부의 기둥 부분에는 디스펜서 하부의 키 부분을 꽂아서 정확한 위치로 갈 수 있도록 설계한다.

모터 모듈

알약을 종류 또는 순서에 맞게 배분하기 위해서는 알약 디스펜서가 회전할 필요가 있다. 서보모터는 모터의 속도를 제어하여 회전하고 스텝모터는 일정한 각도 단위로 이동 회전각을 제어하며 회전한다. 따라서 회전 모터 중 알약 디스펜서에 사용될 모터들은 위에 세 가지 모터가 제일 적합할 것으로 판단하였다.

다. 사용자 인터페이스 기능

STT(Speech to Text) 서비스

TTS(Text to Speech) 서비스

라. 제어 및 기구부

메인보드

마. 홈 IoT와 어플리케이션 상호작용

서버

개념 설계안 선택

상세설계 내용

개념 설계안 전체 구조도

조립도 및 부품도

가. 카메라 회전부

조립도 구성 요소

조립도

카메라 회전부의 결합은 서보모터가 장착된 팬 틸트 브라켓 카메라 고정 부분에 나사를 이용해 나사선을 만들어준다. Raspberry Camera V2, 8MP를 위치시킨 후 트러스 십자 볼트와 너트를 결합하여 고정시킨다.

나. 알약 디스펜서

최종 모델링

조립도 구성 요소

부품도

조립도 순서

다. 홈 IoT 케이스

최종 모델링

조립도 구성 요소

조립도 순서

홈 IoT 하부에 결합된 디스펜서를 고정한다. 하부의 왼쪽 1층에 SMPS를 장착시키고 2층에는 dc to dc converter를 위치시킨다. 마지막으로 3층에는 모터드라이브를 위치시킨다.

홈 IoT 상부 내부에 디스플레이, Jetson nano, Raspberry Pi 4B를 위치시킨다. 상부 덮개 위에 조립된 서보모터를 고정시키고 Jetson nano와 선을 연결시킨다.

홈 IoT의 조립된 하부와 상부를 결합하고 SMPS에서 인가된 전원을 주기 위해 내부 뚫려있는 구멍을 통해 선들을 연결시킨다. 모터드라이브와 알약 디스펜서의 회전부를 연결시키고 하부 슬라이드 덮개로 마무리한다.

제어부 및 회로 설계

전원부 모듈 회로도

Arduino UNO R3, CNC Shield, Jetson nano, Raspberry Pi 4B에 외부전원을 인가해주어야 한다. 이번 프로젝트에서는 공간 효율성을 위해 SMPS 1개를 이용하고 SMPS의 출력선을 확장 커넥터의 입력에 인가해서 여러 갈래의 출력으로 분기해줌으로써 외부 전원이 필요한 위 부품에 한 번에 전원을 인가해주는 방법을 사용한다. 또한, 28byj-48 스텝 모터 3개를 제어하기 위해서는 CNC Shield가 필요하고, 사용될 CNC Shield와 28byj-48의 필요 전압이 12V이기 때문에 SMPS의 전압 스펙은 12V가 되어야 한다. 그리고 총 4개의 모터, 3개의 보드, 마이크, 디스플레이, 스피커, 카메라 등 프로젝트에 사용되는 장치가 많기 때문에 전류는 16A로 결정하였다. Raspberry Pi 4B와 Jetson nano는 5.2v의 전압이 요구되기 때문에 DC-DC 5A 가변 컨버터(SZH-PWSDF-036)를 이용하여 12V의 입력 전압을 5.2V의 출력 전압으로 낮춘 후, 이를 각각의 보드의 핀에 연결하는 방식으로 전원을 인가해주었다. Raspberry Pi 4B는 연결된 Display, Microphone, Speaker에 전원을 공급해준다. Jetson nano는 연결된 Raspberry Camera V2, 8MP, 서보 모터에 전원을 공급해준다. Arduino UNO R3에 외부 전원을 인가할 때는 아두이노와 결합된 CNC Shield를 통해서 전원을 인가하고, CNC SHIELD에 매핑된 5V/GND 핀을 이용한다. 이 때도 마찬가지로 DC-DC 5A 가변 컨버터(SZH-PWSDF-036)를 사용하여 12V를 5V로 강하한 후 CNC Shield의 5V/GND 핀에 연결해준다.

Jetson nano 회로도

Jetson nano는 제어할 서보 모터를 GPIO를 통해 연결한다. 첫번째 서보 모터의 5V는 GPIO 2번, GND는 6번, pwm 제어는 32번에 연결한다. 두번째 서보 모터의 5V는 3번, GND는 9번, pwm 제어는 33번에 연결한다. CSI Camera Connector에 Raspberry Camera V2, 8MP를 연결한다. 카메라를 통해 촬영한 사용자의 정보를 통해 서보 모터를 제어하여 사용자 추적 알고리즘과 낙상감지 알고리즘을 수행한다.

Raspberry Pi 4B 회로도

Arduino Uno R3를 보호하기 위해 CNC Shield를 부착한다. CNC Shield X, Y, Z 부분에 Motor Driver를 설치하고 각각에 스텝 모터를 연결시킨다. Arduino Uno R3와 Raspberry Pi 4B는 USB를 통해 시리얼 통신을 한다. Raspberry Pi 4B에 USB 마이크를 연결하고 화면을 출력시킬 디스플레이를 DSI Display Connector 부분과 5V Power, Ground을 Raspberry PI 4B GPIO 2번 6번에 연결한다. Firebase 서버의 저장된 복약 예약시간과 현재시간을 비교하여 해당 스텝모터를 회전시킨다. 복약 여부를 확인 후 마이크를 통해 음성인식을 실행한다. 디스플레이를 통해 홈 IoT 기본 화면을 출력하고 여러 이벤트에 해당하는 화면을 출력한다.

소프트웨어 설계

사용 시나리오

낙상 감지

홈 IoT가 실행되면 카메라는 사용자를 인식하고 추적하여 지속적으로 영상을 촬영하게 된다. 촬영된 영상을 바탕으로 낙상감지 알고리즘을 이용해 사용자의 낙상 여부를 판단한다, 만약 낙상이 감지되었다고 판단하면 보호자의 휴대폰 어플리케이션으로 알림을 주어 보호자가 낙상이 발생하였다는 사실을 알 수 있도록 한다.

복약 보조

복약 시간이 되어 알약이 배분되면, 알약의 복용 여부를 확인하기 위해 음성 인식을 실행한다. 사용자는 약물을 복용 후 복용 여부에 대한 메세지를 음성으로 전달하고, 이 음성을 음성인식 모듈을 이용하여 확인한 후 복약완료를 확인하거나, 복약이 확인되지 않은 경우, 일정 시간 후 다시 확인하는 과정을 반복한다.

음성 인식

복약 보조와 같이 작동하는 기능으로, 복약 시간이 되면 모터가 돌아가서 알약이 배분된 후, 일정 시간이 지나면 음성 인식 프로그램이 실행되면서 사용자에게 복약 유무를 확인하는 음성 안내가 스피커를 통해서 출력된다. 총 9번 복약 유무를 확인하며, 사용자의 “먹었어” 라는 음성을 인식하면 음성 인식을 종료하고 Firebase 서버에 먹었음을 알리는 데이터를 보낸다. 만약 9번이 경과한 후에도 사용자에게 “먹었어”의 음성을 얻지 못한 경우에 Firebase 서버로 먹지 않았음을 알리는 데이터를 보낸다.

기능별 알고리즘

사용자 추적 알고리즘

위는 사용자 추적 알고리즘에 대한 플로우차트이다. Jetson nano는 Raspberry Camera V2, 8MP로 사용자를 탐지한다. 일정 시간 동안 탐지를 못할 시 서보 모터를 60-180도(120도 중앙) 회전하여 카메라 촬영을 하여 사용자를 탐지한다. 사용자 탐지가 될 시 사용자 위치 정보 값을 확인한다. 사용자가 카메라를 통해 출력되는 화면의 오른쪽에 위치하면 서보 모터를 오른쪽으로 회전시키고 왼쪽에 위치하면 왼쪽으로 회전시켜 사용자가 화면 중앙에 위치하도록 유지한다. 사용자 위치 정보 값을 확인하고 사용자를 화면 중앙에 위치시키는 단계를 반복한다. 이후 중앙에 위치하면 다시 카메라를 통해 촬영하고 판단하는 알고리즘을 반복하여 수행한다.

낙상 감지

낙상 감지는 카메라를 통해 전달받은 영상을 입력으로 받아 이루어진다. Tiny-Yolo oneclass 모델을 이용하여 객체인식을 진행하고, 사람의 위치를 감지한다. 사람이 감지되면, AlphaPose 모델을 이용하여 객체의 골격을 의미하는 스켈레톤 포즈를 얻고, 이를 바탕으로 ST-GCN 모델의 액션 인식을 통해 낙상을 감지한다. 이 때, Tiny-Yolo oneclass, AlphaPose, ST-GCN모델의 경우 미리 학습된 모델을 사용한다. 만약 낙상이 감지되면, 낙상감지 프로그램은 낙상이 감지되었다는 정보를 firebase 서에 전송하게 되고, 보호자는 낙상이 감지되었다는 알람을 휴대폰 어플리케이션으로 전달받게 된다.

복약 보조

복약 보조는 어플리케이션을 통해 사용자로부터 입력 받은 복약 일정을 이용하여 이루어진다. 사용자가 3개의 디스펜서 회전부에 7일치의 알약을 채워 넣으면 라즈베리파이에서 입력받은 일정과 시간을 비교하여 알약을 먹어야 하는 시간대에 시간대별로 배정된 디스펜서를 회전하는 신호를 아두이노에 시리얼통신으로 전달한다. 아두이노는 디스펜서와 고정되어 있는 스텝모터를 45도 회전시켜 알약을 출구로 배출한다.

음성 인식

음성 인식은 알약이 분배된 후 복약 여부를 묻는 음성 안내가 재생된 후에 음성 인식이 수행되고, 사용자의 음성 중 "먹었어"가 포함되어 있을 경우 복약했음을 확인하고 복약 완료를 알리는 음성 안내를 재생한 후 음성인식이 종료된다.

어플리케이션

어플리케이션에서는 사용자가 구글 계정으로 로그인하는 페이지부터 시작하게 된다. 로그인에 성공할 시 사용자 정보가 서버에 생기게 되고 다음 페이지로 넘어가게 된다.

다음 페이지에서는 달력에 사용자가 저장한 예약날짜가 색깔별로 구분되어 표시되어있다. 표시된 날짜를 눌렀을 시 밑에 날짜정보에서 해당 날짜와 어느 시간에 예약이 되어있는지, 해당 시간에서의 복약여부 등이 표시되게 된다.

해당 페이지에서 화면 왼쪽을 오른쪽으로 당기면 네비게이션 뷰가 나온다. 해당 뷰에서 일정 추가를 누르면 예약 추가 페이지로 넘어간다.

해당 페이지에서 날짜 선택과 각각의 시간 선택을 통해 예약할 날짜와 시간을 정하고 확인 버튼을 누르게 되면 서버의 일정 정보가 업데이트되고 이전 페이지로 돌아오게 된다.

이전 페이지로 돌아오면 달력에 추가한 일정정보가 업데이트 된 것을 볼 수 있다. 화면을 아래로 내려 현재 서버에 저장된 예약목록들을 볼 수 있으며 삭제 버튼을 통해 예약들을 삭제할 수 있다.

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

미디어:졸업시켜조_시연영상.mp4

포스터

완료작품의 평가

평가항목 1. 알약 디스펜서 정확도: 제품 제작 완료 후 50회 동안 반복해서 알약 디스펜서의 블레이드를 회전시킨 결과 모두 정확히 45도만큼 회전하는 것을 확인할 수 있었다. 따라서 개발 목표치인 90%를 상회하는 기준인 100%를 달성하였다.

평가항목 2. 낙상 감지 정확도: 다수의 사람에 대한 동시 낙상 감지가 목표가 아니라 단일 대상에 대한 낙상 감지가 목표였고 이에 따라 제품 제작 완료 후 낙상 감지 테스트를 실시하였다. 그 결과 50회의 낙상 테스트 중 48번의 테스트에서 낙상임을 감지하였고, 나머지 5번에 대해서는 기기의 오작동에 의해 감지하지 못하여 결과적으로 기준인 90%를 상회하는 96%의 정확도를 보였다.

평가항목 3-1. 노인 대상 홈 IoT 직관성 및 편의성 설문조사: 노인 대상으로 설문조사 결과 초기 디스플레이 화면에 나오는 캐릭터 이미지가 귀엽다는 이야기가 많았고, 복약 시간이 돼서 약이 분배되면 노인분들은 약을 회수하고 복약 여부를 묻는 안내에도 잘 대답하는 등 홈 IoT 사용 직관성이 높다는 것을 확인할 수 있었고 설문조사 결과 평균 4.7점이라는 높은 점수를 보였다.

평가항목 3-2. 보호자 대상 어플리케이션 편의성 설문조사: 보호자 분들에게 해당 어플리케이션의 기능만을 설명드린 후에, 보호자분들의 행동을 관찰하였다. 그 결과 손쉽게 복약 시간을 설정하는 것을 확인할 수 있었고, 자신이 예약한 복약 시간 리스트를 확인하고 이를 캘린더 형식으로 직관적으로 확인할 수 있어서 좋았다는 후기가 많았다. 또한 노인이 복약을 완료했음을 어플리케이션 내 알림으로 바로 확인할 수 있어서 좋았다는 점이 주요 앱 사용 후기였다. 결과적으로 평균 설문 조사 만족도 4.8점을 기록하며 좋은 평가를 얻었다.

향후계획

1. 발열 개선: 장시간 홈 IoT를 켜게 되면 스텝모터에는 대기전류가 흐르기 때문에 발열이 생긴다. 이 발열이 지나치게 되면 필라멘트 재질인 필 디스펜서 부분이 녹거나 모터가 고장날 우려가 있다. 따라서 회로에 열 발생을 줄여주도록 하는 부품을 추가하여 발열문제를 해결하거나 더 좋은 스텝모터와 스텝모터 드라이버를 사용해서 문제를 해결한다.

2. 스위치 on off 기능 추가: 현재 홈 IoT를 실행시키기 위해서는 라즈베리 파이에 입력장치를 연결한 후 main.py 파일을 실행시켜야 한다. 따라서 시중의 제품과는 다른 실행방법인데, 이에따라 외부에 on,off 스위치를 추가하여 on으로 스위치를 위치하면 자동으로 main.py 파일이 실행되면서 별다른 조작 없이도 작동하도록 한다.

3. 카메라 상하회전 서모보터 추가: 현재 낙상감지를 담당하는 카메라에 장착된 서보모터는 카메라의 좌-우 회전만을 담당하고 있다. 따라서 카메라에 맺히는 대상이 가까이 있거나 높이 있는 경우로 인해 화면에 전부 담기지 않는 상황이 발생할 수 있는데, 이에따라 카메라의 상-하 움직임이 필요하다. 따라서 상-하 회전을 담당하는 서보모터를 추가해서 낙상감지 대상이 항상 카메라 상의 중앙에 위치할 수 있도록 함으로써 낙상감지율을 극대화할 수 있도록 한다.

4. 낙상감지 기능 고도화: 현재는 하드웨어 성능의 한계로 인해 단일 대상에 대한 낙상감지 기능만을 구현하였다. 이후 더 높은 성능의 하드웨어를 도입해서 여러 대상에 대한 낙상감지 기능을 구현하도록 한다.

2조-졸업시켜조

목차

프로젝트 개요

기술개발 과제

과제 팀명

지도교수

개발기간

구성원 소개

서론

개발 과제의 개요

개발 과제 요약

개발 과제의 배경

개발 과제의 목표 및 내용

개발 목표

개발 내용

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

기술 로드맵

특허조사 및 특허 전략 분석

시장상황에 대한 분석

경쟁제품 조사 비교

마케팅 전략 제시

개발과제의 기대효과

기술적 기대효과

경제적, 사회적 기대 및 파급효과

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

목적 계통도

설계 사양

개념설계안

가. 사용자 추적 및 낙상감지

낙상감지 방식

카메라 종류

사용자 추적 알고리즘

나. 복약보조 기능

알약 디스펜서

순서대로 분배하는 알약 디스펜서의 형태

순서대로 분배하는 알약 디스펜서 고정부

모터 모듈

다. 사용자 인터페이스 기능

STT(Speech to Text) 서비스

TTS(Text to Speech) 서비스

라. 제어 및 기구부

메인보드

마. 홈 IoT와 어플리케이션 상호작용

서버

개념 설계안 선택

상세설계 내용

개념 설계안 전체 구조도

조립도 및 부품도

제어부 및 회로 설계

소프트웨어 설계

사용 시나리오

기능별 알고리즘

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

관련사업비 내역서

완료작품의 평가

향후계획

특허 출원 내용

둘러보기 메뉴

검색