"SDA"의 두 판 사이의 차이
cdc wiki
(→결과 및 평가) |
(→어려웠던 점) |
||
| 142번째 줄: | 142번째 줄: | ||
===어려웠던 점=== | ===어려웠던 점=== | ||
| − | + | * FCM을 이용해 양방향으로 통신 보내기 | |
| + | * 눕기와 낙상을 정확히 판별하기 | ||
| + | * 단말기 앱 내부에서 모든 모델이 처리되는 데에 긴 시간 소요 | ||
| + | * 모델을 돌리는 동안 사진 데이터를 저장하고 있을 메모리 공간 부족 | ||
| + | * 학습데이터 전처리 및 학습에 긴 시간 소요 | ||
| + | * 앞, 뒤로 쓰러지는 것에 대한 처리 | ||
===향후계획=== | ===향후계획=== | ||
내용 | 내용 | ||
2022년 6월 9일 (목) 17:19 판
프로젝트 개요
기술개발 과제
국문 : 일상생활 데이터 분석 기반 시니어 케어 시스템
영문 : Senior Danger Analysis
과제 팀명
SDA
지도교수
유*진 교수님
개발기간
2022년 3월 ~ 2022년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 20179200** 박**(팀장)
서울시립대학교 컴퓨터과학부 20179200** 정**
서울시립대학교 컴퓨터과학부 20169200** 김**
서울시립대학교 통계학과 20175800** 최**
서론
개발 과제의 개요
개발 과제 요약
- 디스플레이형 AI 단말기를 활용하여 65세 이상의 시니어를 대상으로 일상 생활 데이터를 모으고, 앞에서 말한 서비스 중 실시간 행동 분석을 통한 어르신들의 안전 케어 및 위험 상황 판단에 대한 스마트 서비스를 제공하는 시스템을 개발하는 것
개발 과제의 배경
- 초고령 사회 진입이 예상되는 가운데 여러 시니어 케어 시스템이 나오고 있지만 어르신들이 의식을 잃은 상태나, 사망하셨을 때 적절한 기능을 수행하지 못함.
- 노인의 신체 손상 원인 중 절반 이상이 낙상이고 집 등 거주 시설에서 발생하는 경우가 가장 많음.
- 보호자나 도우미들은 공간적 제약 및 물리적 제한이 있어 24시간 종일 관리할 수 없는 현실
- 기존의 실시간 행동 분석을 통한 위험 상황 판단 시스템은 몇 가지 문제점이 있어 성능저하 문제가 존재함.
개발 과제의 목표 및 내용
- AI 단말기의 내장된 카메라로부터 어르신을 탐지하고, 스켈레톤 구조로 변환
- 스켈레톤 구조로 변환된 특징 벡터를 기반으로 영상의 짧은 시간 안에 어르신들의 행동을 분류
- 분류된 행동이 낙상과 같은 위험 행동으로 분류된 경우 알림 전송
- AI 단말기의 전원을 키면, 앱이 자동적으로 실행
- AI 단말기에 내장된 카메라를 제어하여, 앱 내에서 정해진 시간마다 프레임을 가져와 학습된 모델의 입력으로 변환
- AI 단말기 속의 앱 내에서 발생한 알림을 보호자 앱으로 전송
- AI 단말기 앱에서 등록한 보호자와 연동되도록 보호자 앱을 구현
- 데이터베이스에서 시니어 정보를 가져와 화면에 출력
- AI 단말기 앱으로부터 전송된 알림을 보호자 앱이 설치된 기기의 상단 알림으로 출력
- 알림을 누르면 시니어의 정보와 스토리지에 저장된 이미지를 화면에 출력
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
1. State of art(Object Detection)
- 2013년에 최초의 딥러닝 기반 Object detection 모델인 R-CNN이 등장한 후, R-CNN 계열의 모델인 Fast R-CNN, Faster RCNN 모델들이 성과를 보여주었음.
- 2016년에는 YOLO와 SSD가 등장하면서 새로운 계열의 딥러닝 기반 모델이 등장
- 2017년에 RetinaNet이 등장하면서 높은 성능을 보여줌.
- 2019년 후반부터 AutoML 기법을 도입한 EfficientNet, EfficientDet 계열이 등장하고, NLP 분야에서 사용되는 Attention 기반의 transformer 기법을 도입한 DERT 모델 계열이 등장
- 처리 속도는 빠르지만 정확도에서의 한계점을 지닌 YOLO 계열의 모델이 version4, 5를 거듭하여 속도뿐만 아니라 높은 정확도를 가지며 다시금 객체 탐지 분야에서의 존재를 입증
- 그 이후에도 성능을 발전시킨 Swin Transformer 기반 모델이 등장하였고, 객체 탐지 분야의 성능 평가인 AP 지표가 60을 넘기는 발전을 기록함.
2. 특허 조사
- 독거노인 케어 시스템
- (법정상태 : 거절, 심사진행상태 : 거절결정(재심사))
- 급작스러운 신체적 문제 발생에 따라 독거노인이 스스로 자신의 상황을 전달할 수 없는 형편인 경우에도 독거노인의 이상징후를 스스로 판단하여 이상결정시 이를 관리주체에 통보할 수 있는 독거노인 케어 시스템
- 노인이 거주하는 세대 내에 설치되는 전기기기 스위치의 온(ON)/오프(OFF) 상태정보를 감시하고, 온/오프 상태정보와 전기기기 스위치의 신원정보를 함께 제공하는 통신부를 갖는 세대 별 감시통신장치
- 리모콘을 이용한 위험 관리 시스템
- (공개특허공보)
- 버튼의 입력정보를 전송하는 TV리모콘 및 상기 TV리모콘과 무선으로 연결되어 있으며, 상기 TV리모콘으로부터 상기 입력정보를 수신하고, 상기 스마트폰의 입력정보를 분석하여 상기 TV리모콘 사용자의 신변에 변화가 발생한 것으로 판단되는 경우 지정된 연락처로 통보하는 스마트폰을 포함
3. 기술 로드맵
- Chapter 1
- AI 단말기 백그라운드에서 실행
- 카메라를 제어하여 실시간 영상(이미지 프레임)을 수집
- 앱 내에 이식시킨 딥러닝 모델에 수집한 영상(이미지 프레임)을 입력
- Chapter 2
- 인간 객체를 탐지하여 Skeleton으로 벡터화
- 딥러닝 모델 3개를 모두 통과시켜 행동분류 진행
- 행동분류 후 결과를 앱에 전달
- Chapter 3
- 행동인식 결과가 위험상황일 시 보호자 앱에 알림 전송
- 알림을 통해 위험상황을 인식한 보호자(or 도우미)는 위험상황 대처 시작
시장상황에 대한 분석
- 경쟁제품 조사 비교
- 실시간 행동 분석 및 객체 탐지 기술 제품
- 신한은행은 보이스피싱의 타깃이 된 고령 고객의 금융자산을 보호하기 위한 특단의 대책으로 은행권 처음으로 ‘AI 이상행동 탐지 ATM’을 도입
- SKT는 AI 기반 지능형 영상분석 솔루션을 상반기 출시할 예정이며, 자체 AI칩으로 개발을 할 계획
- 교통 분야에서는 2020년 ‘주차유도’ 기술을 상용화해 영상 내 주차 공간을 인식해 사용자에게 주차 자리 빈 곳을 알려주고, 안정적인 주차를 유도
- 운전자 모습을 영상으로 실시간 촬영해 위험 여부를 알려주는 ‘안전운전 보조 솔루션’존재
- 시니어 케어 서비스 제품
- 노년층을 위한 ‘시니어 맞춤형 서비스’가 다양한 산업군에서 쏟아지고 있음.
- 한글과컴퓨터는 시니어 케어 서비스 사업에 진출하여 ‘한컴 말랑말랑 행복케어’를 통해 인지훈련 치매 예방 가상현실(VR)과 상호교감이 가능한 AI 로봇 활용 프로그램도 제공할 예정.
- SKT는 자사의 AI 스피커인 ‘누구(NUGU)’를 통해 시니어 케어 서비스를 제공하고 있는데 이를 통해 거동이 불편한 어르신들이 음성을 통해 119 호출을 할 수 있는 기능과 말동무 기능 등을 선보임.
- KT와 LGU+에서도 시니어 케어 사업에 적극적인 태도를 취하고 있는 것으로 나타남.
- 마케팅 전략 제시
- 보호자나 도우미들의 도움이 있더라도 시공간적 제약 및 물리적 제한이 있어 24시간 종일 관리할 수는 없는 상황
- 기존의 디스플레이형 AI 단말기에 있는 카메라를 통해 실시간으로 어르신들의 위험 상황을 판별하고, 이를 보호자에게 알림을 주는 시스템(앱)을 개발하여 사회문제를 해결하고자 함.
- 여러 장비가 필요하지 않은 점과 행동분류모델이 빠르다는 점은 어르신들을 돌보는 입장인 보호자, 도우미, 지자체 쪽에 좋은 선택지가 될 것.
개발과제의 기대효과
기술적 기대효과
- AI 단말기 내에서 프레임 추출, 행동 분류, 알림 전송 기능을 실행하고 처리하는 형식으로 구현하여 병목 현상을 방지할 수 있을 것이다. 이러한 면에서 많은 사용자들을 수용할 수 있는 수용력을 가진다. 또한 일련의 진행과정에서 서버와의 통신과정이 제외되기 때문에 시간이 단축될 것이다.
경제적, 사회적 기대 및 파급효과
- AI 단말기가 시니어들의 주거공간에 보급되고 있는 가운데, 여러 기기들에서 처리하는 것이 아닌, 해당 단말기를 통해 서비스를 제공하므로 추가적인 단말기 구입 비용이 절약된다.
- 앱 내에서 진행되는 서비스 특성상 서버 구현에 드는 비용도 없다.
- 현재 국가 주도 및 지자체에서 어르신들의 건강 관리 및 위험 상황들을 파악 및 예방, 대처하려는 노력을 하고 있다. 이에 관련지어, 일상생활에서 어르신들의 위험상황을 탐지하고 보호자에게 알림을 주어 빠른 대처가 가능할 것이고 한계가 정해져있는 예산 안에서 많은 노인분들을 케어하는 입장인 지자체에게 좋은 선택지가 될 것이다.
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
설계사양
제품의 요구사항
- 죽지 않는 서비스를 구현
- 단말기 카메라를 이용하여 매 초마다 일정 개수의 이미지를 수집
- 보호자 정보를 설정
- 위험 상황 판단 시, 보호자에게 알림 전송
- 학습모델을 단말기 내에서 실행될 수 있도록 이식
- 영상처리를 통해 인간 객체를 스켈레톤화
- 스켈레톤화된 데이터를 딥러닝을 가지고 행동분류
- 학습 모델의 처리 속도가 10초 이하가 되도록 구현
- 카메라가 비추지 못하는 구역을 소음분류를 통해 판단
- 이미지를 주기적으로 저장/삭제
- 단말기에서 보호자 측으로 보내는 알림이 5초 안에 송신
- 분류해야하는 행동의 종류를 5개 이상
개념설계안
내용
이론적 계산 및 시뮬레이션
내용
상세설계 내용
내용
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
이미지 추가
완료작품의 평가
평가기준 수정하여 이미지로 추가
어려웠던 점
- FCM을 이용해 양방향으로 통신 보내기
- 눕기와 낙상을 정확히 판별하기
- 단말기 앱 내부에서 모든 모델이 처리되는 데에 긴 시간 소요
- 모델을 돌리는 동안 사진 데이터를 저장하고 있을 메모리 공간 부족
- 학습데이터 전처리 및 학습에 긴 시간 소요
- 앞, 뒤로 쓰러지는 것에 대한 처리
향후계획
내용
