활짝
프로젝트 개요
기술개발 과제
국문 : 활짝: 상황 인식 기반 활동 자동 기록 애플리케이션
영문 : Hwaljjag: Context-awareness-based activity auto-recording application
과제 팀명
활짝
지도교수
정*규 교수님
개발기간
2023년 3월 ~ 2023년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 20179200** 김*수(팀장)
서울시립대학교 컴퓨터과학부 20179200** 김*엽
서울시립대학교 통계학과 20175800** 최*웅
서론
개발 과제의 개요
개발 과제 요약
◇ ‘활짝’은 바쁜 현대인들이 더 편리하게 활동을 기록할 수 있도록 사용자의 활동을 자동으로 기록해주는 서비스이다. 과거부터 지금까지 사람들은 자신의 일상을 기록으로 남기고자 하려는 욕구가 있다. 하지만 이런 행위는 바쁜 현대인에게 귀찮거나 막상 쓸 때 기억이 나지 않아 어렵게 여겨질 수 있다. 그리하여 자동으로 일상을 기록해줌으로써 보다 편리하게 자신의 활동을 기록할 수 있는 서비스를 구상하였고, 그것이 바로 ‘활짝’이다. 이 애플리케이션에서 사용자는 자신의 활동이 자동으로 기록되며 활동들을 관리할 수 있다. 그리고 날짜나 활동에 감정표현 및 보다 자세한 작성을 할 수 있다. 이에 더해 다양한 통계와 활동 추천 서비스를 제공받을 수 있을 것이다.
개발 과제의 배경
◇ 일상을 기록하는 것은 가치 있는 행동이다.
기록이라 함은 후일에 남길 목적으로 글을 적는 것을 나타낸다. 과거부터 오늘날까지 계속 이어져 오고 있는 기록 문화는 사람이 자신의 무언가를 남기고 싶어 하는 욕구가 있음을 보여준다. 사람의 기억력만으로 자신의 과거를 온전히 기억하기에는 부족하다. 하지만 자신의 일상을 기록하고, 이를 봄으로써 사람들은 과거를 되돌아볼 수 있다. 이렇게 자신의 과거를 돌아볼 수 있다는 것은 곧 자기 객관화와 자기를 이해하는 데 도움이 된다. 이렇듯 일상을 기록하는 것은 단순 행위를 넘어 일상에서 자신을 되찾으려는 움직임으로 볼 수 있다.
◇ 온라인상으로 자신의 일상을 기록하는 인구가 늘고 있다.
요즘 일기를 쓰는 청년들은 오프라인뿐만 아니라 온라인에서도 일상을 기록한다. 대표적으로 네이버 블로그나 인스타그램을 꼽을 수 있다. 네이버 블로그의 경우 ‘주간일기챌린지’ 공개 이후 블로그 개설률이 14% 증가했다. 인스타그램은 현재 국내 SNS 사용자 수 1위를 달성할 정도로 압도적인 인기를 보여주고 있다. 하지만 이렇게 SNS에 일상을 올리는 것은 남에게 노출되는 서비스 특성상 보여주기식의 일상 공유의 성격이 강할뿐더러 개인적인 생각을 올리기에 꺼려지게 되는 것은 경계할 점이다.
◇ 자신의 일상을 기록하지 않는 사람이 많다.
일상을 기록하는 방법의 하나인 일기 쓰기의 실태를 찾아보았다. 인간성회복운동추진협의회에서는 2021년에 초·중등 학생 1,122명을 대상으로 일기 쓰기 실태를 조사해 결과를 발표했다. 조사 결과에 따르면 전체 응답자 중 일기를 쓰는 학생은 21.5%에 불과하고, 일기를 쓰지 않는 학생은 78.4%로 나타났다. 이는 5명 중 거의 4명은 일기를 쓰지 않는 것을 보여준다. 또한 일기를 쓰지 않는 이유로는 “귀찮다”라는 의견이 44.9%로 가장 많았고, 이어 “시간이 없다” 33%, “필요성을 느끼지 못했다” 20.9% 등으로 여러 이유가 등장하였다. 결과적으로 일기를 쓰지 않는 사람이 많으며 그 이유로는 귀찮거나 시간이 없기 때문임을 알 수 있다. 어릴 때의 습관이 계속 이어질 가능성이 높기 때문에 이는 성인에게도 비슷한 결과가 나올 것이다.
◇ 자동으로 일상을 기록하는 걸 원하는 사람이 많다.
LG CNS는 자동으로 일정을 기록하는 애플리케이션을 만들었고 이는 시장에서 큰 호응을 얻어 안드로이드와 IOS 시장을 합쳐 다운로드 수가 대략 20만 회를 넘는다. 또한 이 애플리케이션과 방식은 다르지만, 마찬가지로 자동일기 기능을 담은 여러 어플이 있다. 대표적으로 원스토어에 올라온 “Day Keeper”와 앱스토어의 “STEP-자동일기”를 꼽을 수 있다. 이를 보면 자신의 일상을 자동으로 기록해주는 서비스를 원하는 사람이 많음을 알 수 있다.
개발 과제의 목표 및 내용
◇ 사용자의 위치 정보를 기반으로 활동을 자동으로 기록하는 서비스를 제공한다.
◇ 사용자는 기록된 활동에 감정, 텍스트, 사진 등의 다양한 표현을 삽입할 수 있다.
◇ 사용자에게 자신의 활동에 대한 지도와 그래프 등으로 시각화된 통계를 제공한다.
◇ 사용자에게 활동 데이터를 기반으로 하루에 대한 피드백을 제공한다.
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
- 전 세계적인 기술현황
◇ Flutter
Flutter는 Google에서 개발 및 지원하는 오픈 소스 프레임워크이다. Flutter를 사용해 다수의 플랫폼에 대한 애플리케이션의 사용자 인터페이스(UI)를 단일 코드 베이스로 구축할 수 있다. 빠른 개발과 표현력 있고 유연한 UI, 네이티브 수준의 성능을 특징으로 하고 있다. 프로그래밍 언어로는 Dart를 사용한다.
◇ Dart
Google이 멀티 플랫폼상에서 동작하는 앱을 빠르게 개발하기 위해 디자인된 프로그래밍 언어이다. UI에 최적화되어 있고 실행 중인 앱에서 즉시 변경 점을 확인할 수 있는 등의 생산성을 제공하며, 모든 플랫폼에서의 빠른 컴파일을 속도를 제공한다.
◇ Firebase
앱과 게임을 빌드하고 성장시키는 데 도움이 되는 앱 개발 플랫폼이다. Google이 지원하며 빌드, 배포 및 모니터링 외에 여러 구글의 도구와 통합된 기능을 제공한다.
◇ GPS
미국이 개발 및 관리하는 위성 항법 시스템으로 세계 어디서든 3대 이상의 인공위성에서 신호를 받아 자신의 위치를 정확히 알아낼 수 있는 시스템이다. GPS를 통해 경도, 위도, 해발고도, 시간 정보를 알아낼 수 있다. 3개 이상의 위성으로부터 정확한 시간을 통해 거리를 측정하고 삼각 측량의 3차원 버전인 삼변 측량법을 이용해서 현재 위치를 정확히 계산할 수 있다. 일반적으로는 사용할 수 있는 모든 위성에서의 정보를 종합하여 정확도를 높인다. 위성과의 거리는 위성에서 정확한 송신 시간을 사용자에게 전달해주면 사용자는 수신 시간을 통해 신호가 오는 데 걸린 시간을 알 수 있고 전파의 속력을 알고 있기 때문에 쉽게 구할 수 있다. 스마트폰에서는 위성으로부터 직접 GPS 위성의 신호를 찾고 수신받으려면 긴 시간이 걸리므로 빠른 통신망을 통해 미리 위성의 궤도정보를 얻어 초기 접속 시의 속도를 개선하는 등의 기술을 활용하여 사용하고 있다. 미 정부에 의하면 스마트폰에서의 평균 오차는 4.9M 정도이며 이는 위성의 위치나 신호 막힘, 대기의 상태 등 여러 추가적인 요인에 의해 더 나빠질 수 있다. 이러한 오차는 사용자 단에서 보정을 통해 정확도를 높일 수 있는데, 우리나라의 경우 국토지리정보원이 고층 건물이 없는 평지에서 오차를 1M 내로 줄일 수 있는 GNSS 보정 정보(SSR) 기술을 공개했다.
◇ PPG(Photoplethysmogram) 센서
빛을 이용해 피의 흐름을 관찰하는 센서. “신체에서 얇은 부분은 빛이 약간 통과하는데 이를 이용해 혈액의 흐름을 관찰할 수 없을까?”라는 생각에서부터 개발된 기술이다. 심장이 피를 보내기 위해 뛰면 혈관을 따라 미세한 변화인 맥파(Plethysmogram, PTG)가 생긴다. 이는 혈액보다 훨씬 빠른 속도이며 이 속도는 동맥의 두께, 혈액의 밀도 같은 혈관 상태에 영향을 받는다. 따라서 맥파를 통해 사람의 순환계 – 심장 및 혈관 상태를 알 수 있다. PPG 센서는 이 맥파에 따라 변화하는 미세한 혈류량을 조사해서 파악한다. 혈류량에 따라 흡수되는 빛의 양이 달라지기 때문에 이를 측정하면 혈액량의 변화를 알 수 있다.
◇ Russell’s circumplex model
몇 가지의 기본 정서를 다차원 척도법을 통해 하위 차원인 valence(기쁜 정도), Arousal(활동 정도) 활성화의 2차원으로 분석한 모델. 총 8개의 그룹으로 나뉘며 28개의 형용사로 이루어져 있다. 활동 정도의 경우 생리적으로 각종 신경이 활동 중인 상태를 말하며 수면 상태일 때 가장 낮다. 간접적인 지표로는 호흡이 가쁘거나 혈압이 올라가는 신체적 변화를 들 수 있다.
◇ 생체신호와 감정
감정은 신화에 의해 형성된 생물학적 특징으로 동물의 생존을 위해 중요한 기능을 한다. 이와 관련된 대표적인 이론들로는 James-Lange 이론(1884), Cannon-Bard 이론(1929), Schachter-singer 이론(1962) 등이 있다. 이러한 이론들에서는 공통으로 감정의 발생과 자율신경계의 교감신경 각성의 연관성을 전제에 두고 이론들을 설명하고 있으며 감정의 발생과 신체적 반응이 필연적인 관계에 있음을 설명하고 있다.
◇ PPG센서를 이용한 감정 추정
“감정 인식을 위한 PPG 데이터의 심박 변이도 및 PSD 분석(Study on Heart Rate Variability and PSD Analysis of PPG Data for Emotion Recognition, 최진영, 김형신)”의 논문에서 PPG 센서를 이용한 감정 인식에 대한 가능성을 제시한다. 해당 논문에서는 위에서 소개한 이론들을 기반으로 감정을 정량적으로 평가하기 위해 스마트폰으로부터 사용자 상황정보와 생체정보를 이용한 연구를 간략하게 소개한다. 논문에 따르면 음성 인식의 경우 73%의 정확도를 가지지만 잡음으로 인한 한계가 있으며, 심전도를 이용한 연구는 94%의 높은 정확도를 가지지만 심전도 측정을 위해 고가의 장비가 필요하고 일상생활에서의 사용이 불가능하다는 한계가 있다. 이러한 이유로 저비용에 편리하고 신속한 결과를 얻을 수 있는 센서의 필요성을 제시하였고, PPG 센서를 활용하여 심박변이도(HRV: heart rate variability)를 측정하고 유럽심장학회에서 제시하는 기준에 따라 분류된 심박변이도의 주파수 영역을 통해 감정을 인식하는 실험을 진행했다. HRV를 고속 푸리에 변환을 거쳐 주파수 대역으로 나눠서 인식을 진행했는데, 대부분의 긍정적 감정의 경우 고주파수 대역이 감지되었지만, 저주파수 대역의 경우 긍정/부정 두 감정에서 모두 높은 비율로 감지되어 PPG 센서에만 의존해서 감정을 정확하게 인식하는 것에는 한계가 있음을 알 수 있는 실험이었다. 여기에 사용자의 상황 정보와 기타 생체 데이터를 추가할 수 있다면 정확도를 높일 수 있을 것으로 기대된다.
◇ GPT
여러 가지 형태의 정보를 통해 소통하는 모델로 이미지, 텍스트를 입력받아서 실생활에서의 경우 사람의 능력보다는 살짝 모자라지만, 다양한 전문 및 학술 벤치마크에서 인간 수준의 성능을 보여주는 결과물을 텍스트 형태로 제공한다. 현재 최신의 버전은 GPT-4이며 영어 모델의 경우 85.5%의 정확도를 보여주고 있다. GPT-3.5, 4를 활용한 인공지능 대화 서비스인 “ChatGPT”가 운영중에 있고, API의 형태로 비용을 내고 해당 모델을 사용할 수 있다.
- 특허조사
◇ ppg센서를 활용한 감정분석
- PPG신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법
Deep learning based emotional recognition system and methods using PPG signals 출원인: 상명대학교 천안산학협력단 출원번호: 1020190103008 (2019.08.22) 설명: PPG신호를 이용한 딥러닝 기반 감정인식 시스템 및 감정인식 방법에 관한 특허
- 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법 Apparatus and Method for Decision of Emotional state through analysis of Bio information 출원인: 주식회사 라이프사이언스테크놀로지 출원번호: 1020100101844 (2010.10.19) 설명: 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법에 관한 것으로, 사용자의 신체로부터 수집한 맥파(PPG), 피부전기저항(GSR), 피부온도(SKT) 및 외부온도 등의 생체신호를 추출하고, 생체신호를 연산하여 사용자의 감정상태를 분석 및 판단하도록 하는 장치 및 방법에 관한 특허
◇ 위치기반 활동 정보 활용
- 시간 위치 데이터를 이용한 사용자 활동 기반 조언 시스템 및 그 방법 Counsel system based on user activity using position and time data, and method thereof https://doi.org/10.8080/1020180001023 출원인: (주)스파익스 출원번호: 1020180001023 (2018.01.04) 설명: 사용자의 위치 정보와 시간 정보에 근거해 활동을 분석하고 성별, 직종별, 나이별로 그룹을 나누고 등급을 설정한 뒤 같은 등급, 그룹에 속한 다른 사람들의 활동 데이터를 근거로 조언하는 시스템에 관한 특허
- 사용자의 활동에 기반하여 서비스를 제공하는 서비스 방법 및 시스템 SERVICE METHOD AND SYSTEM FOR PROVIDING SERVICE USING USER ACTIVITY 출원인: 엔에이치엔 주식회사 출원번호: 1020130111238 (2013.09.16) 설명: 사용자의 운동 활동을 감지하고 그 양을 측정하여 사용자에게 맞는 디지털 컨텐츠를 제공하는 방법 및 시스템에 관한 특허
- 기술 로드맵
시장상황에 대한 분석
- 경쟁제품 조사 비교
내용
- 마케팅 전략 제시
내용
개발과제의 기대효과
기술적 기대효과
내용
경제적, 사회적 기대 및 파급효과
내용
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
설계사양
제품의 요구사항
내용
설계 사양
내용
개념설계안
내용
이론적 계산 및 시뮬레이션
내용
상세설계 내용
내용
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
내용
포스터
내용
관련사업비 내역서
내용
완료작품의 평가
내용
향후계획
내용
