5조-약쟁이들
프로젝트 개요
기술개발 과제
국문 : 얼굴 인식을 이용한 자동 알약 배급기..
영문 : 영문 Automatic Pill Dispenser Using Face Recognition ..
과제 팀명
약쟁이들..
지도교수
이동찬 교수님 교수님
개발기간
2022년 9월 ~ 2022년 12월 (총 4개월)
구성원 소개
서울시립대학교 기계정보공학과 20164300** 방**(팀장)
서울시립대학교 기계정보공학과 20154300** 김**
서울시립대학교 기계정보공학과 20174300** 송**
서울시립대학교 물리학과 20175500** 강**
서울시립대학교 물리학과 20175500** 임**
서론
개발 과제의 개요
개발 과제 요약
본 프로젝트는 영양제를 규칙적으로 섭취하는 1~4인 가구를 대상으로 해 각 개인에게 필요한 알약이나 영양제 등을 빠르고 효율적으로 배급하기를 목표로 함. 이를 위해 Opencv를 활용한 얼굴인식 딥러닝 모델을 활용하여 각 가구 구성원의 얼굴을 구분하고 해당 인원에게 필요한 종류의 알약을 배급하는 것을 목표로 한다.
개발 과제의 배경
영양제에 대한 관심과 수요가 늘어나며, 매일 수 개에서 수 십개씩 영양제를 챙겨 먹는 현대인이 늘어났다. 질병관리청에 따르면 국민의 45%가 영양제를 챙겨 먹고 있으며, 이는 3년 전에 비해 13%p가량 가파르게 증가한 수치이다. 영양제 정보 서비스인 필라이즈(Pillrise)가 조사한 ‘영양제 분석 리포트’의 15,171건의 데이터에 따르면 영양제를 섭취하는 현대인은 평균 4.3개를 주기적으로 섭취하며 8개 이상의 영양제를 섭취하는 인원도 전체의 12.9%에 달한다. 규칙적으로 복용하는 영양제의 개수가 늘어남에 따라 일일히 뚜껑을 열었다가 닫는 번거로움이나 소요되는 시간이 늘어남은 물론이고 일부 알약들은 습기에 영향을 받을 수 있기 때문에 보관 상태에 악영향을 끼치게 된다. 또한 여러 명이 함께 사는 가구의 경우 구성원 각자에게 필요한 영양제가 다를 수 있어서 혼란의 여지가 있음에 따라 이러한 불편을 해소하기 위해 등록된 얼굴을 구분, 인식하여 각자에게 필요한 약이나 영양제를 자동으로 배급해주는 기계를 구상하였다.
개발 과제의 목표 및 내용
본 프로젝트의 가장 궁극적인 목표는 얼굴 인식을 통해 정해진 대상에게 정해진 알약을 정해진 개수만큼 빠르고 정확하게 배급하는 것이다. 이를 위해 프로젝트의 내용은 크게 기계적 부분과 소프트웨어적 부분으로 나뉘게 된다. RasberryPi를 기반으로 OpenCV (haar cascade)를 이용해 얼굴 등록과 얼굴 인식을 처리하며, 기계부와의 내부 통신 및 모터 구동, 부족한 알약 감지와 같은 제어는 아두이노와 필요한 센서들을 통해 수행하며, 기계적 매커니즘 부분을 수행할 부품은 3D 프린팅을 이용해 출력한다. 이에 따라 알약의 모양과 크기에 관계없이 정해진 개수만큼 배출될 수 있도록 메커니즘을 개발할 필요가 있다. 카트리지 내부의 습도를 조절하기 위해 실리카 겔 등이 이용될 수 있으며, 얼굴 인식에서부터 알약이 배출되기까지의 구동 시간 목표를 5초로 설정하였다.
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
전 세계적인 기술현황
1. 알약 자동 분배기
1.1. 알약 데이터 베이스
- 알약 자동 분배기는 알약의 정보가 저장되어 있는 데이터베이스를 기기에 내장한다. 와이파이 등 무선 인터넷 연결 기술을 이용하여 제약사에서 업데이트해주는 알약의 정보를 데이터베이스에 업로드할 수 있다. 또한 사용자가 등록하려는 알약 명칭의 일부만 알고 있어도 알약 검색 기능을 갖추고 있어 정확한 알약을 찾는데 사용된다. 사용자는 복용하고자 하는 알약을 기기에서 제공하는 스케줄 기능에 맞추어 등록할 수 있다. 또한 복용할 시각을 선택하고 사용자에게 알린다. 추가적으로 카트리지에 담으려는 알약을 데이터 베이스에서 검색하여 선택하면 담기 적절한 크기의 카트리지를 사용자에게 제시한다.
- 또한 보호자에게 알약이 공급된 시간, 복용 횟수 등이 담기 요약 보고서를 제공한다. 또한 핸드폰 문자 메세지, 메일 등으로 약 복용 여부, 기기의 방전 여부 등을 전송하여 사용자 혹은 보호자에게 정보를 전달한다.
1.2. 알약 분배 매커니즘
- 알약은 사용자가 등록한 정보에 맞추어 제공된다. 이때 진공 펌프에 전원이 공급되고 팁(876)을 통해 공기가 흡입된다. 진공을 생성하고 적어도 하나의 알약을 끌어당기도록 의도된 흡입력을 야기하기 위해 마이크로 스위치 프로브 팁(878)이 물체나 용기 표면과 움직임이 없는 접촉을 할 때마다 피드백이 된다. 이때 압력 변환기(또는 다른 유형의 센서 및 회로)는 팁에 의해 적어도 하나의 알약이 파지(진공으로 인한 압력 차이로 인해 알약이 프로브에 압착하게 된 상태를 의미한다) 되었을 때의 음압의 피드백을 제시, 이를 통해 프로브를 끌어올리는 판단을 한다.
<프로브(876)와 팁(878), 캐니스터(228, 226)>
1.3. 싱귤레이션
- 싱귤레이터의 한 예는 물체가 검색되어야 하는 구멍이며, 여기서 구멍은 단 하나의 물체만 검색될 수 있도록 가변적으로 크기가 지정된다. 검색 프로브 및 팁은 적어도 하나의 물체 또는 물체를 유지하면서 구멍을 통과할 만큼 충분히 작아야 한다. 프로브와 팁보다 작은 물체의 경우, 프로브와 팁이 구멍을 통과하도록 구멍을 조정할 수 있으며 구멍의 크기는 하나의 물체만 통과할 수 있도록 조정된다.
- 때로 길이가 직경보다 큰 제약 캡슐 등을 찾을 때, 조리개는 종종 검색되는 대상의 길이 치수보다 작게 조정된다. 물체가 회수 프로브의 끝 부분에 끌리는 경우(예: 물체의 긴 면이 팁과 접촉하는 경우), 물체의 긴 치수보다 작은 구멍을 통해 물체를 회수하는 것은 불가능하지만 팁과 검색되는 물체 사이의 인력이 충분하면 물체가 프로브 팁에 압착된 채 방향이 바꿀 수 있다. 물체가 제한적인 구멍을 만났을 때, 조리개와 압착력에 의해 재배열된 물체는 구멍에 더 작은 치수, 단면 또는 덜 제한적인 모양이 될 수 있고 구멍을 성공적으로 통과할 수 있다. 특히 개구를 둘러싸는 표면을 테이퍼링(예: 개구 개구 방향으로 점점 가늘어지는 원뿔 모양)하면 물체가 성공적으로 방향을 바꿀 가능성이 높아진다.
싱귤레이터의 다른 예는 디지털 이미지 캡처 장치 및 검색된 대상(들)의 복수의 이미지를 분석하여 단일 또는 다수의 대상이 서치되었는지 여부를 결정하는 관련 이미지 처리 회로이다. 이미지 기반 싱귤레이션 장치는 적절한 약물(예를 들어, 알약 유형)이 분배를 위해 서치되었음을 보장하기 위해 물체를 추가로 검증할 수 있다.
- 또한, 위 두개의 싱귤레이션이 동시에 적용되는 복수의 싱귤레이션 기술이 조합될 수 있다.
<이미지 처리에 활용되는 카메라(480), 가변 오리피스의 도면(우측)>
2. 얼굴 인식 기술 2.1. Face ID
- 도트 프로젝터를 활용해 만든 보이지 않는 점을 이용하여 얼굴의 30,000개 이상의 점을 투영해 핸드폰 사용자의 얼굴의 특징적인 데이터를 저장하는 맵을 만들고 인식 시에는 적외선 센서와 True Depth 카메라로 도트 패턴을 판독하여 저장된 얼굴 데이터와 대조해 사용자를 식별하는 기술이 Face ID이다. 이 기술의 특징은 얼굴을 적외선으로 인식하기 때문에 어두운 곳에서도 문제없이 인식 가능하고, 안경, 모자를 쓰고 수염을 기르더라도 정확히 인식할 수 있는 점이다.
- 기존 얼굴 인식과 다르게 머신러닝을 통해 사용자의 얼굴 변화를 감지하는 기술을 적용해 보안성을 크게 높인 것이 Face ID의 장점이다. 또한 A11 바이오닉 칩 내부에 있는 별도의 보안 구역에 암호화된 얼굴 맵 정보를 저장하는 방법을 통해 정보를 보호하기 때문에 생체 정보가 유출될 걱정이 없다.
<Face ID 기술>
2.2. Deep Face
- 딥러닝 기술이 얼굴인식에 처음으로 접목된 연구는 2014년 CVPR에서 발표된 Facebook의 DeepFace 연구이다. DeepFace에서는 사전에 학습된 3D 얼굴 기하 모델을 이용하여 랜드마크 추출 후에 어파인(affine) 변환에 의해 얼굴 정렬을 수행한 후 9개의 층으로 구성된 컨볼루션(Convolution) 신경망을 Facebook이 내부적으로 수집한 대용량의 데이터를 이용해 학습하였다.
- 이때, 얼굴 영역 내의 지역적인 특징을 효과적으로 추출하기 위하여 국소 연결(Locally Connected) 컨볼루션 층을 사용한 것이 특징이다. DeepFace 구조는 LFW 데이터셋에 대해 97.35% 정확도를 달성하면서 기존 Hand-crafted 특징 기반 방법과 비교했을 때 약 27%의 인식률을 향상시키면서 딥러닝 기반 방법이 매우 성공적임을 보여주는 사례가 되었다.
2.3. VGGFace
- DeepFace 이후로 등장한 구조는 옥스포드 대학의 Visual Geometry Group(VGG)에서 제안한 VGGFace 딥 네트워크 구조이다. VGGFace에서는 인터넷 검색을 통해 직접 만든 대용량의 얼굴인식을 위한 데이터셋인 VGG 얼굴 데이터셋을 공개하고, 이 데이터를 이용하여 15개의 컨볼루션 층으로 구성된 딥 네트워크 구조를 학습시켰다. VGG에서는 VGGFace 학습 모델을 제공할 뿐만아니라, ImageNet 영상인식 챌린지(Challenge)에서의VGG 구조와 마찬가지로 상대적으로 간단한 3×3 컨볼루션 필터를 이용하여 학습시킴으로써 VGGFace는LFW 데이터셋에 대해 DeepFace보다 약 1% 정도 개선된 98.95% 성능을 달성하였다.
2,4. Distance Metric Learning
- 앞에서 언급한 다양한 얼굴인식 딥 네트워크 구조에 대한 연구 사례와 더불어서 손실함수(Loss Function)의 재정의를 통한 분별력 있는 특징을 학습하기 위한 거리 척도 학습(Distance Metric Learning)에 대한 연구가 수행되었다. 대표적으로, 구글에서 발표한 FaceNet에서는 동일한 인물에 대해 추출된 특징들 사이의 유클리디언(Euclidean) 거리가 다른 인물들로부터 추출된 특징들 사이의 유클리디언 거리보다 작다는 Triplet Loss를 정의하여 딥 네트워크를 학습시킨 사례가 있다. 즉, 학습을 통해anchor 특징과 동일인에 대한 Positive 특징 사이의 거리가 negative 특징과 비교했을 때 가까워지는 것이다. 이때, 기본 딥 네트워크 구조는 22개 층으로 구성된Inception 네트워크를 사용하였고, 내부적으로 수집된 500M 장의 얼굴 영상 데이터셋으로 학습하였다. 학습을 통해 얼굴 영상 입력에 대해 높은 분별력을 갖는 128바이트(bytes)의 특징 embedding을 수행하였고, LFW 데이터셋에 대해 99.6%의 정확도를 보였다.
특허조사 및 특허 전략 분석
- 1. Pill Dispenser
- 조사한 특허의 통계에 의하면 자동 알약 분배기는 약 1977년부터 특허가 등록되어 있었던 것을 확인할 수 있었고 2010년대 중후반에 접어들며 특허 출원이 활발해진 것을 확인할 수 있었다. 이는 키프리스에서 pill dispenser 검색식으로 검색한 특허 출원, 등록 자료로 확인이 가능하다. 특히 2014, 2013, 2016, 2015년의 관련 특허 출원 개수가 상위 5위 안에 들고 2020년 관련 특허 출원 개수 또한 그 바로 밑에 위치하였다. 특히 22년 pill dispenser 관련 특허 등록 개수가 1위임을 확인할 수 있었고 이는 코로나 이후 영양제 시장 산업과 함께 특허의 출원과 등록도 활발해진 것을 확인할 수 있다. 이는 특허가 출원으로부터 등록까지 약 1년 반에서 3년정도 걸리는 것을 고려하면 코로나 이후의 특허 출원이 활발해졌다는 이전 논증을 뒷받침한다.
<pill dispenser 특허 출원 및 등록 현황>
이에 다양한 특허 중 과제의 목표인 얼굴인식 기반의 개인별 자동 알약 배급기의 기능을 생각하며 본 과제와 유사한 1980년대 중반의 특허와 2000년대 중반, 2010년대 중반의 대표적인 특허를 선정하여 분석하였다. 즉, 알약을 하나씩 배급하거나 개인 사용자를 구별하여 알약이 배급되거나 경보음, 사용자 인터페이스를 포함하는 특허를 찾아 분석했다.
1986 2005 2016 AUTOMATIC PLL DISPENSER AND METHOD OF ADMINISTERING MEDICAL PILLS ELECTRONIC PILL DISPENSER SMART AUTOMATED PILL DISPENSER
특징
1. 환자가 각 칸에 맞추어 알약의 조합을 미리 짜 두어야함
2. 각 리셉터클에서 알약이 중력에 의해 트랩도어로 하강. 이후 개문이 되고 광전 센서가 알약 배급 인식, 경보음 발생
3. 알약 캐니스터의 탈부착 및 수직 회전.
4. 야간 시각 효과로 인한 객체 구별 기능 1. 알약 크기에 미리 맞춰진 회전부의 회전에 의해 알약이 한 개씩 배급
2. 기기 윗면에 간단한 사용자 정보 인터페이스 표시 가능, 기기의 앞면의 보다 자세한 사용자 정보 인터페이스 디스플레이 장착
3. 음성, DNA, 지문 등 사용자를 구별할 수 있는 기기를 포함(단, 이것은 청구항에서 기술되어 있을 뿐, 기술적 설명이나 도면에서의 표기는 찾을 수 없음.) 1. 사용자 입력 인터페이스를 갖추고 있음
2. 각 통에 크기와 모양 상관없이 알약을 투입하는 기기
3. 원통형 스크류 드라이버가 회전하며 알약을 퍼 올리고 적외선 센서에 의해 알약이 떨어지는 개수를 센다. 이후 사용자가 입력한 알약의 개수가 일치한다면, 가이드 레일을 따라 최종 배출구로 이동하여 알약이 배급.
4. 사용자가 입력한 알약의 개수와 떨어진 알약의 수가 불일치한다면 가이드 레일은 배출구 반대로 회전하여 오류 알약 배출구로 알약을 배출.
이하 상세분석 번호 1 국가 US 명칭 AUTOMATIC PLL DISPENSER AND METHOD OF ADMINISTERING MEDICAL PILLS 출원번호 530,893 등록번호 US4573606A 출원일 1983.09.12 등록일 1986.03.04 대표도 요약
투여 일정이 서로 다른 의료용 알약을 분배하기 위한 자동 알약 디스펜서; 하나 이상의 알약을 각각 수납할 수 있는 복수의 알약 저장실과, 각각의 투여 스케줄에 따라 정해진 시간 간격으로 알약을 배출하는 자동 방출 기구 및 알약을 포함한다. 알약 디스펜서로부터 분배되고 소켓에 의해 수용되는 알약이 알약 디스펜서로 하여금 환자에게 분배된 약을 복용하도록 경고하는 신호를 발생시키는 알약 검출기에 결합된 리셉터클을 포함한다. 수직으로 회전하는 바퀴 주위에 링으로 배열된 12개의 저장 구획에는 24시간 동안 복용하도록 처방된 모든 알약을 환자가 미리 적재한다. 환자는 알약의 각 투여 일정에 해당하는 로딩 코드에 따라 개별 보관 구획에 알약을 투입한다. 알약 디스펜서는 그 위에 위치한 각 구획을 비우도록 작동하는 트랩도어 위의 저장 구획을 자동으로 순차적으로 회전한다. 광전 검출기는 알약이 분배되는 컵을 통해 수직으로 이동하는 광선을 갖는 광전 검출기가 그 안의 알약을 감지하고 가청 또는 시각적 신호로 환자에게 경고한다. 광원은 야간 조명으로도 사용된다. 자동 알약 분배를 위해 약사에 의해 미리 로드되고 환자에 의해 알약 분배기에 간단히 삽입될 수 있는 미리 로드 가능한 알약 저장 캐니스터를 포함한다.
대표청구항 What is claimed is: 1. An automatic pill dispenser for dispensing medical pills, such as tablets, capsules or suppositories, having different prescribed administration schedules, comprising: (a) a plurality of pill storage compartments for holding pills having different administration schedules, said compartments each being sized to hold one or more pills; (b) means for releasing pills from said pill storage compartments at predetermined time intervals corresponding with their respective administration schedules; (c) a pill receptacle for receiving pills released from said storage compartments; and (d) means for detecting the delivery of a pill into said receptacle and for producing a sensible signal in response thereto, in which said detecting means comprises a photoelectric detector having a light source and photodetector arranged such that delivery of a pill of any commercial size from said storage compartments into said receptacle causes interruption of a light beam generated by said light source, said receptacle is provided with a vertical through-hole of diameter less than one-eighth of an inch, said receptacle includes means for positioning a first pill received from said storage compartments over said hole, and in which said light source and photodetector are arranged such that said light source generates a light beam which normally passes through said hole whereby a first pill received from said storage compartments interrupts the light beam passing through said hole.
번호 2 국가 US 명칭 ELECTRONIC PILL DISPENSER 출원번호 11/225, 193 등록번호 US 7359765B2 출원일 2005.09.14 등록일 2008.04.15 대표도 요약
본 발명은 용기와 용기에 제거 가능하게 부착된 캡을 포함하며 알약 디스펜서의 구성 요소에는 전원, 알약 디스펜서 회로, 시계, 카운터, 디스플레이, 디스펜스 메커니즘, 센서, 시각적 표시기, 청각적 표시기, 입력/출력 인터페이스, 입력 출력 포트 및 구성 요소를 전기적으로 상호 연결하는 통신 버스를 포함하고, 알약 분배기는 또한 물리적 표시기, 잠금 메커니즘, 송수신기, 안테나 및 모뎀을 포함한다. 알약 디스펜서는 기억 상실 및 기타 인지 기능 장애, 특수 감각 약화, 시력 저하, 환자 교육 부족 등의 부정적인 영향을 상쇄하여 특정 약물 요법을 따르는 환자의 순응도를 향상시킨다.
대표청구항 1. A portable electronic programmable pill dispenser, comprising: a pill compartment adapted for containing a plurality of pills; a pill dispensing mechanism located proximate said pill compartment for dispensing a single pill, said pill dispensing mechanism comprising: a rotating wheel having a pill-shaped recess for dispensing the single pill, said rotating wheel rotating about a horizontal axis orthogonal to a vertical axis of said pill dispenser; an upper ramp positioned within said pill dispenser, said upper ramp being angled with respect to the vertical axis; a lower ramp positioned below said upper ramp within said pill dispenser, said lower ramp being angled with respect to the vertical axis, said rotating wheel being positioned between said upper and lower ramps and being further positioned adjacent an inner wall of said pill dispenser, such that the pill to be dispensed travels along said upper ramp to the pill-shaped recess of said rotating wheel, travels along a vertically downward path as said rotating wheel rotates about the horizontal axis, the pill being deposited onto said lower ramp and traveling along said lower ramp to an opening formed through a container wall of said pill dispenser; a programming interface connected to said pill dispenser for programming said pill dispenser; a removable locking cap attached to and covering access to said pill compartment; an input interface disposed on said cap for inputting user authentication information that provides pill-dispensing authentication; a real-time clock disposed on said cap for generating time signals used to trigger a user alert about a scheduled time to dispense the pill; and an indicator disposed on said cap capable of alerting a user about said scheduled time to dispense a pill and capable of prompting a user to input said user authentication information in order to dispense a pill. 번호 3 국가 US 명칭 SMART AUTOMATED PILL DISPENSER 출원번호 13/904,057 등록번호 US 9501626B2 출원일 2013.05.29 등록일 2016.11.22 대표도 요약
본 발명은 알약의 크기, 모양 또는 기타 물리적 특성에 관계없이 작은 물건을 보관하기 위한 여러 개의 사일로와 저장된 물건을 지정된 시간 또는 빈도로 조합 방식으로 중앙 용기에 분배하는 메커니즘을 포함한다. 장치의 주요 구성 요소에는 분산 대상을 저장하기 위한 여러 사일로, 사용자 입력 인터페이스, 회로 기판, 액추에이터, 중앙 콘센트, 센서, 보관 콘센트 및 경보기가 포함됩니다. 각 사일로에서 지정된 분산 시간 또는 빈도는 사용자 또는 제3자가 설정하는 것이 선호된다. 또한 더 나아가 기계에 인트라넷 혹은 인터넷 등의 무선 연결을 포함하는 기술과 중앙 저장장치에 접근하는 모니터링을 위한 메캐니즘을 포함하는 것이 선호된다.
대표청구항 1. A device for storage and dispensing of a plurality of small objects comprising: a user input interface in electronic communication with a dispensing machine, the user input interface communicating an input signal to the dispensing machine, the input signal providing a count of dispensing a plurality of small objects; and the dispensing machine comprising: two adjacent storage-auger devices and a connector, each one of the two storage-auger devices comprising: a storage container, the storage container defining a substantially hollow interior portion, the hollow interior portion having an inlet and an outlet; an auger housing defining an interior chamber, the interior chamber being in communication with the storage container outlet; a rotatable auger disposed within the interior chamber of the auger housing constructed and arranged to propel at least one of the plurality of small objects in the interior chamber of the auger housing towards an outlet of the auger housing; and a counter in communication with the outlet of the auger housing, the counter configured to count the at least one of the plurality of small objects being dispensed from the outlet of the auger housing into a sorting receptacle; the connector being physically connected to the sorting receptacle, the connector and sorting receptacle movable from one storage-auger device to the other storage-auger device such that the at least one of the plurality of small objects dispensed from each one of the storage-auger devices is collected in the sorting receptacle wherein the sorting receptacle is configured to release the plurality of small objects into a dispersal chute.
2. 얼굴 인식 키프리스에서 (얼굴 인식 + 사용자 등록) 검색식으로 검색한 결과, 얼굴 인식 기술에 대한 특허는 2010년대에 들어서며 기하급수적으로 늘어나기 시작했고 삼성전자, LG 전자, ETRI 등 국내 수준급 기업 및 연구소가 주목하고 있는 기술임을 알 수 있었다. 특히 국제적으로는 Apple, Google, Facebook 등 세계적인 IT 기업 또한 특허를 경쟁적으로 출원하고 있는 추세이다. Apple은 iPhone X에 얼굴 인식 기술 중 보안과 관련된 Face ID 기술을 탑재하며 해당 분야의 선두주자임을 공고히 했다.
출원년도 공개년도 등록년도 출원인 2020 (32902) 2021 (22245) 2021 (23955) 삼성전자주식회사(17016) 2019 (30343) 2020 (20177) 2020 (21599) 엘지전자 주식회사(12813) 2018 (28198) 2022 (19654) 2019 (19548) 한국전자통신연구원(5883) 2017 (26409) 2019 (18589) 2018 (17956) 주식회사 케이티(4783) 2015 (25424) 2017 (18016) 2022 (17465) 에스케이텔레콤 주식회사(4263) 2016 (25300) 2016 (17931) 2017 (17436) 주식회사 비즈모델라인(3540) 2014 (23755) 2018 (17756) 2016 (15218) 에스케이플래닛 주식회사(2202) 2013 (20866) 2015 (15946) 2014 (14404) 소니그룹주식회사(1848) 2012 (17941) 2014 (14438) 2015 (13127) 퀄컴 인코포레이티드(1755) 2021 (15292) 2013 (12817) 2013 (11219) 현대자동차주식회사(1582) 2011 (13792) 2009 (10967) 2006 (9449) 한국과학기술원(1412) 2005 (12658) 2010 (10548) 2012 (8536) 대우전자주식회사(1183) 2006 (12359) 2011 (10096) 2007 (8314) 주식회사 엘지유플러스(1168) 2004 (11958) 2012 (9823) 2011 (7152) 네이버 주식회사(1160) 2007 (11933) 2006 (9224) 2008 (6079) 퀄컴 인코포레이티드(1083) 2008 (11919) 2007 (8458) 2005 (5739) 애플 인크.(1048) 2010 (11853) 2005 (7785) 2010 (5162) 한국전력공사(1022) 2009 (11715) 2008 (7723) 2004 (4919) 고려대학교 산학협력단(1013) 2003 (10538) 2001 (6911) 2003 (4481) 주식회사 신한은행(977) 2000 (9683) 2004 (6588) 2009 (4292) 인터내셔널 비지네스 머신즈 코포레이션(972) 2002 (8344) 2002 (6339) 2002 (3800) 주식회사 케이티프리텔(908) 2001 (8257) 2003 (5389) 2001 (2791) 기아 주식회사(883) 1999 (3614) 2000 (4419) 2000 (2186) 주식회사 팬택자산관리(861) 1997 (3202) 1999 (3143) 1999 (1718) 현대모비스 주식회사(816) 1998 (2949) 1998 (2413) 1998 (980) 캐논 가부시끼가이샤(776) 2022 (2523) 1997 (1166) 1997 (429) 연세대학교 산학협력단(708) 1996 (2001) 1996 (640) 1996 (273) 마이크로소프트 코포레이션(701) 1995 (997) 1995 (483) 1995 (185) (주)아모레퍼시픽(694) 1994 (570) 1994 (426) 1993 (170) 경희대학교 산학협력단(690) 1993 (457) 1993 (292) 1994 (159) 삼성에스디에스 주식회사(679) 1992 (387) 1992 (260) 1992 (151) 주식회사 위니아전자(666) 1991 (275) 1991 (185) 1991 (110) 제넨테크, 인크.(660) 1990 (247) 1989 (158) 1990 (79) 더 프록터 앤드 갬블 캄파니(652) <pill dispenser 특허 출원 및 등록 현황>
본 과제에서는 간단한 얼굴인식과 사용자 등록을 통해 개인 구분하는 것을 초점으로 하기 때문에 아래 3개의 특허에 초점을 맞춰 조사를 실시했다.
2007 2011 2016 휴대 단말기를 이용한 사용자 등록 시스템 및 방법 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법 SMART AUTOMATED PILL DISPENSER
특징
1. 개인정보 등록을 원하는 제3자의 얼굴 사진을 촬영하는 촬영부
2. 상기 촬영부가 촬영한 사진정보에 의한 얼굴 인시 정보를 추출하는 얼굴인식 정보부
3. 상기 얼굴 인식 정보부가 추출한 얼굴 인식 정보를 무선통신을 통해 서버로 전송하고, 서버로부터 전송되는 상기 제 3자의 정보를 수신하는 통신부 및 상기 통신부가 수신한 정보가 저장되는 저장부
4. 휴대 단말기의 사용자 등록에서 얼굴 촬영을 하고, 촬영된 얼굴 인식 정보에 의해 개인정보를 자동으로 등록할 수 있도록 한다. 1. 사용자의 요청에 따라 카메라로부터 입력된 복수의 이미지 각각으로부터 얼굴 이미지를 검출하여 정렬함
2. 정렬된 복수의 얼굴 이미지 각각에 대한 얼굴 특징을 점수화한 얼굴 특징값을 산출한 후 산출된 얼굴 특징값에 따라 선별된 얼굴 이미지를 얼굴 인식을 위한 대상 얼굴 이미지로 등록함으로써 사용자가 한번의 요청으로 다양한 얼굴 등록을 수행하여 얼굴 인식률을 높일 수 있게 된다. 1. 등록이 간편한 얼굴인식 시스템은 출입 권한의 발급을 위한 절차를 안내하는 등록용 웹페이지를 사용자에게 제공
2. 신상정보의 입력 및 발급된 출입 권한의 관리를 위한 관리용 웹페이지를 관리자에게 제공하는 웹 서버
3. 등록용 웹페이지에 링크된 주소가 포함된 메시지를 사용자 단말기로 전송하고, 등록용 웹페이지에 업로드되는 사용자의 얼굴 사진을 기반으로 하여 얼굴이 인식된 사용자에게 얼굴 이미지가 포함된 출입 권한을 발급
4. 통행자를 촬영하여 영상 정보를 생성하는 카메라 및, 영상 정보에 나타난 통행자의 얼굴을 인식하고, 인식된 얼굴을 출입 권한에 포함된 얼굴 이미지와 비교하여 그 통행자의 출입 권한을 확인하며, 출입 권한의 확인 여부에 따라 통행 허가를 결정하는 인식 장치를 포함하여 구성되는 것이 특징
이하 상세분석 번호 1 국가 KR 명칭 휴대 단말기를 이용한 사용자 등록 시스템 및 방법 출원번호 10-2005-0078183 공개번호 10-2007-0023880 출원일 2005년08월25일 공개일 2007.03.02 대표도 요약
본 발명은 휴대 단말기의 사용자 인식 및 등록에 관한 것으로, 얼굴 인식 정보에 따른 개인정보를 저장하는 서버와의 무선통신을 수행하는 휴대 단말기에서 얼굴인식에 의한 사용자 등록을 하기 위한 장치에 있어서, 상기 휴대 단말기에 개인정보 등록을 원하는 제 3자의 얼굴 사진을 촬영하는 촬영부; 상기 촬영부가 촬영한 사진정보에 의한 얼굴 인시 정보를 추출하는 얼굴인식 정보부; 상기 얼굴 인식 정보부가 추출한 얼굴 인식 정보를 무선통신을 통해 서버로 전송하고, 서버로부터 전송되는 상기 제 3자의 정보를 수신하는 통신부; 및 상기 통신부가 수신한 정보가 저장되는 저장부를 포함하여 구성되어, 휴대 단말기의 사용자 등록에서 얼굴 촬영을 하고, 촬영된 얼굴 인식 정보에 의해 개인정보를 자동으로 등록할 수 있도록 한다.
대표청구항 얼굴 인식 정보에 따른 개인정보를 저장하는 서버와의 무선통신을 수행하는 휴대 단말기에서 얼굴인식에 의한 사용자 등록을 하기 위한 장치에 있어서, 상기 휴대 단말기에 개인정보 등록을 원하는 제 3자의 얼굴 사진을 촬영하는 촬영부; 상기 촬영부가 촬영한 사진정보에 의한 얼굴 인시 정보를 추출하는 얼굴인식 정보부; 상기 얼굴 인식 정보부가 추출한 얼굴 인식 정보를 무선통신을 통해 서버로 전송하고, 서버로부터 전송되 는 상기 제 3자의 정보를 수신하는 통신부; 및 상기 통신부가 수신한 정보가 저장되는 저장부를 포함하는 휴대 단말기의 사용자 인식 장치. 번호 2 국가 KR 명칭 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법 출원번호 10-2009-0124416 등록번호 10-2011-0067716 출원일 2009.12.15 등록일 2011.06.22 대표도 요약
본 발명은 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법에 관한 것이다.
사용자의 요청에 따라 카메라로부터 입력된 복수의 이미지 각각으로부터 얼굴 이미지를 검출하여 정렬하고, 정렬된 복수의 얼굴 이미지 각각에 대한 얼굴 특징을 점수화한 얼굴 특징값을 산출한 후 산출된 얼굴 특징값에 따라 선별된 얼굴 이미지를 얼굴 인식을 위한 대상 얼굴 이미지로 등록함으로써 사용자가 한번의 요청으로 다양한 얼굴 등록을 수행하여 얼굴 인식률을 높일 수 있게 된다. 대표청구항 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치에 있어서, 복수의 이미지를 촬영하여 출력하는 카메라부와, 상기 복수의 이미지로부터 얼굴 이미지를 검출하는 얼굴 검출부와, 상기 검출된 얼굴 이미지의 특징을 점수화한 얼굴 특징값을 산출하는 얼굴 특징값 산출부와, 사용자의 요청에 따라 상기 카메라부로부터 입력된 복수의 이미지로부터 상기 얼굴 검출부를 통해서 상기 얼굴 이미지를 검출하여 정렬하고, 상기 얼굴 특징값 산출부를 통해서 상기 정렬된 얼굴 이미지 각각에 대한 얼굴 특징값을 산출한 후 얼굴 인식을 위한 대상 얼굴 이미지로 상기 산출된 얼굴 특징값에 따라 선별된 얼굴 이미지를 등록하는 제어부를 포함하는 것을 특징으로 하는 얼굴 이미지 등록 장치.
번호 3 국가 KR 명칭 등록이 간편한 얼굴인식 시스템 출원번호 10-2021-0011146(분할) 등록번호 10-2011-0067716 출원일 2021.01.27 등록일 2022.03.24 대표도 요약
본 발명은 등록용 웹페이지에 링크된 주소가 포함된 메시지를 사용자 단말로 전송하여 사용자가 자신의 얼굴 사진을 업로드할 수 있도록 안내하고, 그 등록용 웹페이지에 업로드 되는 얼굴 사진으로부터 사용자의 얼굴을 식별하여 출입 권한을 부여하는 방식으로 사용자가 간편하게 등록할 수 있도록 하는 얼굴인식 시스템에 관한 것이다.
본 발명에 의한 등록이 간편한 얼굴인식 시스템은 출입 권한의 발급을 위한 절차를 안내하는 등록용 웹페이지를 사용자에게 제공하고, 신상정보의 입력 및 발급된 출입 권한의 관리를 위한 관리용 웹페이지를 관리자에게 제공하는 웹 서버, 등록용 웹페이지에 링크된 주소가 포함된 메시지를 사용자 단말기로 전송하고, 등록용 웹페이지에 업로드되는 사용자의 얼굴 사진을 기반으로 하여 얼굴이 인식된 사용자에게 얼굴 이미지가 포함된 출입 권한을 발급하며, 발급된 출입 권한을 관리하는 관리 서버, 통행자를 촬영하여 영상 정보를 생성하는 카메라 및, 영상 정보에 나타난 통행자의 얼굴을 인식하고, 인식된 얼굴을 출입 권한에 포함된 얼굴 이미지와 비교하여 그 통행자의 출입 권한을 확인하며, 출입 권한의 확인 여부에 따라 통행 허가를 결정하는 인식 장치를 포함하여 구성되는 것을 특징으로 한다. 대표청구항 보안 시설 방문자의 출입 권한을 사전에 발급하기 위한 시스템에 있어서, 출입 권한의 발급을 위한 절차를 안내하는 등록용 웹페이지를 사용자에게 제공하고, 신상정보의 입력 및 발급된 출입 권한의 관리를 위한 관리용 웹페이지를 관리자에게 제공하는 웹 서버(100); 상기 등록용 웹페이지에 링크된 주소가 포함된 메시지를 사용자 단말기(200)로 전송하고, 등록용 웹페이지에 업로드 되는 사용자의 얼굴 사진을 기반으로 하여 얼굴이 인식된 사용자에게 얼굴 이미지가 포함된 출입 권한을 발급하며, 발급된 출입 권한을 관리하는 관리 서버(110); 통행자를 촬영하여 영상 정보를 생성하는 하나 이상의 카메라(120); 및, 상기 영상 정보에 나타난 통행자의 얼굴을 인식하고, 인식된 얼굴을 출입 권한에 포함된 얼굴 이미지와 비교하여 그 통행자의 출입 권한을 확인하며, 출입 권한의 확인 여부에 따라 통행 허가를 결정하는 인식 장치(130);를 포함하여 구성되는 것을 특징으로 하는 등록이 간편한 얼굴인식 시스템. 라. 특허전략 1). 알약 분배 매커니즘 특허 조사에 따르면 알약을 분배하는 과정에서 사용자가 알약을 정렬시키는 등의 과정이 필요한 경우가 많았다. 이때 위 과정을 생략하여 알약 카트리지에 알약을 넣고 크기, 모양과 관계없이 알약이 사용자의 입력에 의해 제어되는 매커니즘을 개발하는 방향으로 특허를 출원하는 방식을 취한다. 이때, 공기 흡입 프로브와 가변 조리개 등을 이용한다면 정확도가 비약적으로 상승하나 마찬가지로 비용 상승, 기계의 복잡성 증가 등 개발이 어려워지는 문제가 커지므로 회전 모터와 오거 등을 이용하여 알약을 공급하는 방식으로 개발한다. 특히 회전 모터와 오거만을 이용하여 크기와 모양을 무작위하게 하나씩 알약을 분배할 수 있는 특허기술은 많지 않았으므로 이는 출원의 핵심 전략이다.
2). 얼굴 인식 및 사용자 등록 인터페이스 알약 분배기에 라즈베리 파이와 간단한 디스플레이를 활용한 사용자 등록 인터페이스를 포함하는 것 자체로 특허를 침해하지 않는다. 또한 얼굴인식기술을 활용한 알약 분배기의 특허 출원 또한 많지 않았고 특히 카메라, EDGETPU, 디스플레이, 딥러닝 기술 모두를 활용한 얼굴 인식 알약 분배기 특허는 이전까지의 출원 개수가 미비하다고 판단하기에 경쟁력이 있다고 판단된다. 특히 가정용 영양제 분류기에 자동 얼굴 인식, 개인별 등록 알약 배급으로 한번에 이어지는 방향으로 개발이 이루어져야 한다.
기술 로드맵 내용
시장상황에 대한 분석
경쟁제품 조사 비교 내용
- 마케팅 전략 제시
내용
개발과제의 기대효과
기술적 기대효과
내용
경제적, 사회적 기대 및 파급효과
내용
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
설계사양
제품의 요구사항
내용
설계 사양
내용
개념설계안
내용
이론적 계산 및 시뮬레이션
내용
상세설계 내용
내용
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
내용
포스터
내용
관련사업비 내역서
내용
완료작품의 평가
내용
향후계획
내용
특허 출원 내용
내용
