2분반-Flat2Form
cdc wiki
프로젝트 개요
기술개발 과제
국문 : 3D 방 스캐너
영문 : 3D Room Scanner
과제 팀명
Flat2Form
지도교수
박관용 교수님
개발기간
2025년 3월 ~ 2025년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 20199200xx 박*규 (팀장)
서울시립대학교 컴퓨터과학부 20209200xx 김*현
서울시립대학교 컴퓨터과학부 20209200xx 류*욱
서울시립대학교 컴퓨터과학부 20219200xx 바****랑
서울시립대학교 컴퓨터과학부 20219200xx 최*우
서론
개발 과제의 개요
개발 과제 요약
이 프로젝트는 방의 내부 point cloud로부터 객체 검출 및 벽 평면화를 수행하여 방의 3D 평면도를 생성하는 iOS 앱 및 백엔드 서버를 개발하는 것을 목표로 한다.
개발 과제의 배경
- 기존의 3D 복원 방법은 LiDAR, RGB-D 카메라 등 추가적인 하드웨어 장치를 필요로 하지만, 비용이 높고 대중적으로 활용하기 어렵다는 한계가 있다. RGB 카메라만을 사용하여 3D 모델을 복원하여 일반적인 스마트폰에서도 활용할 수 있도록 한다.
- 기존의 SfM + MVS 기술을 활용한 3D 복원은 연산량이 많고 메모리 사용량이 커 시간이 오래 걸린다는 문제가 있다. 이러한 문제를 해결해줄 연산 효율성이 높은 알고리즘을 사용하여 RGB 이미지 기반 3D 평면도 및 모델을 제공한다.
- 사용자 방의 3D 모델 및 평면도를 두가지 형태로 제공한다. 또한 만들어진 모델을 Blender 등의 3D 에디터를 통해 가구 재배치 등에 사용할 수 있다. 이를 통해 사용자는 방의 인테리어 계획, 방의 공간 구조를 분석 등 다양한 방식으로 실내 공간을 탐색하고 활용 가능하다. 앱을 제공함으로 누구나 쉽게 사용할 수 있다는 점에서 접근성과 경제성이 효율적이다.
- 개발 완성 기술을 사용하여 다양한 외부 플랫폼과 연동이 가능하다. 부동산 플랫폼에는 공간 구조를 시각적으로 모델을 할 시 매물의 정확한 구조를 제시 가능하며 사용자 맞춤형 구조나 인테리어 추천도 가능하게 된다.
개발 과제의 목표 및 내용
- iOS: 스캔 및 서버 업로드 기능, 업로드된 데이터를 기반으로 3D 모델 생성 완료 시 Apple Push Notification service를 활용하여 사용자 디바이스로 푸시 알림 전송 기능, 3D 모델 내보내기 기능을 구현한다.
- Fast3R 기술의 개발 및 이미지 인식 후 3D 모델링. Fast3R 기술의 설계 및 알고리즘을 파악한 뒤에 Reconstruction 프로토타입 구현하며 알고리즘의 최적화 및 테스팅을 진행한다.
- 스캔된 방의 point cloud를 이용해 벽면을 인식하여 객체 검출하는 기술을 개발하고 3D 평면도를 제공한다.
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
- 전 세계적인 기술현황
- 딥러닝 기반 3D 복원 기술: 2d 이미지로부터 3d 복원을 수행하는 Vision Transformer 기반의 딥러닝 모델이 좋은 성능을 나타내고 있다. 2D 이미지 집합으로부터 3D 장면을 재구성해 새로운 시점의 이미지를 렌더링하는 NeRF 기술, 2D 이미지 집합으로부터 3D 점들의 위치를 복원하는 Dust3R, Fast3R 모델 등이 연구되고 있다. 이러한 기술은 AR/VR, 자율 주행 등의 분야에서 활용되고 있다.
- 사물 인식 기술: 3D 공간의 점들을 의미있는 단위로 분할하고 사물을 분류하는 기술이다. 전통적으로 3D 데이터를 처리하기 위해 복셀화나 다중 뷰 투영과 같은 방법이 사용되었으나, 최근에는 3D 데이터를 직접 처리하는 딥러닝 모델이 주목받고 있다. 딥러닝 모델은 데이터의 구조적 정보를 보존하면서도 효율적인 처리를 가능하게 한다. 이러한 기술은 자율 주행, 물류 및 공급망 운영, 건축, 의료 분야 등 다양한 분야에서 활용되고 있다.
- 벽면 검출하는 알고리즘: 실내의 벽, 바닥, 천장 등을 검출하는 RANSAC 알고리즘을 사용하였다. 이 알고리즘은 포인트 클라우드 점들 사이에 노이즈가 있어서 잘 작동하여 벽면을 검출하는 특징이 있다. 각 평면의 방향을 이용해서 수직이면 벽 수평이면 바닥이나 천장으로 구분이 가능하다. 이렇게 적용한 후에 결과물을 매쉬화 하여 3D 평면도에 반영되고 있다.
- SoftGroup 기반 객체 검출: 실내의 객체들을 검출하는 모델이다. 사전 학습된 모델을 이용하여 포인트 클라우드 내 객체 검출을 해주며 어떤 종류에 분류되는지도 확인 가능하다.
- DBSCAN: DBSCAN 알고리즘은 포인트들이 얼마나 가까이 모여 있는지의 대한 기준으로, 밀집된 점들을 하나의 클러스터로 묶어준다. 이를 통해서 객체들이 각각 구분되어 식별할 수 있다. 실제 적용 과정에 높은 품질의 데이터를 요구한다.
- 기술 로드맵
- iOS
- Swift concurrency
- Clean architecture를 따른 앱 개발
- Swift Testing를 사용해 유닛 테스트 및 UI 테스트 작성
- Instruments를 활용해 hang 분석
- iOS
- 3D 복원 기술
- Vision Transfomer 분석
- Fast3R 모델 분석
- 실내 공간 데이터셋 구축
- Fast3R 모델 Fine-tuning
- 3D 복원 기술
- 3D 평면도
- 벽면 인식하는 RANSAC 알고리즘
- 객체 인식과 검출 하는 SoftGroup 모델과 DBSCAN 모델
- 3D 평면도
시장상황에 대한 분석
- 경쟁제품 조사 비교
- 3D Room Scanner & Modeling AI: Apple의 RoomPlan API를 사용, LiDAR 카메라를 필요로 함.
- 마케팅 전략 제시
- LiDAR 카메라가 필요하지 않음을 어필한다.
- AI 기반 3D 복원 및 사물 인식 기술을 강조하여 속도와 정확성을 어필한다.
- 앱을 활용한 3D 복원 결과를 Blender 등의 데스크탑 에디터를 활용해 사물 배치, 제거 기능을 통해 가상으로 편리하게 인테리어가 가능함을 알린다.
개발과제의 기대효과
기술적 기대효과
내용
경제적, 사회적 기대 및 파급효과
내용
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
설계사양
제품의 요구사항
내용
설계 사양
내용
개념설계안
내용
이론적 계산 및 시뮬레이션
내용
상세설계 내용
내용
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
내용
포스터
내용
관련사업비 내역서
내용
완료작품의 평가
내용
향후계획
내용
특허 출원 내용
내용
