AI SCANNER

프로젝트 개요

기술개발 과제

국문 : 포인트 클라우드 시스템과 매핑 알고리즘을 활용한 토목 구조물 손상도 3D 시각화 시스템 개발

영문 : Using Point Cloud System and Mapping Algorithm Development of a 3D visualization system for civil engineering structures

과제 팀명

AI SCANNER

지도교수

김선중 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 토목공학과 201986020 소상윤(팀장)

서울시립대학교 토목공학과 2019860004 김세훈

서울시립대학교 토목공학과 2019860008 김진관

서울시립대학교 토목공학과 2019860029 임건하

서울시립대학교 토목공학과 2019860033 조상현

서울시립대학교 조경학과 2020875023 이다연

서론

개발 과제의 개요

개발 과제 요약

드론으로 획득한 수많은 이미지를 대상으로 딥러닝 모델을 활용하여 구조물 손상 탐지 및 라벨링을 진행한다. 손상이 라벨링된 이미지를 3D Gaussian Splatting기술로 구조물의 3D 모델을 구현한다. 도면 자료나 설계도, 별도의 측정 과정 없이 이미지만으로 딥러닝 모델로 탐지한 손상 정보를 모두 담은 단 하나의 3D 모델을 구현하여 쉽고 직관적으로 손상 정보를 파악할 수 있다.

개발 과제의 배경

1. 대표적인 토목 구조물인 교량은 상부와 하부의 유지 보수, 제작 등을 각각의 업체에서 진행한다. 즉, 관리 주체가 다양하며 데이터 연동 기반이 미약하여 의사소통에 어려움이 있다. 따라서 다른 주체가 직관적으로 토목 구조물의 손상 정보를 파악할 수 있는 하나의 통합 손상도 제작을 통해 문제 해결이 필요하다.

2. 많은 선행연구를 통해 이미지에서 손상을 탐지하는 기술은 있지만 엄청난 양의 각각의 이미지에 표현된 손상정보를 통합적으로 다룰 수 있는 기술이 많이 부족한 상황이다. 주로 사용되는 이미지 스티칭 기법은 이미지 수가 많아질수록 왜곡이 심해져 정확한 손상위치 파악이 어렵다. 따라서 구조물의 형태를 고려한 모델링 방법에 손상 정보를 표현하여 왜곡을 최소화한 수단이 필요하다.

개발 과제의 목표 및 내용

[연구 목표]

딥러닝 모델로 찾은 손상 정보를 이미지를 활용하여 모델링하여 3D 손상도를 구현한다.

[연구 내용]

본 연구는 포인트 클라우드(Point Cloud)를 사용하는 모델링을 통해 토목 구조물의 손상을 직관적으로 파악할 수 있도록 하는 데 초점을 맞추고 있다. 포인트 클라우드는 3차원 공간에 퍼져 있는 다수의 포인트로 이루어진 데이터이다. 드론을 이용하여 교량을 비디오로 촬영하고, 다량의 이미지 데이터를 획득한다. 오픈소스 기반의 모델인 3D Gaussian Splatting을 사용하여 2D 이미지로 3D 모델로 제작한다.

3D 모델을 제작하기 전, 손상 정보가 마킹된 이미지 데이터를 구축해야 한다. 따라서 이미지 상의 손상 탐지를 위해서 딥러닝 모델을 활용한다. 손상을 식별하고 라벨링까지 가능하도록 근접 촬영된 이미지들을 대상으로 SAM(Segment Anything Model) 및 CGNet 모델을 통한 손상 탐지 작업을 실시한다. 손상을 종류별로 각각 다른 색상으로 마킹하여 여러 종류의 손상 정보를 쉽게 알아볼 수 있도록 하였다.

최종적으로, 토목 구조물 손상도 3D 시각화 시스템을 개발하고, 교내 법학관 다리에 모의 적용한 결과를 연구의 최종 결과물로 제시한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

◇ 박준규, 이근왕. (2022.10). 포인트클라우드 데이터와 스케치업을 이용한 건물의 3D 모델링. 대한토목학회 학술대회, 대한토목학회, 66-67

디지털트윈국토를 위한 건물의 3차원 모델링을 위해 3D 레이저 스캐너를 이용하여 건물의 포인트 클라우드 데이터를 생성하고, 스케치업을 이용하여 3D 모델을 생성하였다. 포인트클라우드 데이터를 기반으로 효과적으로 건물에 대한 3D 모델을 생성할 수 있다. 연구를 통해 생성된 건물의 3D 모델은 실제 건물과 동일한 형상과 크기를 가지며, 현실에 존재하는 동일한 좌표를 가지게 된다. 포인트 클라우드 데이터를 이용한 3D 모델링은 건물뿐만 아니라 도로, 교량 등 국가 인프라에 대한 디지털트윈국토 구축을 위한 효율적인 방안이 될 것이다.

◇ 김종훈, 황상준, 임성진, 유성연, 이상효. (2023.04). 포인트 클라우드 기반 실내외 스캔 3D모델의 정확성에 관한 기초연구. 대한건축학회 학술발표대회 논문집, 대한건축학회, 678-678

점차 증가하는 리모델링 시장에 맞춰 기존 인력중심의 현장조사 및 시공 모델링 과정, 소요부재조사 등의 업무 과정을 최소화 하고 업무를 효율적으로 진행할 수 있도록 드론과 실내 스캐너를 활용하여 스캔 3D모델의 정확성을 실험한다. 드론 및 실내스캐너를 통한 데이터 수집 후 포인트 클라우드 데이터 추출하여 포인트 클라우드 정합 및 치수를 산출하여 산출된 치수 및 도면 치수, 실측데이터를 각 비교하여 정확성을 점차 높이는 것이다.

◇ 메이사(meissa)는 드론을 활용해 공간 데이터를 수집하고 3D 맵핑이 가능한 프로그램을 개발했다. 여기에 AI 기술과 접목해 드론의 자율비행으로 찍은 수천 장의 사진을 하나로 합쳐 단시간 : 안에 3D모델과 정사영상을 생성할 수 있다. 이를 활용해 원격모니터링, 도면 대비 진척 비교, 측량 및 토공량 산출, 위험 구간 알림 등 관리가 가능하다. 전문가가 아닌 누구든 클릭 하나만으로 선을 그어 길이가 몇 미터인지 알 수 있다.

시장상황에 대한 분석

[기존/경쟁 기술/제품 조사 비교]

◇ 한국건설기술연구원 스마트 건설 지원 센터에 연구소를 두고 있는 국내 주식회사인 메이사(meissa)는 디지털 트윈을 구현하는 프로그램 회사이다. 현재 구성된 구조물들의 공간 데이터를 드론 및 각종 장비를 이용하여 수집하고 이를 이용하여 3D 모델을 생성한다. 이를 활용하여 모니터링 및 물량 산출, 위험구간 등 관리를 원활하게 가능한 시스템을 제공한다. 현재 각종 대형 건설사와 연구기관에 협약을 맺었으며 많은 시스템을 제공하고 있다. 메이사에서 제공하는 서비스는 드론을 이용하여 30분간 촬영을 진행하고 4시간 정도의 모델링을 거친 후 3D 모델을 제공한다. 매 촬영 시 데이터를 중첩하여 진척도를 확인할 수 있다. 또한 제작된 3D 지도 위에서 메모와 공유 기능을 추가하여 효율적인 의사소통을 가능하게 한다.

◇ 현재 상용하고 있는 많은 BIM 기술에서는 현재의 사진 데이터를 통한 3D 시각화와 물량 및 위치 정보를 취득하는 데에 주된 작업이 이루어져 있다. 하지만 구조물의 안정성 확보를 위한 현재 구조물의 손상 상태를 3D 포인트 클라우드 기술을 사용하여 시각화한 기술들은 아직까지 발전 정도가 느린 양상이다. AI SCANNER 조는 수집된 사진 데이터를 CGNet 딥러닝 모델을 도입하여 손상을 탐지하고 이미지 위에 손상정보를 입혀 구조물 손상도를 제작하는 연구를 진행하고자 한다.

[시장성 분석]

◇ 노후 건축물 관리 시장:

- 노후 건축물은 일반적으로 사용승인 후 30년 이상 지난 건축물을 의미하며, 노후 건축물 비율은 2005년 29%, 2010년 34%, 2019년 37.8%로 계속 상승하는 추세이다.

- 2019년 제정된 건축물관리법은 2020년 5월부터 시행되어 의무적으로 정기점검, 긴급점검 등을 시행하여야 하며 특히 노후 건축물은 모두 적용 대상이다.

- 2019년 12월 말 기준으로 노후 건축물 비율이 부산은 54.3%, 대구, 대전은 48.9%, 전남은 48.2%로, 건축물의 유지관리를 위해 정기적으로 점검해야 하는 대상이다.

- 시설물 유지관리 시장 규모는 2007년 1조 8천억 원 수준에서 2016년 4조 원 시장으로 성장하였으며, 시설물 점검과 진단 시장의 규모는 2007년 749억 원에서 2016년 2279억 원까지 성장하였다. 앞으로도 더 커질 전망이다.

- 정확하고 편리한 시설물 점검·진단 방법이 시설물 유지관리 및 점검·진단 시장에서 시장성을 확보할 전망이다.

◇ BIM 기술 도입과 시장 확장:

- 국토교통부는 BIM (Building Information Modeling) 설계대가 기준을 마련하여 현장의 설계 기술자들이 정당한 대우를 받을 수 있도록 하고, 설계가 더욱 스마트하게 될 수 있는 환경을 조성하고자 한다.

- 최근 1,000억 원 이상 대형 공사 입찰 시 BIM 설계 적용을 의무적으로 검토하도록 하고 있으나, 대가 기준이 없어 발주청 별로 상이한 기준을 적용하고 있다.

- 국토교통부는 BIM 설계대가 기준을 업계, 발주청, 전문가의 의견 수렴을 통해 우선하여 마련할 예정이며, 이로써 BIM 설계 기술자들이 정당한 대우를 받을 수 있고 설계 품질 향상과 시공 오류 최소화에 기여할 것으로 기대된다.

위처럼 현재 시장 현황은 노후 건축물 관리와 BIM 기술의 조합이 시장에서 긍정적인 영향을 미칠 가능성을 시사한다. 특히 노후 건축물 유지 보수와 시설물 관리 시장의 성장은 새로운 기술 도입에 대한 수요를 높일 것으로 예상되며, BIM 기술의 확대 적용은 시설물 설계 및 관리를 혁신적으로 개선할 것이다.

개발과제의 기대효과

기술적 기대효과

내용

경제적, 사회적 기대 및 파급효과

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

최종적으로 제작한 작품의 시연 영상이다.

파일:AI SCANNER 최종 작품.mp4

본 연구 프로세스를 적용하여 테스트 베드 3D 모델링을 진행하였다.

본 연구를 프로토타입 모형으로 제작을 진행하였다.

포스터

내용

관련사업비 내역서

내용

향후계획

- 본 개발 과제에서의 최종 결과물은 현재 단일 시간에서 촬영된 이미지들을 가지고 프로세스를 거친 결과물이다. 최근 4D Gaussian-Splatting 이 개발되어 단일 시간이 아닌 각 시간 별로 제작된 이미지 데이터 셋으로 학습을 시켜 동특성을 파악할 수 있다. 기존의 3D가 아닌 시간의 축이 생성되어 4D 로 표현된다. 4D Gaussian-Splatting으로 각 시간 별로 학습시킨 모델은 각 변화량을 가지고 있어 모델의 변화를 단 시간의 학습으로 시각적인 표현을 할 수 있는 장점을 가질 수 있다. 본 과제의 관심인 손상 탐지와 더불어 손상의 변화 양상을 시각적으로 표현이 가능하게 될 것이며, 시도할 경우 좋은 결과물이 예상된다.

- 손상 탐지 모델은 현재 CGNet을 사용하고 있지만 아키텍쳐 및 최적화 알고리즘의 발전으로 뛰어난 성능이 예상된다. 각 손상 영역 별로 학습된 모델들은 손상 탐지를 더욱 정교하게 할 것이다. 또한 모델을 학습하기 위한 데이터 셋은 시간이 지날수록 쌓이며, 반도체 산업의 발전으로 컴퓨팅 성능 또한 발전하여 많은 학습량을 통해 모델 성능을 높일 수 있을 것이다.

특허 출원 내용

내용