"2조ㅤㅤ"의 두 판 사이의 차이

2024년 12월 10일 (화) 23:33 판

프로젝트 개요

기술개발 과제

국문 : 컴퓨터 비전을 활용한 노면 손상의 진행도 측정 자동화 프로젝트

영문 : Automation Project for Measuring the Progression of Road Surface Damage Using Computer Vision

과제 팀명

2조

지도교수

조수진 교수님

개발기간

2024년 9월 ~ 2024년 12월 (총 4개월)

구성원 소개

서울시립대학교 토목공학과 20188600** 권*현 (팀장)

서울시립대학교 토목공학과 20198600** 김*준

서울시립대학교 토목공학과 20198600** 박*혁

서울시립대학교 토목공학과 20198600** 박*현

서울시립대학교 토목공학과 20198600** 이*헌

서론

개발 과제의 개요

개발 과제 요약

딥러닝과 컴퓨터 비전 기술을 활용하여 노면의 손상을 자동으로 탐지하고, 손상의 정도(상대적인 깊이 및 크기)를 측정하는 시스템을 개발한다. 이를 통해 인력 부족으로 인한 노면 관리의 비효율성을 개선하고, 선제적인 보수 작업을 가능하게 하여 도로 안전성을 향상하는 것을 목표로 한다.

개발 과제의 배경

최근 도로 관리 분야에서는 인력 부족으로 인해 노면 손상의 선제적 탐지와 보수가 미흡해지고 있다. 이는 싱크홀과 같은 대형 사고에 대한 대처가 늦어지는 원인이 되기도 한다. 전통적인 노면 손상 탐지 방법은 인력 의존도가 높아 시간이 많이 소요되고, 정확도가 낮으며, 지속적인 모니터링이 어렵다. 이를 해결하기 위해 한국도로공사에서는 딥러닝 기반의 손상 탐지 모델을 도입하였으나, 낮은 일반성으로 인해 기존 문제를 완전히 해결하지는 못하고 있는 실정이다.

개발 과제의 목표 및 내용

1. SegFormer 모델을 활용한 노면 손상 탐지 시스템 개발 Transformer 기반의 SegFormer 모델을 통해 노면 손상을 정확하게 탐지하고 분류한다. 기존 CNN 기반 시스템보다 높은 성능 지표(정확도, 정밀도, 재현율 등)를 보이는 것을 목표로한다.

2. 포트홀의 상대적 깊이 측정을 위한 Depth-Anything-V2 모델 구현 포트홀의 깊이 정보를 추정하여 손상의 심각도를 평가한다. 깊이 정보와 손상 영역의 크기를 종합하여 보수 우선순위를 선정한다.

3. 노면 손상 탐지 및 측정 자동화 프로그램 개발 도로 촬영부터 손상 분류, 포트홀 이미지 추출, 깊이 추정, 손상 정도 알림까지의 전체 과정을 자동화한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 서울시 노면 손상 탐지 시스템

서울시에서는 AI기반의 도로 위험 요소 탐지 시스템인 RiaaS를 도입하여 운영하고 있다. 이 시스템은 서울 시내 대중교통에 설치하여 도로의 각종 위험 요소를 실시간으로 탐지하는 데 활용되고 있다. 장치를 부착한 차량이 주행 중 위험 요소를 발견하면 별도의 조작 없이 사진과 위치 정보를 실시간으로 관련 부서에 전송하는 방식으로 운영된다. 그러나 이 시스템은 포트홀 발생 지점을 단순히 블록화하여 대략적인 면적을 계산하는 수준에 그치고 있으며, 정확한 균열의 크기 및 깊이 측정까지는 이루어지지 않아 손상의 심각도 평가에 한계가 있다.

• 한국도로공사의 포트홀 탐지 시스템

최근 국정감사에서 한국도로공사의 CNN 기반 포트홀 자동탐지 시스템이 배수구나 보수 완료 포트홀, 차선 도색 벗겨짐, 타이어 자국 등을 포트홀로 오인하는 사례가 지적되었다. 균열, 포트홀 같은 노면 손상 요소들은 넓은 도로 배경 위에 분포해 있으며, 이러한 요소들은 크기와 위치가 불규칙적이다. CNN은 주로 국소적인 특징을 추출하는 데 중점을 두기 때문에 전역적인 맥락에 대한 이해가 부족하여 도로의 배경 요소와 노면 손상의 경계, 종류를 정확하게 분류하기 어려울 수 있다.

• CNN 모델과 Segformer 모델 비교

노면 손상 요소들은 크기와 위치가 불규칙적으로 넓은 도로 배경 위에 분포한다. 기존의 CNN 기반 모델은 이러한 특성을 효과적으로 반영하지 못하여 정확한 손상 탐지에 어려움이 있다. 반면, Transformer 기반의 SegFormer 모델은 Self-Attention 메커니즘을 통해 이미지 내 모든 픽셀 간의 관계를 학습한다. 때문에, 복잡한 배경과 손상 요소 간의 상호작용을 효과적으로 이해하고 다양한 손상 요소들을 정확하게 식별할 수 있다.
이재관 등(2024)의 연구에서는 SegFormer 모델이 CNN 기반 모델(U-Net, SegNet, PSPNet)보다 도로 네트워크 추출에 있어 정확도, 정밀도, 재현율, F1-Score, mIoU 등 모든 지표에서 우수한 성능을 보임을 확인하였다. 따라서 본 과제에서는 SegFormer 모델을 활용하여 노면 손상 탐지의 정확도를 향상시키고자 한다.

시장상황에 대한 분석

◇ 국민권익위원회의 보고서에 따르면 22년 1월부터 24년 2월까지 민원분석시스템(국민신문고, 안전신문고, 지자체 민원 창구)에 수집된 포트홀 관련 민원은 총 52,262건이다. 전체 민원의 90.2%(47,166건)은 포트홀 관련 도로이용 불편신고로, 대다수는 위치를 특정해 보수를 요청하는 단순신고 형태를 보였다. 9.8%(5,098건)은 포트홀 사고로 인한 차량파손 배상요청 내용이다.

◇ 지난해 국정감사에서 한국도로공사가 제출한 자료에 따르면 포트홀로 인한 피해배상 건수와 금액이 매년 증가하고 있는 것으로 나타났다. 2018년부터 2023년 6월까지 고속도로 포트홀로 인한 피해배상 건수는 총 5,696건이고 배상액은 약 91억 원으로, 2018년에 비해 2022년 배상 건수는 약 2배, 배상 금액은 약 6배 증가하였다.

개발과제의 기대효과

기술적 기대효과

◇ 실시간 노면 손상 탐지에 따른 신속한 도로 보수공사 유도
◇ 정량적인 노면 손상 정보 수집을 통해 효율적인 보수계획 수립을 지원하여, 도로 관리 분야 인력 부족 문제 해결

경제적, 사회적 기대 및 파급효과

◇ 기존의 도로포장 관리 체계를 자동화하여 인력 부족 문제를 해결하고 시간과 비용 절감
◇ 선제적인 도로 보수를 통해 노면 파손 관련 사고 건수 감소
◇ 노면 파손에 따른 피해보상액을 절감하여 도로 관리 주체의 경제적 부담 완화
◇ 도로 보수 관련 민원 감소를 통해 담당 공무원의 업무 부담 경감

기술개발 일정 및 추진체계

구성원 및 추진체계

설계

개념설계안

SegFormer 모델 설명

SegFormer는 기존 CNN을 사용하는 세그멘테이션 모델과 달리, 전역적으로 모든 픽셀 간의 관계를 계산하는 Transformer를 기반으로 한 세그멘테이션 모델이다. 이 모델은 기존 Vision Transformer(ViT)에서 사용하던 positional embedding(이미지 패치의 위치 정보를 제공하는 요소)을 사용하지 않으며, 계층적 구조를 통해 연산 속도를 높이는 것이 특징이다.

SegFormer는 계층적인 구조를 구현하기 위해 overlap patch merging 방식을 사용한다. 이는 이미지의 특징 맵을 겹치게 나눈 후, 패치들을 합치고 공간적 차원을 줄여 새로운 특징 맵을 생성하는 방법이다.

기존 Self-Attention 메커니즘은 해상도가 커질수록 연산 복잡도가 증가하는 단점이 있다. 이를 해결하기 위해 SegFormer는 Efficient Self-Attention 방식을 도입하여, 해상도를 줄이는 비율 을 적용한다. 이를 통해 입력 패치의 차원 N*C를 N/R*C로 변환하여 연산 효율을 높인다.

Mix-FFN은 positional embedding을 대체하기 위해 기존 Feedforward Network(FFN)에 CNN 연산을 결합한 형태로 사용한다. 이 방식은 특징 맵을 고차원 공간으로 투영한 후 활성화 함수를 적용하고, 투영된 특징 맵을 합성곱 레이어에 전달하며, 변환된 특징 맵을 활성화 함수로 다시 투영하여 새로운 공간으로 변환한다.

결과적으로, 각 Transformer 블록은 이러한 과정을 통해 다른 차원의 특징 맵을 생성하며, 생성된 특징 맵은 최종적으로 MLP Layer로 전달된다.

SegFormer의 디코더는 MLP 레이어만으로 구성된다. 디코더는 인코더에서 출력된 다중 계층 특징(Multi-Level Features)을 C 차원으로 투영하는 데 사용된다. 이후 모든 출력을 차원으로 업샘플링(up-sampling)한다. 업샘플링된 각 출력 값은 4C 차원의 모든 계층적 표현을 C 차원으로 융합한다. 마지막으로, 데이터를 클래스 개수만큼 투영하여 세그멘테이션 마스크를 예측한다.

Depth-Anything-V2 모델 설명

기존 단안 깊이 추정(Monocular Depth Estimation, MDE) 모델들은 세부 묘사와 강건성 중 하나에만 초점을 맞추거나, 데이터 노이즈 및 모델 효율성의 한계에 직면해 왔다. Depth Anything V2는 모델 구조와 학습 전략에서 기존 방법론을 개선하여 세부 묘사와 강건성을 동시에 개선하였다.

Depth Anything V2의 구조는 크게 교사 모델(Teacher Model)과 학생 모델(Student Model)로 나뉜다. 교사 모델은 Vision Transformer(ViT) 기반의 DINOv2를 채택하였다. 기존 Depth Anything V1에서 사용된 실제 이미지 레이블 데이터의 노이즈 문제(투명 물체나 반사 표면의 잘못된 깊이 값)를 해결하기 위해 Depth Anything V2에서는 이를 Hypersim, Virtual KITTI 2 같은 정확한 합성 이미지 데이터셋으로 대체하여 교사 모델을 학습하였다. 그리고 교사 모델이 Google Landmarks, LSUN, Open Images 등 대규모 비라벨 실제 이미지에 대해 가짜 라벨을 생성하는 방법을 통해 합성 데이터와 실제 데이터 간의 분포 차이를 줄여 모델의 일반화 성능 향상을 도모하였다. 이렇게 교사 모델의 정밀한 예측을 통해 생성한 가짜 라벨 데이터로 학생 모델을 학습시켜, 학생 모델이 교사 모델의 예측을 모방하도록 하였다.

Depth Anything V2는 의자 다리 같은 얇은 물체나 작은 구멍까지 정확하게 깊이를 예측할 수 있으며 유리, 거울과 같은 투명하거나 반사되는 표면에서 높은 성능을 보인다. 또한 복잡한 레이아웃, 다양한 조명 조건, 동적 객체 등이 포함된 복잡한 장면에서도 강건성(Robustness)을 보여준다. 그리고 실내외 등 다양한 환경에서 높은 일반화 성능을 보이며 Zero-shot 설정에서도 기존 모델을 능가한다.

전체 시스템 개요

(1) 노면 영상 촬영
(2) 노면 영상을 클라우드에 업로드, 이미지 추출
(3) SegFormer 모델을 통해 노면 손상(포트홀, 크랙) 탐지 및 분류
(4) 포트홀 픽셀 단위 면적 계산
(5) 탐지된 포트홀 이미지를 Depth Anything V2 모델에 입력
(6) 포인트 클라우드 생성 및 포트홀 깊이 추정

상세설계 내용

SegFormer 모델 구현

• 모델 학습에 사용한 데이터 종류

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용