내 다리 돌려조

프로젝트 개요

기술개발 과제

국문 : 스마트폰 센서 기반 교량 모니터링 애플리케이션 개발

영문 : Development of a Bridge Monitoring Application Based on Smartphone Sensors

과제 팀명

내 다리 돌려조

지도교수

조수진 교수님

개발기간

2024년 3월 ~ 2024년 6월 (총 4개월)

구성원 소개

서울시립대학교 토목공학과 2019****** 오*균(팀장)

서울시립대학교 토목공학과 2020****** 오*찬

서울시립대학교 토목공학과 2021****** 김*현

서울시립대학교 토목공학과 2021****** 김*울

서울시립대학교 토목공학과 2021****** 안*원

서론

개발 과제의 개요

개발 과제 요약

본 과제의 목적은 스마트폰의 내장 센서를 활용하여 교량의 손상 및 이상 징후를 판단할 수 있는 애플리케이션을 개발하는 것이다. 이를 통해 정기안전점검에 소요되는 재원의 효율성을 극대화하고, 정밀안전점검 및 진단의 적절한 시기를 판단할 수 있다.

• 스마트폰 내장 가속도계의 활용

MEMS 가속도계를 통해 교량의 동특성(진동 데이터)을 계측하고 분석함으로써, 경제적이고 효과적으로 구조물의 손상 여부를 판단한다.

• 딥러닝 모델(Deep Semi-Supervised Anomaly Detection)의 활용

스마트폰으로 계측한 구조물의 진동 데이터 일부에 레이블을 부여하여 모델을 학습시키는 반지도 학습 기반의 딥러닝 모델을 활용하여, 구조물의 정상 환경과 손상 환경의 데이터를 분석함으로써, 손상 여부를 보다 정확하고 효과적으로 판단한다.

• 애플리케이션(UOSHM, Submitted to App Store) 개발

스마트폰 내장 가속도계를 활용한 구조물의 진동 데이터 계측부터, 데이터 전처리와 딥러닝 모델을 활용한 손상 탐지까지 사용자가 손쉽게 사용할 수 있도록 모바일 애플리케이션(iOS)을 개발하여, 교량의 안전 점검에 대한 접근성과 효율성을 높이고 기존 점검 방법의 한계를 극복한다.

개발 과제의 배경

최근 들어 교량 붕괴 사고가 빈번하게 발생하며, 구조물의 안전성 평가에 대한 중요성이 크게 대두되고 있다. 국토교통부의 통계자료(2022년도 도로 교량 및 터널 현황조서)에 따르면, 지난 5년간 노후화된 교량의 수가 급격히 증가하였다. 정부는 기존의 제도적 및 행정적 방법을 통해 교량을 진단하고 유지·관리해왔으나, 분당 정자교의 붕괴와 같은 사고가 지속적으로 발생하고 있다.

기존의 교량 점검 방식, 특히 정기안전점검의 주요 방법인 육안 점검은 다음과 같은 문제점을 가지고 있다. 재원의 소요(점검에 필요한 인력과 비용의 부담이 큼), 관측 결과의 편차(점검자의 숙련도에 따라 결과가 달라질 수 있음), 내부 결함 판별의 한계(육안으로는 교량 내부의 결함을 발견하기 어려움)등의 많은 제약이 있다. 이러한 한계를 극복하기 위해 비파괴 검사와 구조물 건전성 모니터링 기술이 도입되었으나, 이는 고가의 센서 네트워크의 설치와 유지관리가 어렵다는 물리적·경제적 한계가 명확히 존재한다. 특히 경제적인 문제로, 소규모 교량에 이를 운용하기 어려운 경우가 많아, 경제적이고 실용적인 SHM 시스템의 필요성이 점점 증가하고 있다. 본 팀은 스마트폰의 광범위한 보급성과 다양한 센서가 내장되었다는 점에 주목하여, 스마트폰 센서 기반의 교량 모니터링 애플리케이션을 개발하였다. 이에 따른 효과는 다음과 같다.

• 교량 안전성 향상

스마트폰 기반 모니터링 시스템을 통해 교량의 손상을 빠르고 정확하게 탐지할 수 있다. 이를 통해 교량의 손상을 초기에 발견하고, 적절한 대응 조치를 취할 수 있어 교량의 안전성을 크게 향상시킬 수 있다.

• 유지보수 비용 절감

교량의 손상을 조기에 발견함으로써 대규모 수리나 교체에 필요한 비용을 절감할 수 있다. 스마트폰을 활용한 모니터링 시스템은 고가의 전문 장비를 필요로 하지 않으므로, 기존의 비용 집약적인 점검 방법에 비해 경제적인 대안을 제공할 수 있다.

• 접근성과 사용의 용이성 향상

스마트폰 사용은 기술적 복잡성을 낮추고, 누구나 쉽게 교량의 상태를 모니터링할 수 있도록 도와준다. 이는 교량 점검과 관리를 더 넓은 범위의 사용자가 수행할 수 있게 하여, 교량 관리의 접근성을 크게 향상시킬 것이다.

• 데이터 기반 의사결정 지원 강화

수집된 데이터는 교량의 유지보수 관리에 있어 중요한 정보를 제공한다. 데이터 분석 결과를 통해 교량 유지보수의 우선순위를 정하고, 장기적인 관리 계획을 수립하는 데 도움을 줄 수 있을 것이다.

• 사회적 신뢰도 증대

교량 안전 점검의 신뢰도를 높여 공공 안전을 확보할 수 있을 것이다. 시민들이 쉽게 접근할 수 있는 모니터링 시스템을 통해 교량 안전에 대한 사회적 신뢰도를 증대시킬 수 있을 것이다.

개발 과제의 목표 및 내용

이 프로젝트의 주된 목표는 스마트폰의 내장 센서를 활용하여 교량의 손상을 판단할 수 있는 모델을 개발하고, 이를 바탕으로 한 애플리케이션을 제작함으로써 교량의 상태를 주기적으로 모니터링하며, 자동으로 데이터를 분석하여 손상의 유무를 정확하게 판단할 수 있도록 하는 것이다. 즉, 교량의 안전 관리가 더욱 체계적이고 경제적으로 이루어질 수 있도록 시스템을 개발하는 것이 최종 목적이다. 이를 통해 교량 점검의 효율성을 높이고, 기존 점검 방법의 한계를 극복하고자 한다. 구체적인 목표는 다음과 같다.

• 교량 손상 탐지 시스템 개발

스마트폰의 내장 센서를 이용하여 교량의 진동 데이터를 계측하고, 손상 여부를 정확하게 판단할 수 있는 시스템을 개발한다.

• 딥러닝 기반 분석 모델 구축

손상 여부를 판단하는 과정에서 반지도학습 기반의 딥러닝 모델을 적용하여 복잡한 데이터 패턴을 학습하고, 교량의 손상을 정확하고 효과적으로 탐지한다.

• 사용자 친화적인 애플리케이션 개발

누구나 쉽게 사용할 수 있는 직관적인 UI를 갖춘 모바일 애플리케이션을 개발하여 교량 상태 모니터링을 용이하게 한다.

이를 통해 고가의 전문 장비 없이 스마트폰만으로 교량 상태를 점검할 수 있는 경제적이고 효과적인 방법을 제공하고자 한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황 스마트폰 센서 기반 교량 모니터링 애플리케이션 개발 프로젝트에 있어, 관련 기술의 최신 동향과 연구 성과는 다음과 같다.

• 스마트폰 애플리케이션을 통한 구조물 모니터링

Eloi Figueiredo, Ionut Moldovan, Pedro Alves, Hugo Rebelo, Laura Souza. (2022). Smartphone Application for Structural Health Monitoring of Bridges 이 연구는 스마트폰 내장 가속도계와 'App4SHM' 애플리케이션을 이용하여 실험실에서 강철 빔과 실제 교량을 대상으로 테스트를 진행하였다. 이처럼 스마트폰 센서를 이용해서 구조물의 손상을 모니터링하는 기존 제품이 존재한다. App4SHM은 안드로이드, iOS 기반 애플리케이션으로, 구조물의 진동을 측정하여 손상을 모니터링하는 앱이다. 이 앱의 작동 순서는 다음과 같다. 먼저 앱을 통해 서버에 접속하여 구조물의 종류를 확인한다. 구조물 위에 스마트폰을 올려 구조물의 진동을 측정한다. 이때 진동은 구조물에 차량 혹은 사람이 지나가며 생긴 가진에 의해 생기는 진동이다. 측정이 완료된 후에는 진동 데이터를 서버로 전송하여 데이터를 분석한다. 분석이 완료된 후에는 다시 스마트폰으로 분석된 내용을 전송하여 최종적으로 구조물에 손상이 있는지를 파악한다. 이때 App4SHM 애플리케이션이 데이터를 분석하는 방법은 고유진동수의 분석이다. 구조물의 진동 데이터를 푸리에 변환을 통해 PSD와 진동수로 나타내고, 이 자료를 통해 1차 고유진동수, 2차 고유진동수, 3차 고유진동수를 특정한다. 이를 각각 F1, F2, F3라고 하였을 때, 각각을 축으로 하는 좌표에 점으로 나타낸다. 이 점들은 특정 기준 안에 존재하는데, 이 기준(Threshold)을 넘는 데이터가 존재한다면 이를 손상으로 탐지한다. 이는 진동 특성을 이용하여 손상을 탐지하는 기본적인 방법이지만, 실제 데이터를 이를 이용하여 분류하는 것은 불가능에 가깝다. 여러 외부 요인들과 계측기의 오차로 인해 실제 데이터들의 고유진동수 차이가 많이 나타나며, 손상 데이터에서의 고유진동수 차이가 정상 데이터의 편차 내에 존재하기 때문이다. 또한 고유진동수를 알기 위해서는 뚜렷한 PSD의 고점을 파악해야 하는데 실제 다자유도계 구조물을 측정하면 뚜렷한 고유진동수를 알기 어렵다. 아래 [그림 1]은 압전 센서로 PSC Beam의 진동을 측정한 데이터를 고유진동수 분석을 통해 나타낸 것이다.

F1은 진동 데이터의 1차 고유진동수, F2는 2차 고유진동수, F3은 3차 고유진동수이다. 빨간색 점은 PSC Beam의 철근 장력이 10t인 경우, 초록색 점은 철근 장력이 9t인 경우, 파란색 점은 철근 장력이 8t인 경우이다. [그림 1]과 같이 세 장력 차이를 고유진동수 분석만으로는 알기 힘들다는 점을 통해, 구조물의 손상을 단순히 고유진동수 분석을 통해 하는 애플리케이션 즉, 기존 연구의 한계를 분석하고 파악하였다.

• 딥러닝 기반 교량 손상 추정 기술

이강혁, 심성한, 신도형. (2021). 가속도계 설치 개수 및 위치에 따른 딥러닝 기반 손상 추정 영향 분석 연구 내용: 이 연구는 딥러닝 기반의 교량 손상 추정 기술에서 고가의 가속도계가 다수 필요하다는 문제를 해결하기 위해, 가속도계의 설치 위치와 개수가 딥러닝 모델의 성능에 미치는 영향을 분석하였으며, 효과적인 교량 손상 추정을 위한 최적의 가속도계 설치 방안을 제안하였다. 과제 연계성: 최적의 위치에 스마트폰을 배치함으로써 수집되는 데이터의 질을 높이고 교량의 손상 추정 정확도를 개선할 수 있다.

• 스마트폰 기반 교량 모니터링 시스템

Ashish Shrestha, Ji Dang, Xin Wang, Shogo Matsunaga. (2020). Smartphone-Based Bridge Seismic Monitoring System and Long-Term Field Application Tests 연구 내용: 이 연구는 스마트폰 센서를 활용하여 교량 지진 모니터링 시스템을 개발하고, 실험을 통해 그 유효성을 검증하였다. 스마트폰 센서 네트워크와 클라우드 서버 기반의 모니터링 시스템을 통해 실시간 데이터 업로드와 원격 제어가 가능하도록 설계하였다. 과제 연계성: 클라우드 서버를 활용한 데이터 관리 방법을 통해 실시간 데이터 분석과 원격 모니터링이 가능하게 되어, 스마트폰을 이용한 데이터 계측과 데이터 처리에 있어 물리적 한계를 극복할 수 있다.

이러한 최신 연구들은 스마트폰 센서를 활용한 교량 모니터링 시스템의 가능성과 한계를 명확히 보여주고 있으며, 본 과제의 개발 방향과 목표 설정에 중요한 참조 자료로 활용하였다.

시장상황에 대한 분석

• 노후 교량 점검

현재 대한민국의 교량은 3만 1,806개소(20.7%)로 건축물을 제외하고 시설물 중 가장 큰 비중을 차지한다. 이중 사용 연수 30년 이상의 노후교량은 2020년 5,926개소로 전체의 18.6%이다. 주요 시설물의 신규 공급이 없다고 가정했을 때, 10년 후인 2030년에는 30년 이상인 노후교량이 1만 6,310개소로 전체 교량 3만 1,806개소의 절반이 넘는 51.3% 수준으로 전망된다. (2020년 18.6% → 2030년 51.3%) 안전등급 A등급 교량 중 사용 연수 10년 미만 20%, 10~20년 48.1%, 20~30년 22.4%인데 비해 30년 이상의 비율은 9.5%로 사용 연수가 많아질수록 A등급 가능성이 감소한다. 안전등급 D등급 교량 중 사용 연수 10년 미만은 없고, 10~20년은 3.9%인데 비해 30년 이상의 비율은 76.0%로 사용 연수가 많아질수록 D등급 가능성이 증가한다. E등급도 사용 연수가 많을수록 해당 등급에 속할 가능성이 크다. 따라서 노후교량의 안전성 진단에 대한 수요는 계속해서 증가할 전망이다.

개발과제의 기대효과

기술적 기대효과

• 딥러닝을 통한 고유진동수 분석 문제점의 해결

고유진동수를 분석하기 위해서는 구조물의 고유진동수가 뚜렷하게 나타나야 하며, 계측 센서의 정확도와 정밀도가 높아야 한다. 하지만 실제 교량에서 진동 데이터를 계측하여 고유진동수를 분석한다면 많은 잡음이 발생하여 고유진동수 분석에 어려움이 있다. 실제로 계측한 데이터를 푸리에 변환을 통해 나타내면 1차 고유진동수 이외의 고유진동수는 뚜렷하게 나타나지 않는다. 또한 정상 데이터 사이의 고유진동수 편차가 크기 때문에 손상 데이터의 고유진동수 차이만으로 둘을 구별하는데 어려움이 있다. 오토인코더 기반 반지도학습을 사용한다면 고유진동수 분석으로는 탐지하기 어려운 손상을 탐지할 수 있을 것이라고 기대된다. 오토인코더는 진동 데이터의 특징 차원을 압축하여 저차원 특징 공간에 나타낸 후 이를 다시 고차원으로 변환한다. 이 과정에서 고유진동수와는 다른 진동 데이터의 특징을 추출하게 되는데 이는 일반적인 동특성 분석으로는 추출할 수 없다. 따라서 기술적으로 고유진동수 분석으로는 추정하기 어려운 손상을 딥러닝을 이용하면 추정할 수 있을 것이다.

경제적, 사회적 기대 및 파급효과

• 사고징후 조기 발견 확률 증가를 통한 경제적 위험비용 절감

한 번 교량의 붕괴사고가 발생할 경우 직접비용, 간접비용 그리고 여러 무형의 손실이 발생한다. 무너진 교량을 재건축하는데 소요되는 비용과, 사고 발생시 응급대응에 발생하는 비용과 사고 현장을 복구하는 비용 등 막대한 직접비용이 소모된다. 추가로 교통 마비와 이로인한 경제적 손실, 그리고 인근의 안전성 문제로 인한 재산 가치 하락 등의 간접비용 역시 막대하다. 붕괴이후 잔해로 인한 지역생태계와 수질에 가해지는 환경적 악영향, 주민들의 심리적 스트레스와 같은 무형의 손실 역시 막대하다. 그렇기에 교량의 붕괴사고가 애초에 발생하지 않는 것이 최선이며, 이를 위한 계측과 진단방법 역시 개선할 필요성이 있다. 비연속적으로 행해지는 점검의 주기를 단축함으로써 사고징후 조기 발견확률을 높여 사고위험에 대한 경제적 위험비용을 줄일 수 있다. 또한 이를 실현하는데 전통적 계측방식을 통해 소요되었어야 할 비용 지출을 절감함으로서 직접적인 경제적 효과를 가져올 수 있다.

• 점검자의 자격요건 완화를 통한 인력 부족 완화 및 사고 예방력과 사고 대응능력 향상

한 번 사고가 발생하면, 사회적 논란과 함께 TF팀이 구성되고, 모든 구조물에 대한 전수점검이 이루어지는 등의 조사가 실시되며 막대한 사회적 비용이 발생한다. 그리고 사고발생에 대한 제도적 책임을 묻기 위해 관련 부처의 재직자들에 대한 처벌이 가해진다. 이러한 현상은 장기적 관점에서 보았을 때 토목직과 방재직 부처의 공무원의 공급을 상당히 저해할 것이며, 이는 다시 점검에 대한 인력 부족을 야기하는 악순환을 초래한다. 점검자의 자격요건 완화를 통해 점검 가용인원을 늘림으로써 기존의 안전사고발생 후의 대응방식을 근본적 차원에서 개선할 수 있다. 특정 부처와 직위자의 책임으로만 남겨두어 안전점검의 취약점을 방치한 뒤, 사후적으로 책임소재를 묻는 기존의 구조적 모순을 완화하여, 사회기반시설물 안전에 대한 정부부처와 관련기관 공공차원의 책임으로 그 영역이 확장됨을 기대할 수 있다. 이는 장기적 차원에서 사고 예방력과 사고 대응능력을 향상시키는 큰 바탕이 될 것이다. 이러한 법률 및 제도적 차원의 개선과 실무적 현장여건의 개선을 통해 궁극적으로 사고발생위험을 낮출 수 있을 것으로 기대된다.

기술개발 일정 및 추진체계

기술 로드맵

설계

설계사양

설계/제품의 요구사항

개념설계안

◇ 콘크리트 빔 실험

• 실험 목적

실험의 주된 목적은 스마트폰 센서를 이용하여 구조물의 손상 여부를 감지할 수 있는지 실현 가능성을 확인하는 것이다. 이를 통해 스마트폰 기반 교량 모니터링 시스템의 효과성을 검증하고, 딥러닝 기술을 이용하여 교량의 이상 징후를 정확하게 탐지할 수 있는지 평가하고자 한다.

• 실험 구성

[그림 2]

다음의 [그림 2]와 같이 콘크리트 빔의 실제 지점조건을 변화시켜가며 실험을 진행하였다. 지점부 4개가 모두 존재하는 정상 상태에서 좌측에서 두 번째 지점이 탈락한 상태를 손상 상태로 가정하였고, 고무망치로 1.5초 주기로 가진하여 100Hz 샘플링 주파수로 수차례의 가속도 데이터 계측을 실시하였다.

• 진동 데이터의 고유진동수 분석

[그림 3]

고유진동수는 물체의 강성과 질량에 따라 결정되는 고유한 특성으로서, 이와 관련한 물체의 성질이 바뀜에 따라 변화하게 된다. 지점조건이라는 구조물의 성질이 변화한다면, 구조물 전체의 동특성도 변하게 되며, 이로 인하여 고유진동수 역시 변화하게 된다. 이를 확인하고자 시간에 따라 계측한 진동 데이터를 Fast Fourier Transform을 통해 해석함으로써 [그림 3]과 같이 정상 상태와 손상 상태의 1, 2, 3, 4차 고유진동수를 구하였다.

[그림 4]

[그림4]는 [그림3]에서 구한 손상 상태와 정상 상태의 고유진동수를 구하고 이를 비교한 것이다. 그래프의 범위를 보면 손상 상태와 정상 상태의 고유진동수 범위가 상당 부분 겹쳐서 나타나는 것을 알 수 있다. 이는 고유진동수 분석 만으로는 구조물의 손상을 탐지하기 어렵다는 의미를 갖는다. 상자그래프로 단순히 범위만을 비교하는 것이 아니라 1, 2, 3, 4차 고유진동수를 각각 벡터로 표현하여 좌표공간에 찍어보아도 비슷한 결과를 얻을 수 있다. 다음 [그림 5]는 좌표공간에 각각 환경의 데이터를 찍은 것이다. 이를 보면 어떠한 기준(Threshold)을 설정하여 손상 상태와 정상 상태를 구분하기 어렵다는 것을 알 수 있다.

[그림 5]

• 딥러닝 프로그램을 활용한 진동 데이터의 분석

진동 데이터의 고유진동수 분석 과정에서 손상 상태와 정상 상태를 구분하기 어렵다는 것을 확인한 후, 사람이 감지할 수 없는 특징까지도 추출하여 데이터를 분석하는 딥러닝 프로그램 중 반지도학습 오토인코더를 활용한 DeepSAD를 통해 스마트폰 센서로 측정한 가속도 데이터를 분석하였다. DeepSAD(Deep Structural anomaly detection)는 레이블이 있는 데이터와 레이블이 없는 데이터를 이용하여 반지도학습을 하는 딥러닝 프로그램이다. DeepSAD의 원리는 나-1 에서 설명한다. DeepSAD의 작동 방식은 다음과 같다. 먼저 계측한 데이터의 전처리가 필요한데, 이때 300초로 계측한 데이터는 1.5초 간격의 데이터 200개로 나눈다. 300초로 계측한 데이터 중 손상 환경과 정상 환경 각각 한 세트씩이 학습 데이터로 사용되며, 전처리 과정에서 레이블을 부여한다. 또한 손상 환경과 정상 환경 데이터 각각 한 세트씩이 검증 데이터로 사용된다. 모델을 학습시키는 과정은 ① autoencoder를 이용하여 pre-train 시켜, center c와 W를 초기화한다. 이때, center는 모든 x에 대한 의 평균으로 정해진다. ② 검증 데이터는 train 후 hypersphere를 정의하여, 테스트 시 정상과 손상을 구분하는 기준(Threshold)을 설정하는 데 사용된다. ③ 이후 forward pass와 back propagation 과정을 반복하며 수렴하는 W를 학습시킨다. 나머지 데이터를 이용하여 테스트하면 딥러닝 프로그램의 성능(정확도)를 알 수 있다. 정확도는 테스트 데이터의 전체 개수 중 레이블을 맞춘 데이터 개수의 비율로 얻을 수 있다. 위 실험으로 계측한 데이터 중 각각 한 세트씩을 학습, 검증에 사용하고 나머지 데이터 세트는 모두 테스트에 사용하였다. 이를 시각화하면 아래 그림과 같다. 또한 각각 사용한 학습 데이터에 따라 세 번의 시행으로 나누어 정확도를 확인하였는데, 세 번의 시행은 다음과 같다.

계측 데이터에 따른 학습, 검증, 테스트 데이터 분류

딥러닝 시행에 따른 학습, 검증, 테스트 데이터

학습 데이터와 검증 데이터 종류에 따른 테스트 결과(정확도)는 [그림 6]과 같다. 학습을 하중이 없는 두 환경으로 하였을 경우, 하중이 있는 두 환경으로 하였을 경우, 두 경우를 전부 사용하였을 경우로 나누어 3번의 실행을 진행하였다. t-SNE는 데이터를 특징 공간에 찍었을 경우를 나타내며, 주황색 점은 손상 데이터를, 파란색 점은 정상 데이터를 의미한다. 여기서 정확도는 전체 테스트데이터에 대해서 정확하게 예측된 데이터의 비율로 정의된다.

[그림 6]

모든 시행에서 90% 이상의 정확도를 보였다. 이는 동특성을 이용하여 손상을 탐지하는데 DeepSAD 프로그램이 고유진동수 분석보다 훨씬 유리하다는 것을 나타낸다. 또한 육안 관측이 어려운 지점부 변화 혹은 고정단 손상, 응력 집중과 같은 구조물 손상을 DeepSAD를 이용하여 쉽게 탐지할 수 있었다.

콘크리트 빔의 진동 데이터를 계측하여 고유진동수 분석과 딥러닝을 활용한 분석을 통해, 결과적으로 스마트폰 센서로 측정한 데이터가 구조물 진단에 활용될 수 있으며, 그 과정에서 딥러닝 기술이 매우 효과적인 분석법이라는 점을 확인하였다.

이론적 계산 및 시뮬레이션

◇ 딥러닝 모델

• DeepSAD 딥러닝 모델의 학습 과정

[그림 7]

본 연구에서는 CNN 인코더를 사용하는 DeepSAD 기반의 딥러닝 모델을 사용하였다. 그 구조는 [그림 7]과 같다. DeepSAD 모델은 다음과 같은 방식으로 학습이 이루어진다. CNN 인코더는 데이터를 저차원 특징 공간으로 압축하는 역할을 수행하며, 이 단계에서 데이터를 인코딩하여 주요 특징을 추출한다. 초기 학습 단계에서 정답을 아는 labeled 데이터를 이용하여 초기 학습을 수행하고, 이를 통해 특징 공간상에 초기 중심점(initial center point)을 설정한다. 이후 정답을 모르는 unlabeled 데이터와 labeled 데이터를 함께 학습하여 정상 데이터는 초기 중심점과 가까워지도록, 손상 데이터는 멀어지도록 학습이 진행된다. 이후, labeled 데이터를 이용하여 특징 공간상에서 정상과 손상을 분류하는 기준을 설정함으로써 한 epoch의 학습 과정이 마무리된다.

첫째 항은 unlabeled 데이터의 와 초구의 중심 사이의 거리를 통해 anomaly score를 나타내는 항이다. 는 개의 은닉층을 지나는 와 그에 대응하는 weights에 대한 Neural Network(NN)이다. 두 번째 항은 labeled 데이터와 중심 사이의 거리를 나타내는 항이며, 를 통해 unlabeled 데이터와 가중치를 다르게 설정할 수 있다. 정상 데이터의 경우 , 비정상 데이터의 경우 이다. 비정상 데이터의 거리의 경우 역수로 표현되어 초구의 중심에서 멀어지도록 가중치를 갱신한다. 이처럼 DeepSAD 모델은 손실 함수를 계산하여 데이터와 초기 중심점 사이의 거리를 기반으로 학습이 이루어진다.

• DeepSAD 딥러닝 모델 테스트 방법

학습이 완료된 후, 특징 공간상에 학습된 데이터를 기반으로 정상과 손상을 분류하는 기준선이 설정된다. 이후 테스트 데이터를 모델에 입력하면 출력값을 특징 공간상에 배치되고, 설정된 기준선을 통해 분류된다. [그림 7]은 정상 데이터와 손상 데이터를 특징 공간상에 배치한 예시 그림이며, 그림과 같은 방법으로 딥러닝 모델이 테스트하게 된다. 예를 들어 [그림 7]에서 전체 데이터의 정확도는 전체 데이터 개수인 9개 중, 정답을 맞춘 데이터의 개수인 7개의 비율인 77.8%로 산출된다.

[그림 7]

◇ 전단 빌딩 실험

• 실험 목적

실험의 주된 목적은 딥러닝 모델이 육안으로 확인되지 않을 정도로 미세한 손상을 탐지할 수 있는지를 확인하기 위함이다.

• 실험 구성

전단빌딩은 다음 [그림 8]과 같이 알루미늄 층 4개를 가운데가 빈 철판이 양옆에서 지지하는 모양을 하고있다. 철판은 기둥의 역할을 하며, 철판과 층은 나사를 이용하여 고정하고 있다.

[그림 8]

[그림 9]와 같이 계측은 두 번째 알루미늄 층에서 스마트폰을 이용하여 진행한다. 전단 빌딩에서 나사 하나가 빠진 상태의 동특성 변화는 매우 미세하여 고유진동수 분석으로는 감지하기 어려운 수준이다. 따라서 이 환경은 실제 교량에서 나사 탈락이나 고정부의 미세한 손상을 제시할 수 있다.

[그림 9]

이때 나사를 조금 풀어 느슨하게 한 것을 손상 환경이라 정의하고 실험을 진행하였다. 나사는 2층 두 번째 나사와 3층 두 번째 나사에 변화를 주어 손상 환경을 제작하였다.

[그림 10]

계측한 환경은 다음과 같다. 위 세 경우를 각각 210초씩 3번 계측하였다. 진동을 계측하기 위해서 Shaking table을 이용하여 Chirp 진동을 가진하였다. Chirp 진동은 주파수가 일정 시간동안 계속해서 증가하는 진동으로, 초기 주파수는 0.5Hz, 최대 주파수는 20Hz로 설정하여 가진하였다.

• 데이터 구성

학습된 9세트의 210초 데이터는 전처리 과정을 거친다. 한 세트의 210초 데이터는 1.5초의 140개 데이터로 쪼개진다. 이후 한 세트씩 각각 학습, 검증, 테스트 데이터로 할당된다. 이때 약 10%의 데이터는 레이블을 부여받은 채로 학습되며, 나머지 데이터는 레이블 없이 학습에 사용된다. 데이터는 위에서 설명한 DeepSAD의 원리에 따라 학습된다. 각각 2번의 시행을 하여 정확도를 산출하였으며, 각각의 시행은 다음과 같다.

계측 데이터에 따른 학습, 검증, 테스트 데이터 분류

딥러닝 시행에 따른 학습, 검증, 테스트 데이터

• 실험 결과 및 의의

학습 데이터와 검증 데이터 종류에 따른 테스트 결과(정확도)는 두 가지 손상 상태에 대해 모두 90%을 넘는 정확도를 보였으며, 본 실험을 통해 스마트폰과 딥러닝을 활용한 구조물 진단 방법이 눈으로 보이지 않는 미세한 손상까지도 탐지할 수 있음을 확인하였다.

상세설계 내용

◇ 애플리케이션 상세설계 및 개발

• 개발 환경 및 GUI 설계

iOS에서 Swift UI 언어를 사용하여 Xcode 개발 환경에서, 다음과 같은 앱 구동 프로세스와 GUI를 디자인하였다.

위와 같은 프로세스로 동작하는 애플리케이션을 개발하는 각 과정에서 다음의 요소를 고려하였다. 손상 탐지 모델은 각각의 구조물 별로 만들어질 것이기에, 추후 계측 가능한 교량의 대상이 확대됨에 따라 이들을 데이터베이스화하여 반영할 수 있도록 각각의 시설물을 선택할 수 있도록 구성하였다. 또한 사용자 편의성 및 데이터의 신뢰도를 확보하고자, 각 구조물별 상세한 계측 지침을 확인할 수 있도록 디자인하였다. 여기서 가장 큰 비중으로 고려한 부분은 하드웨어 자원으로, 기존 스마트폰의 하드웨어로는 딥러닝 모델을 구동하는데 한계가 있다고 판단하였고, 이를 극복하고자 스마트폰 가속도계로 계측한 진동 데이터는 외부 환경 즉 Google Drive에 저장되며, Google Colab Pro 내에서 딥러닝 모델을 구현하였다. 이러한 일련의 과정을 통해 딥러닝 모델은 다음의 세 가지 결과를 반환한다(Expected Normal, Damage Expected, Damage Expected by Strong Probability).

사용자가 목록에서 시설물을 선택하면, 해당 시설물에 대한 상세한 계측 지침을 확인한 뒤, 진동 데이터를 계측한다. 이렇게 계측된 데이터는 서버로 전송되고, 딥러닝 모델에서의 분석을 거쳐 해당 시설물에 대한 진단 결과를 반환하게 된다.

◇ 개발 과제 핵심 결과: 애플리케이션 최종 테스트_실교량(서울시립대학교 백주년 기념관 보도교) 대상 손상 탐지 실험

• 실험 목적

본 실험의 주된 목적은 사용자가 애플리케이션을 사용하는 전 과정을 직접 테스트해보고, 실교량(서울시립대학교 백주년 기념관 보도교)에서 애플리케이션을 사용하여 구조물 손상을 탐지하는가에 있다.

• 실험 구성

실제 구조물에 손상을 가하는 것은 현실적 여건상 불가능하기에, 손상 상태를 다음과 같이 정의한다. 계측자를 포함한 총 5인의 하중이 가해진 상태를 손상 상태, 계측자 1명만의 하중이 가해진 상태를 정상 상태로 가정한다. 이를 통해 애플리케이션이 정상 상태와는 다소 다른 하중 부하를 감지하고 교량의 손상 여부를 정확히 판단할 수 있는지 확인한다.

가정 환경에서, 고무망치를 이용해 수직 30cm 높이에서 계측 포인트를 1.5초 간격으로 내리치는 가진(이때 망치에 힘을 주지 않고 반동만을 제어하여 내리친다.)을 통해 진동 데이터를 계측하여, 애플리케이션을 통한 손상 탐지를 진행한다.

• 실험 결과 및 의의

정상 상태 데이터 5개, 손상 상태 데이터 1개를 계측하여 딥러닝 모델 학습을 완료한 뒤, 테스트를 진행한 결과, 개발한 애플리케이션은 실교량에데이터를 스마트폰으로 받아서 손상 유무를 찾을 수 있다. 이러한 시스템을 통해 교량의 안전성을 보다 효과적으로 관리할 수 있으며, 잠재적인 위험을 사전에 감지하여 사고를 방지할 수 있다. 또한, 수집된 데이터는 교량의 장기적인 관리와 보수 계획 수립에도 유용하게 활용될 수 있을 것이다.

결과 및 평가

완료 작품의 소개

애플리케이션 프로토타입과 작동 영상

애플리케이션 프로토타입

스마트폰의 내장 센서를 활용하여 교량의 손상 및 이상 징후를 판단할 수 있는 애플리케이션 (UOSHM) 시연 영상

https://youtu.be/55ag9CcxY8w?si=aYGm2X-Dwvd-0XSa

포스터

완료작품의 평가

향후계획

◇ 사용하기 쉬운 직관적 UI를 구성함으로써 구조물 안전 점검 가용인력의 대상을 확대할 수 있을 것이다. 이는 전문가뿐만 아니라 일반 사용자들도 쉽게 접근할 수 있게 하여, 구조물 유지관리의 효율성을 극대화할 수 있을 것이다. 이를 통해 사전 테스터로서의 역할을 수행하여, 잠재적인 구조물 손상을 조기에 발견하고 대응할 수 있게 될 것이다.

◇ 임의의 구조물로 학습한 모델을 다른 구조물에 적용할 수 있는 Domain Adaptation 기술을 활용한다면, 다양한 구조물에 광범위하게 사용할 수 있는 애플리케이션이 될 가능성을 가지고 있다. 이는 특정 구조물에 국한되지 않고, 다양한 형태와 조건의 구조물에 대해 손상 탐지가 가능하게 하여, 애플리케이션의 활용도를 크게 높일 수 있을 것이다.

◇ 장기적 관점에서, 전문가와 공공기관만의 영역이던 구조물 안전진단을, 구조물을 직접 이용하는 시민의 영역으로 확장하는 시작점이 될 수 있을 것이다. 이는 공공의 안전을 증진시키고, 사회 전반의 구조물 관리 수준을 향상시키는 데 기여할 것이며, 이러한 발전 가능성을 통해, 본 애플리케이션은 구조물 안전관리의 새로운 표준이 될 수 있을 것으로 기대한다.