"2조(스피노)"의 두 판 사이의 차이

2025년 6월 7일 (토) 22:48 판

프로젝트 개요

기술개발 과제

국문 : ReLU 신경망 기반 MILP 최적화에서 OBBT 기법을 통한 계산 효율 개선 연구

영문 : Improving Computational Efficiency in MILP Optimization of ReLU Neural Networks via OBBT

과제 팀명

스피노

지도교수

유준재 교수님

개발기간

2025년 3월 ~ 2025년 6월 (총 4개월)

구성원 소개

서울시립대학교 화학공학과 2019340042 이학균(팀장)

서울시립대학교 화학공학과 2019340041 이창형

서울시립대학교 화학공학과 2021340013 박근영

서울시립대학교 화학공학과 2021340047 진주희

서론

개발 과제의 개요

개발 과제 요약

◇ 본 개발과제는 ReLU 활성화 함수를 가진 인공신경망(ANN)이 내장된 혼합정수최적화(MILP) 문제의 효율적인 해결 방안을 모색하는 데 목적이 있다. ReLU 기반 신경망이 포함된 최적화 문제는 big-M 계수의 증가로 인해 계산 복잡도가 급격히 증가하는 한계를 지닌다.

◇ 본 연구에서는 이러한 한계를 극복하기 위해 신경망 훈련 단계에서 적용할 수 있는 L1 Regularization, Dropout 기법을 도입하였으며, 훈련 이후에는 최적화 기반 Bound Tightening(OBBT) 및 Big-M 계수를 감소시키기 위한 새로운 기법을 제안하였다.

◇ 특히, 메탄(CH₄)과 CLS 공정 기반의 실제 수소 생산 시뮬레이션 데이터를 활용하여, 다중 입력 조건에 대한 수소 생산량을 최대화하는 MILP 문제를 정의하고 최적화함으로써, 제안 기법의 실질적인 활용 가능성과 계산 효율성을 입증하고자 하였다.

◇ 수치 실험을 통해 각 기법의 효과를 선형 영역의 수, 안정적 뉴런의 비율, 계산 효율성 측면에서 비교 분석하였으며, 최종적으로 실제 공정 문제 해결에서의 MILP 적용 가능성과 계산 효율 향상 효과를 검증하는 것을 목표로 한다.

개발 과제의 배경

◇ 최근 다양한 산업 및 공학 분야에서 인공지능과 머신러닝 기반의 최적화 기술이 중요한 역할을 수행하고 있다. 특히 제조 공정 최적화, 공급망 관리, 에너지 시스템 운영 등 복잡한 비선형 관계를 다루는 문제들에서 높은 정확도와 표현력을 지닌 ReLU 기반 인공신경망이 적극적으로 도입되고 있다.

◇ 그러나 ReLU 활성화 함수를 이용한 신경망의 경우, 모델의 깊이가 증가함에 따라 Big-M 계수가 지수적으로 커지는 현상으로 인해 최적화의 계산적 비효율성이 증가하는 한계가 존재한다.

◇ 본 연구에서 제안된 L1 정규화, Bound Tightening 등의 기법은 이러한 Big-M 계수 문제를 해결하여 신경망 내장 최적화 모델의 계산 효율성을 획기적으로 개선할 수 있다. 이는 최적화 모델의 정확성과 효율성을 동시에 향상시키고, 복잡한 산업 환경에서의 추론 속도와 신뢰성을 높이는 데 크게 기여할 것으로 예상된다. ◇ 특히, 본 연구는 수소 생산 공정 최적화라는 실제 산업적 문제에 적용됨으로써, 그 실효성을 입증하였다. CH₄와 CLS 기반의 수소 제조 공정은 탄소중립 시대에 친환경 연료 생산 수단으로 각광받고 있으며, 수소 생산 효율을 극대화하는 공정 조건의 탐색은 에너지 효율성과 경제성 모두를 좌우하는 핵심 과제이다. 따라서 본 연구는 단순한 이론적 개선을 넘어, 탄소 배출 저감 및 청정에너지 전환이라는 사회적 요구에 기술적으로 기여할 수 있는 기반을 마련했다.

◇ 결과적으로, 본 연구의 성과는 다양한 산업 및 공학적 문제 해결의 실질적 효용성을 높이고, 특히 청정 연료 생산, 에너지 공정 최적화, 스마트 제조 등 분야에서 운영 비용 절감과 환경적 지속가능성 향상에 전문적인 도움을 줄 수 있을 것으로 기대된다.

개발 과제의 목표 및 내용

◇ 본 개발 과제의 주요 목표는 ReLU 기반 인공신경망 모델이 포함된 혼합정수최적화(MILP) 문제의 효율성을 높이는 신경망 훈련 및 최적화 기법을 개발하고, 이를 실제 산업 공정에 적용 가능한 수준으로 발전시키는 것이다. 이를 위해 다음과 같은 구체적인 내용을 수행하였다.

1. ReLU 활성화 함수 기반 신경망의 구조적 한계 분석 및 문제점 도출 2. L1 Regularization과 Dropout을 활용한 모델 중복성 감소 및 효율성 향상 방안 연구 3. 최적화 기반 Bound Tightening(OBBT)을 통한 Big-M 계수의 효율적 감소 방안 개발 4. 신경망 스케일링 기법 개발을 통한 Big-M 계수 추가 감소 및 계산 효율성 향상 5. 수치적 실험을 통한 제안된 기법들의 성능 검증 및 실제 적용 가능성 평가

◇ 특히, CH₄ + CLS 비재순환 수소 생산 공정 모델에서 다수의 입력 변수(물질 유량, 반응 온도 등)를 조절하여 수소 생산량을 최대화하는 MILP 최적화 문제를 구성하고, 본 연구에서 제안한 신경망 기반 기법들을 적용함으로써 이론적 기법의 실제 공정 최적화로의 확장 가능성을 확인하였다.

◇ 본 연구의 결과는 신경망 기반 최적화 기술의 계산적 한계를 효과적으로 극복함과 동시에, 복잡한 연속 공정에서도 데이터 기반의 정밀한 조건 탐색과 계산 효율성 개선이 가능함을 입증하며, 이를 통해 산업 현장의 최적 운전 조건 도출, 생산성 향상, 에너지 절감 등 실질적이고 전문적인 기여가 가능할 것으로 기대된다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황

ReLU 기반 신경망을 MILP(Mixed-Integer Linear Programming) 형식으로 변환하여 수학적으로 해석 가능한 방식으로 활용하려는 연구가 활발하게 이루어지고 있다. 특히, 최적화 문제나 신뢰성 검증(adversarial verification), 공정 제어 및 설계 최적화 등 실제 산업계에 적용 가능한 신경망 모델을 만들기 위해 MILP 기반 포뮬레이션이 주목받고 있다. 이에 따라, MILP 포뮬레이션을 구성할 때 발생하는 주요 난제 중 하나인 big-M 계수의 과대 추정 문제를 해결하기 위한 다양한 bound tightening 기법이 연구되고 있다. 최근에는 Optimization-Based Bound Tightening (OBBT), ReLU stability regularization, ReLU scaling, convex hull 표현 방식 등 다양한 수학적 기법들이 제안되었으며, 이를 통해 solver 계산 시간 단축, stable neuron 비율 증가, MILP feasibility 향상 등의 성능 개선이 보고되고 있다. 그러나 여전히 대부분의 연구는 MILP 구조의 이론적 정교화에 집중되어 있으며, bound 조절 기법의 정량적 효과를 다양한 조건에서 비교한 실험 기반 연구는 드물다.

• 특허조사 및 특허 전략 분석

◇ Grimstad & Andersson (2019)은 ReLU 신경망을 surrogate model로 사용하여 MILP 문제 내에 삽입하고, solver 기반 최적화를 수행하는 전략을 제시하였다. 신경망 기반의 예측 모델을 제약조건이나 목적함수에 통합함으로써 MILP 문제의 확장 가능성을 입증하였으나, bound 조건은 고정된 단순 추정값에 의존하였다.

◇ Tsay et al. (2021)은 big-M 방식의 한계를 극복하기 위해 입력 공간을 구간으로 분할하고, 각 구간에 대해 ReLU 조건을 수학적으로 모델링하는 partition-based formulation을 제안하였다. 이 기법은 MILP의 구조적 표현력을 개선하는 데 효과적이지만, 여전히 bound는 입력 구간에 고정되며, solver 성능을 실험적으로 분석하는 데 초점은 약했다.

◇ Xiao et al. (2019)은 adversarial robustness verification 문제에서 ReLU 안정성(ReLU stability)을 학습 중에 유도함으로써, MILP 내 뉴런 분기를 줄이고 계산 효율성을 향상시키는 방식을 제안하였다. 이는 학습 기반 사전 구조 최적화 전략으로, bound 설정을 개선하는 방식은 아니었다.

이처럼 기존 연구들은 모두 ReLU 신경망의 MILP 변환 구조 또는 안정성 확보를 위한 학습 전략에 집중하고 있으며, 입력 조건에 따라 bound를 동적으로 조정하여 solver 성능을 실험적으로 극대화한 연구는 제한적이다. 이는 본 과제가 기존 연구 및 특허와 명확히 차별화되는 핵심 지점이다.

◇ Grimstad & Andersson (2019) 이 연구는 ReLU 신경망을 surrogate model로 활용하여 MILP 내 목적함수 또는 제약식에 통합하는 전략을 제시한다. 이 접근은 모델 기반 최적화(model-based optimization) 측면에서 가치가 높으며, 신경망 예측 모델의 MILP 통합 기법에 대한 특허 전략으로 이어질 수 있다. 특히 구조 자체는 기존 MILP의 틀을 크게 벗어나지 않으면서, surrogate model을 데이터 기반으로 확장해 적용할 수 있는 유연성을 제공한다. 따라서 해당 연구는 신경망 기반 최적화 프레임워크 설계 및 응용 구조에 대한 기술 보호가 핵심 전략이 된다.

◇ Tsay et al. (2021) 이 논문은 Big-M 계수 없이도 ReLU를 MILP로 정밀하게 표현할 수 있는 partition-based formulation을 제시한다. 입력 공간을 분할한 뒤, 각 구간에 대해 분리된 제약조건을 도입함으로써 수학적으로 더 강건한 구조를 형성하며, 이 구조 자체가 특허의 주 대상이 될 수 있다. 이 전략은 알고리즘 또는 solver 내장 최적화 방식으로 구현될 수 있어, MILP 포뮬레이션 기법의 구조적 설계 특허로 전환 가능하다. 또한 solver 성능에 직접 연결되므로, 산업용 solver 제품군에 통합될 수 있는 형태의 원천 기술 보호 전략으로 적합하다.

◇ Xiao et al. (2019) 이 연구는 신경망 학습 단계에서 ReLU 뉴런의 stability를 유도하는 훈련 전략을 통해 MILP 검증 과정의 계산 효율을 높이는 방식이다. 이는 MILP 구조 자체보다는, 학습 알고리즘을 조정하여 MILP 계산 부담을 사전적으로 줄이는 간접 최적화 전략에 해당한다. 이 전략은 신경망 학습 방법론에 가까워, regularization 또는 loss function 설계에 관한 특허로 이어질 수 있으며, MILP 기반 검증 외에도 다양한 구조화 학습 문제에 일반화되어 적용될 수 있다. 따라서 해당 연구는 학습-검증 통합 프레임워크에 대한 알고리즘 특허 전략으로 접근 가능하다.

이들 전략의 공통점은 미리 정의된 bound 또는 근사값에 기반해 MILP 구조를 구성한다는 점이다. 그러나 이는 실제 문제 상황에서 발생하는 비효율적인 big-M 추정을 야기할 수 있으며, 계산 자원의 낭비로 이어진다. 이에 비해 우리 프로젝트는 ReLU 뉴런의 pre-activation bound를 각 조건에 맞추어 LP 기반으로 최적화(OBBT) 함으로써, MILP 구조는 그대로 유지하면서도 solver 성능을 직접 개선하는 전략을 택하고 있다. 이는 실용성과 일반화 가능성 측면에서 유리하며, 향후 OMLT, Pyomo, Gurobi 등의 연계 환경에서도 쉽게 확장 가능한 특허 전략으로 이어질 수 있다.

개발과제의 기대효과

기술적 기대효과

1. ReLU 기반 신경망의 MILP 최적화 성능 향상 · 본 연구에서 제안한 L1 정규화, Dropout, OBBT, scaling 기법을 통해 기존 방식 대비 solver 계산 시간과 메모리 사용량을 현저히 감소시킬 수 있음. · 특히, OBBT와 scaling 기법을 적용함으로써 Big-M 계수를 크게 줄이고, stable neuron 비율을 증가시켜 MILP 구조의 연산 효율을 극대화함. · 이는 실제 CH₄ + CLS 기반 수소 생산 공정 최적화 문제에 적용되었으며, 다변수 입력 조건 하에서 수소 생산량을 최대화하는 최적 운전 조건을 효율적으로 도출함으로써 이론 기법의 산업 공정 적용 가능성을 입증함.

2. 복잡계 최적화 문제에 대한 신경망 내장 구조 자동화 기반 마련 · Pyomo, OMLT, Gurobi 등 최적화 도구와 연계 가능한 범용 신경망 기반 MILP 구조를 실험을 통해 검증하였으며, 이는 실제 공정 모델에서 수치 시뮬레이션 데이터를 surrogate 모델로 학습하고 MILP 형식으로 변환해 최적화까지 연결하는 자동화 체계로 구현됨. · 향후 chemical process optimization, 생산계획, logistics 최적화 등 다양한 복잡계 문제군에 바로 적용 가능한 통합형 프레임워크로 확장 가능함.

3. 설계·제어·검증 통합형 AI 최적화 모델 기반 구축 · 학습된 신경망을 단순한 예측 도구로 활용하는 것을 넘어, 수학적 최적화 문제 내에 직접 내장하여 설계–제어–검증까지 통합하는 End-to-End 수리 최적화 모델 구현이 가능함. · 이는 공정 운영 자동화, 조건 설정 최적화, 시나리오 기반 제어 등 고신뢰 AI 기반 시스템 구축에 활용될 수 있으며, explainable AI 및 산업 AI 최적화 모델 개발 측면에서도 중요한 기술적 진보로 평가됨.

경제적, 사회적 기대 및 파급효과

1. 산업계의 최적화 수요에 대한 고성능 솔루션 제공 · 에너지, 화학공정, 반도체 제조, 바이오 생산 등 계산 성능이 병목이 되는 분야에서, MILP 기반 신경망 최적화 모델을 통해 고속·고정밀 의사결정이 가능해짐. · 특히 시뮬레이션 비용이 높은 공정 설계나 생산 공정 제어 분야에서 실질적인 비용 절감 효과가 기대됨.

2. 데이터 기반 의사결정의 신뢰성 제고 · 기존 딥러닝 모델은 해석 가능성이 낮아 산업 현장에서 활용이 제한적이었으나, MILP를 통해 수학적으로 검증 가능한 해를 제공함으로써 투명하고 신뢰도 높은 결과 도출이 가능함. · 이는 고위험 산업군에서 신뢰성 기반 의사결정 체계 강화에 기여함.

3. 산학연 융합 최적화 인프라 확대 및 전문 인력 양성 기반 제공 · 본 기술은 수학 최적화, 기계학습, 공정공학 등 다학제 융합이 요구되는 기술로, 관련 분야 고급 전문 인력의 교육 및 양성에 기여 가능. · 최적화 알고리즘 개발, AI 기반 솔버 기술, 공정 제어 시스템 등 파생 산업의 활성화 또한 기대됨.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ ReLU 함수를 이용한 인공신경망 최신 연구 동향 조사 – 전원 인공지능/머신러닝 분야에 이용되는 ReLU 활성화 함수의 특성을 조사하고 ReLU 활성화 함수를 포함한 인공신경망을 다룬 논문을 분석하는 일련의 과정으로 최적화 분야에 대한 최신 연구 동향을 파악한다.

◇ 신경망 훈련 방법 조사 및 시뮬레이션 – 전원

인공신경망의 파라미터들을 최적화시키는 과정에 적용할 수 있는 코드를 조사하고 이를 바탕으로 간단한 모델을 만들어 PyTorch에 적용한다.

◇ 신경망 훈련 단계에서 적용 가능한 OBBT / Scaling ReLU 방법 시뮬레이션 – 이창형, 이학균

신경망 훈련 단계에서 OBBT / Scaling ReLU 방법에 대한 시뮬레이션을 진행하여 각 방법의 성능, 효율성을 평가한다.

◇ 신경망 훈련 후 적용 가능한 Clipped ReLU activation, Dropout, L1 Regularization 시뮬레이션 – 박근영, 진주희

신경망 훈련 단계를 거친 후 실행하는 최적화 과정에서 계산 효율성을 향상시킬 수 있는 Clipped ReLU activation / Dropout / L1 정규화 총 3가지 방법에 대한 시뮬레이션을 진행하여 각 방법의 성능, 효율성을 평가한다.

◇ 최종 최적화 방법 제시 - 전원

총 5가지 방법으로 시뮬레이션한 결과를 종합하여 최적의 신경망을 설계하고 실제 데이터를 이용해 최적화 과정을 실행해 성능, 효율성 측면을 비교한다.

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용