"2조(스피노)"의 두 판 사이의 차이

2025년 6월 7일 (토) 23:16 판 (원본 보기) Uosche2512 (토론 | 기여) (→‎포스터) ← 이전 편집		2025년 6월 7일 (토) 23:18 판 (원본 보기) Uosche2512 (토론 | 기여) (→‎포스터) 다음 편집 →
249번째 줄:		249번째 줄:
	===완료 작품의 소개===		===완료 작품의 소개===
	====포스터====		====포스터====
−	[[파일:포스터1(스피노).png]]	+	[[파일:포스터2(스피노).jpg]]
	===관련사업비 내역서===		===관련사업비 내역서===

---

2025년 6월 7일 (토) 23:18 판

프로젝트 개요

기술개발 과제

국문 : ReLU 신경망 기반 MILP 최적화에서 OBBT 기법을 통한 계산 효율 개선 연구

영문 : Improving Computational Efficiency in MILP Optimization of ReLU Neural Networks via OBBT

과제 팀명

스피노

지도교수

유준재 교수님

개발기간

2025년 3월 ~ 2025년 6월 (총 4개월)

구성원 소개

서울시립대학교 화학공학과 2019340042 이학균(팀장)

서울시립대학교 화학공학과 2019340041 이창형

서울시립대학교 화학공학과 2021340013 박근영

서울시립대학교 화학공학과 2021340047 진주희

서론

개발 과제의 개요

개발 과제 요약

◇ 본 개발과제는 ReLU 활성화 함수를 가진 인공신경망(ANN)이 내장된 혼합정수최적화(MILP) 문제의 효율적인 해결 방안을 모색하는 데 목적이 있다. ReLU 기반 신경망이 포함된 최적화 문제는 big-M 계수의 증가로 인해 계산 복잡도가 급격히 증가하는 한계를 지닌다.

◇ 본 연구에서는 이러한 한계를 극복하기 위해 신경망 훈련 단계에서 적용할 수 있는 L1 Regularization, Dropout 기법을 도입하였으며, 훈련 이후에는 최적화 기반 Bound Tightening(OBBT) 및 Big-M 계수를 감소시키기 위한 새로운 기법을 제안하였다.

◇ 특히, 메탄(CH₄)과 CLS 공정 기반의 실제 수소 생산 시뮬레이션 데이터를 활용하여, 다중 입력 조건에 대한 수소 생산량을 최대화하는 MILP 문제를 정의하고 최적화함으로써, 제안 기법의 실질적인 활용 가능성과 계산 효율성을 입증하고자 하였다.

◇ 수치 실험을 통해 각 기법의 효과를 선형 영역의 수, 안정적 뉴런의 비율, 계산 효율성 측면에서 비교 분석하였으며, 최종적으로 실제 공정 문제 해결에서의 MILP 적용 가능성과 계산 효율 향상 효과를 검증하는 것을 목표로 한다.

개발 과제의 배경

◇ 최근 다양한 산업 및 공학 분야에서 인공지능과 머신러닝 기반의 최적화 기술이 중요한 역할을 수행하고 있다. 특히 제조 공정 최적화, 공급망 관리, 에너지 시스템 운영 등 복잡한 비선형 관계를 다루는 문제들에서 높은 정확도와 표현력을 지닌 ReLU 기반 인공신경망이 적극적으로 도입되고 있다.

◇ 그러나 ReLU 활성화 함수를 이용한 신경망의 경우, 모델의 깊이가 증가함에 따라 Big-M 계수가 지수적으로 커지는 현상으로 인해 최적화의 계산적 비효율성이 증가하는 한계가 존재한다.

◇ 본 연구에서 제안된 L1 정규화, Bound Tightening 등의 기법은 이러한 Big-M 계수 문제를 해결하여 신경망 내장 최적화 모델의 계산 효율성을 획기적으로 개선할 수 있다. 이는 최적화 모델의 정확성과 효율성을 동시에 향상시키고, 복잡한 산업 환경에서의 추론 속도와 신뢰성을 높이는 데 크게 기여할 것으로 예상된다. ◇ 특히, 본 연구는 수소 생산 공정 최적화라는 실제 산업적 문제에 적용됨으로써, 그 실효성을 입증하였다. CH₄와 CLS 기반의 수소 제조 공정은 탄소중립 시대에 친환경 연료 생산 수단으로 각광받고 있으며, 수소 생산 효율을 극대화하는 공정 조건의 탐색은 에너지 효율성과 경제성 모두를 좌우하는 핵심 과제이다. 따라서 본 연구는 단순한 이론적 개선을 넘어, 탄소 배출 저감 및 청정에너지 전환이라는 사회적 요구에 기술적으로 기여할 수 있는 기반을 마련했다.

◇ 결과적으로, 본 연구의 성과는 다양한 산업 및 공학적 문제 해결의 실질적 효용성을 높이고, 특히 청정 연료 생산, 에너지 공정 최적화, 스마트 제조 등 분야에서 운영 비용 절감과 환경적 지속가능성 향상에 전문적인 도움을 줄 수 있을 것으로 기대된다.

개발 과제의 목표 및 내용

◇ 본 개발 과제의 주요 목표는 ReLU 기반 인공신경망 모델이 포함된 혼합정수최적화(MILP) 문제의 효율성을 높이는 신경망 훈련 및 최적화 기법을 개발하고, 이를 실제 산업 공정에 적용 가능한 수준으로 발전시키는 것이다. 이를 위해 다음과 같은 구체적인 내용을 수행하였다.

1. ReLU 활성화 함수 기반 신경망의 구조적 한계 분석 및 문제점 도출 2. L1 Regularization과 Dropout을 활용한 모델 중복성 감소 및 효율성 향상 방안 연구 3. 최적화 기반 Bound Tightening(OBBT)을 통한 Big-M 계수의 효율적 감소 방안 개발 4. 신경망 스케일링 기법 개발을 통한 Big-M 계수 추가 감소 및 계산 효율성 향상 5. 수치적 실험을 통한 제안된 기법들의 성능 검증 및 실제 적용 가능성 평가

◇ 특히, CH₄ + CLS 비재순환 수소 생산 공정 모델에서 다수의 입력 변수(물질 유량, 반응 온도 등)를 조절하여 수소 생산량을 최대화하는 MILP 최적화 문제를 구성하고, 본 연구에서 제안한 신경망 기반 기법들을 적용함으로써 이론적 기법의 실제 공정 최적화로의 확장 가능성을 확인하였다.

◇ 본 연구의 결과는 신경망 기반 최적화 기술의 계산적 한계를 효과적으로 극복함과 동시에, 복잡한 연속 공정에서도 데이터 기반의 정밀한 조건 탐색과 계산 효율성 개선이 가능함을 입증하며, 이를 통해 산업 현장의 최적 운전 조건 도출, 생산성 향상, 에너지 절감 등 실질적이고 전문적인 기여가 가능할 것으로 기대된다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황

ReLU 기반 신경망을 MILP(Mixed-Integer Linear Programming) 형식으로 변환하여 수학적으로 해석 가능한 방식으로 활용하려는 연구가 활발하게 이루어지고 있다. 특히, 최적화 문제나 신뢰성 검증(adversarial verification), 공정 제어 및 설계 최적화 등 실제 산업계에 적용 가능한 신경망 모델을 만들기 위해 MILP 기반 포뮬레이션이 주목받고 있다. 이에 따라, MILP 포뮬레이션을 구성할 때 발생하는 주요 난제 중 하나인 big-M 계수의 과대 추정 문제를 해결하기 위한 다양한 bound tightening 기법이 연구되고 있다. 최근에는 Optimization-Based Bound Tightening (OBBT), ReLU stability regularization, ReLU scaling, convex hull 표현 방식 등 다양한 수학적 기법들이 제안되었으며, 이를 통해 solver 계산 시간 단축, stable neuron 비율 증가, MILP feasibility 향상 등의 성능 개선이 보고되고 있다. 그러나 여전히 대부분의 연구는 MILP 구조의 이론적 정교화에 집중되어 있으며, bound 조절 기법의 정량적 효과를 다양한 조건에서 비교한 실험 기반 연구는 드물다.

• 특허조사 및 특허 전략 분석

◇ Grimstad & Andersson (2019)은 ReLU 신경망을 surrogate model로 사용하여 MILP 문제 내에 삽입하고, solver 기반 최적화를 수행하는 전략을 제시하였다. 신경망 기반의 예측 모델을 제약조건이나 목적함수에 통합함으로써 MILP 문제의 확장 가능성을 입증하였으나, bound 조건은 고정된 단순 추정값에 의존하였다.

◇ Tsay et al. (2021)은 big-M 방식의 한계를 극복하기 위해 입력 공간을 구간으로 분할하고, 각 구간에 대해 ReLU 조건을 수학적으로 모델링하는 partition-based formulation을 제안하였다. 이 기법은 MILP의 구조적 표현력을 개선하는 데 효과적이지만, 여전히 bound는 입력 구간에 고정되며, solver 성능을 실험적으로 분석하는 데 초점은 약했다.

◇ Xiao et al. (2019)은 adversarial robustness verification 문제에서 ReLU 안정성(ReLU stability)을 학습 중에 유도함으로써, MILP 내 뉴런 분기를 줄이고 계산 효율성을 향상시키는 방식을 제안하였다. 이는 학습 기반 사전 구조 최적화 전략으로, bound 설정을 개선하는 방식은 아니었다.

이처럼 기존 연구들은 모두 ReLU 신경망의 MILP 변환 구조 또는 안정성 확보를 위한 학습 전략에 집중하고 있으며, 입력 조건에 따라 bound를 동적으로 조정하여 solver 성능을 실험적으로 극대화한 연구는 제한적이다. 이는 본 과제가 기존 연구 및 특허와 명확히 차별화되는 핵심 지점이다.

◇ Grimstad & Andersson (2019) 이 연구는 ReLU 신경망을 surrogate model로 활용하여 MILP 내 목적함수 또는 제약식에 통합하는 전략을 제시한다. 이 접근은 모델 기반 최적화(model-based optimization) 측면에서 가치가 높으며, 신경망 예측 모델의 MILP 통합 기법에 대한 특허 전략으로 이어질 수 있다. 특히 구조 자체는 기존 MILP의 틀을 크게 벗어나지 않으면서, surrogate model을 데이터 기반으로 확장해 적용할 수 있는 유연성을 제공한다. 따라서 해당 연구는 신경망 기반 최적화 프레임워크 설계 및 응용 구조에 대한 기술 보호가 핵심 전략이 된다.

◇ Tsay et al. (2021) 이 논문은 Big-M 계수 없이도 ReLU를 MILP로 정밀하게 표현할 수 있는 partition-based formulation을 제시한다. 입력 공간을 분할한 뒤, 각 구간에 대해 분리된 제약조건을 도입함으로써 수학적으로 더 강건한 구조를 형성하며, 이 구조 자체가 특허의 주 대상이 될 수 있다. 이 전략은 알고리즘 또는 solver 내장 최적화 방식으로 구현될 수 있어, MILP 포뮬레이션 기법의 구조적 설계 특허로 전환 가능하다. 또한 solver 성능에 직접 연결되므로, 산업용 solver 제품군에 통합될 수 있는 형태의 원천 기술 보호 전략으로 적합하다.

◇ Xiao et al. (2019) 이 연구는 신경망 학습 단계에서 ReLU 뉴런의 stability를 유도하는 훈련 전략을 통해 MILP 검증 과정의 계산 효율을 높이는 방식이다. 이는 MILP 구조 자체보다는, 학습 알고리즘을 조정하여 MILP 계산 부담을 사전적으로 줄이는 간접 최적화 전략에 해당한다. 이 전략은 신경망 학습 방법론에 가까워, regularization 또는 loss function 설계에 관한 특허로 이어질 수 있으며, MILP 기반 검증 외에도 다양한 구조화 학습 문제에 일반화되어 적용될 수 있다. 따라서 해당 연구는 학습-검증 통합 프레임워크에 대한 알고리즘 특허 전략으로 접근 가능하다.

이들 전략의 공통점은 미리 정의된 bound 또는 근사값에 기반해 MILP 구조를 구성한다는 점이다. 그러나 이는 실제 문제 상황에서 발생하는 비효율적인 big-M 추정을 야기할 수 있으며, 계산 자원의 낭비로 이어진다. 이에 비해 우리 프로젝트는 ReLU 뉴런의 pre-activation bound를 각 조건에 맞추어 LP 기반으로 최적화(OBBT) 함으로써, MILP 구조는 그대로 유지하면서도 solver 성능을 직접 개선하는 전략을 택하고 있다. 이는 실용성과 일반화 가능성 측면에서 유리하며, 향후 OMLT, Pyomo, Gurobi 등의 연계 환경에서도 쉽게 확장 가능한 특허 전략으로 이어질 수 있다.

개발과제의 기대효과

기술적 기대효과

1. ReLU 기반 신경망의 MILP 최적화 성능 향상 · 본 연구에서 제안한 L1 정규화, Dropout, OBBT, scaling 기법을 통해 기존 방식 대비 solver 계산 시간과 메모리 사용량을 현저히 감소시킬 수 있음. · 특히, OBBT와 scaling 기법을 적용함으로써 Big-M 계수를 크게 줄이고, stable neuron 비율을 증가시켜 MILP 구조의 연산 효율을 극대화함. · 이는 실제 CH₄ + CLS 기반 수소 생산 공정 최적화 문제에 적용되었으며, 다변수 입력 조건 하에서 수소 생산량을 최대화하는 최적 운전 조건을 효율적으로 도출함으로써 이론 기법의 산업 공정 적용 가능성을 입증함.

2. 복잡계 최적화 문제에 대한 신경망 내장 구조 자동화 기반 마련 · Pyomo, OMLT, Gurobi 등 최적화 도구와 연계 가능한 범용 신경망 기반 MILP 구조를 실험을 통해 검증하였으며, 이는 실제 공정 모델에서 수치 시뮬레이션 데이터를 surrogate 모델로 학습하고 MILP 형식으로 변환해 최적화까지 연결하는 자동화 체계로 구현됨. · 향후 chemical process optimization, 생산계획, logistics 최적화 등 다양한 복잡계 문제군에 바로 적용 가능한 통합형 프레임워크로 확장 가능함.

3. 설계·제어·검증 통합형 AI 최적화 모델 기반 구축 · 학습된 신경망을 단순한 예측 도구로 활용하는 것을 넘어, 수학적 최적화 문제 내에 직접 내장하여 설계–제어–검증까지 통합하는 End-to-End 수리 최적화 모델 구현이 가능함. · 이는 공정 운영 자동화, 조건 설정 최적화, 시나리오 기반 제어 등 고신뢰 AI 기반 시스템 구축에 활용될 수 있으며, explainable AI 및 산업 AI 최적화 모델 개발 측면에서도 중요한 기술적 진보로 평가됨.

경제적, 사회적 기대 및 파급효과

1. 산업계의 최적화 수요에 대한 고성능 솔루션 제공 · 에너지, 화학공정, 반도체 제조, 바이오 생산 등 계산 성능이 병목이 되는 분야에서, MILP 기반 신경망 최적화 모델을 통해 고속·고정밀 의사결정이 가능해짐. · 특히 시뮬레이션 비용이 높은 공정 설계나 생산 공정 제어 분야에서 실질적인 비용 절감 효과가 기대됨.

2. 데이터 기반 의사결정의 신뢰성 제고 · 기존 딥러닝 모델은 해석 가능성이 낮아 산업 현장에서 활용이 제한적이었으나, MILP를 통해 수학적으로 검증 가능한 해를 제공함으로써 투명하고 신뢰도 높은 결과 도출이 가능함. · 이는 고위험 산업군에서 신뢰성 기반 의사결정 체계 강화에 기여함.

3. 산학연 융합 최적화 인프라 확대 및 전문 인력 양성 기반 제공 · 본 기술은 수학 최적화, 기계학습, 공정공학 등 다학제 융합이 요구되는 기술로, 관련 분야 고급 전문 인력의 교육 및 양성에 기여 가능. · 최적화 알고리즘 개발, AI 기반 솔버 기술, 공정 제어 시스템 등 파생 산업의 활성화 또한 기대됨.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ ReLU 함수를 이용한 인공신경망 최신 연구 동향 조사 – 전원 인공지능/머신러닝 분야에 이용되는 ReLU 활성화 함수의 특성을 조사하고 ReLU 활성화 함수를 포함한 인공신경망을 다룬 논문을 분석하는 일련의 과정으로 최적화 분야에 대한 최신 연구 동향을 파악한다.

◇ 신경망 훈련 방법 조사 및 시뮬레이션 – 전원

인공신경망의 파라미터들을 최적화시키는 과정에 적용할 수 있는 코드를 조사하고 이를 바탕으로 간단한 모델을 만들어 PyTorch에 적용한다.

◇ 신경망 훈련 단계에서 적용 가능한 OBBT / Scaling ReLU 방법 시뮬레이션 – 이창형, 이학균

신경망 훈련 단계에서 OBBT / Scaling ReLU 방법에 대한 시뮬레이션을 진행하여 각 방법의 성능, 효율성을 평가한다.

◇ 신경망 훈련 후 적용 가능한 Clipped ReLU activation, Dropout, L1 Regularization 시뮬레이션 – 박근영, 진주희

신경망 훈련 단계를 거친 후 실행하는 최적화 과정에서 계산 효율성을 향상시킬 수 있는 Clipped ReLU activation / Dropout / L1 정규화 총 3가지 방법에 대한 시뮬레이션을 진행하여 각 방법의 성능, 효율성을 평가한다.

◇ 최종 최적화 방법 제시 - 전원

총 5가지 방법으로 시뮬레이션한 결과를 종합하여 최적의 신경망을 설계하고 실제 데이터를 이용해 최적화 과정을 실행해 성능, 효율성 측면을 비교한다.

설계

공정 모델 정의 및 데이터 수집

본 연구는 인공신경망이 내장된 MILP(Mixed-Integer Linear Programming) 문제의 계산 효율을 높이고, 이를 실제 산업 공정(수소 생산 시스템)에 적용하여 최적화하는 것을 목표로 한다. 이를 달성하기 위해 아래와 같은 절차로 실험 및 설계를 수행하였다.

① 공정 구성 개요 본 연구에서 최적화를 적용한 시스템은 CH₄(메탄)과 CLS(Chemical Looping System) 기반의 수소 생산 공정이다. Yang et al. (2021)의 “Thermodynamic analysis of chemical looping coupling process for coproducing syngas and hydrogen with in situ CO₂ utilization” 논문을 참고하였다. 해당 공정은 다음과 같은 다단계 반응 및 분리 장치들로 구성된다.

FCR (Fuel Combustion Reactor) FRR (Feed Reforming Reactor) CSR (CO Shift Reactor) SR (Separator Reactor) SEP-101~105 (Separator Units) AR (Air Separation Unit)

해당 공정은 재순환이 없는 단방향 흐름(non-recycle structure)을 기반으로 하며, 전체 흐름의 최종 목적은 H₂와 N₂의 분리 및 고순도 수소, SYNGAS 생산 최적화이다. 이 공정에서 발생하는 SYNGAS의 H/CO 비율을 2로 조정하면 고순도 수소(100% purity)와 고순도 SYNGAS(99% & 93% purity)를 얻을 수 있다.

② 입력 변수 (Design Variables) 총 10개의 연속적인 설계 변수를 사용하며, 각 반응기의 feed ratio와 온도를 포함한다.

③ 출력 변수 SEP-102, SEP-103, SEP-104에서 최종 생성되는 SYNGAS-1, SYNGAS-2, 수소(H₂)에 있는 CO와 H의 합을 출력 변수로 사용하였다. SYNGAS-1, SYNGAS-2의 H/CO 생산 비율이 2가 되도록 제약을 두고 얻은 데이터를 출력 변수로 사용하며, 이는 최적화의 목표 함수로 활용된다. 즉, output을 최대로 만드는 조건을 찾으면 H 생산을 최대로 만들 수 있다.

Surrogate 모델 설계 및 학습

복잡한 화학공정의 거동을 정확히 파악하기 위해서는 고정밀 시뮬레이션이 요구되지만, 이로 인한 계산 비용이 매우 클 수 있다. 이에 따라 본 연구에서는 공정 데이터를 기반으로 다층 퍼셉트론(Multi-Layer Perceptron, MLP)을 활용한 대리모델(surrogate model)을 설계하고 학습하여, 실제 공정의 반응을 근사하는 방식으로 계산 효율을 높이고자 하였다.

① 모델 구조 입력: 위의 10개 연속 설계 변수 출력: SYNGAS-1,2와 H output에 포함된 CO와 H의 유량 모델 형태: 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 활성화 함수: ReLU

MLP는 입력층과 출력층 사이에 하나 이상의 은닉층을 가진 인공신경망 구조이며, 각 층의 뉴런은 이전 층의 출력값에 대해 선형변환을 수행한 뒤 비선형 활성화 함수를 적용하여 다음 층으로 전달한다. 본 연구에서는 모든 은닉층에 ReLU(Rectified Linear Unit) 함수를 활성화 함수로 사용하였다. ReLU는 입력값이 0 이하일 경우 0을 출력하고, 0보다 클 경우 해당 값을 그대로 출력하는 함수로, 다음과 같이 정의된다.

이를 통해 모델이 비선형성을 표현하면서도 학습 및 최적화 과정에서 계산 효율을 유지할 수 있다.

② 정규화 및 정칙화 기법 모델의 입력은 10개의 연속형 설계 변수이며, 출력은 수소(H₂) 생성량으로 설정하였다. 모델 학습 시, 입력과 출력 모두 [0,1] 구간으로 정규화하여 각 변수의 스케일 차이로 인한 학습 불균형을 방지하였다. 또한, 과적합(overfitting)을 방지하고 일반화 성능을 향상시키기 위해 L1 정규화와 Dropout 기법, Scaling 을 함께 적용하였다.

(1) L1 정규화 L1 정규화는 가중치 벡터의 절댓값 합에 패널티를 부여하여 불필요한 뉴런을 억제하고, 모델을 더 간결하게 만들어준다. 이를 수식으로 나타내면 다음과 같다.

(2) Dropout Dropout은 학습 과정에서 무작위로 일부 뉴런을 비활성화하여 뉴런 간의 공동작용(co-adaptation)을 줄이고, 보다 일반화된 표현을 학습하도록 유도하는 기법이다. 다만, Dropout은 최적화 관점에서 신경망의 복잡도를 증가시킬 수 있어 적용 비율에 유의할 필요가 있다.

(3) Scaling 입력 및 출력 데이터는 각 데이터의 평균과 표준편차를 이용하여 직접 정규화 처리를 진행했다. 입력 변수들이 서로 다른 스케일을 가지고, 범위도 다르기 때문에 높은 차원의 모델 학습 시 안정하지 않고 수렴 속도가 느릴 수 있다. 이를 방지하기 위해 각 변수에 대해 스케일 차이를 제거하는 직접 정규화 Scaling 방식을 사용했고, 이로 학습 시 수렴 속도와 정확도를 개선할 수 있다. ③ 학습 조건 Loss: MSE (Mean Squared Error) Optimizer: Adam Epochs: 1000 이상 조기 종료(Early stopping) 및 MAE 기준 평가 병행 모델 학습에는 평균제곱오차(MSE)를 손실 함수로 사용하였고, Adam 옵티마이저를 활용하여 학습을 수행하였다. 학습은 1000 epoch 이상으로 설정하되, 조기 종료(Early stopping) 조건을 추가하여 과적합이 발생하지 않도록 하였다. 모델 성능 평가는 평균절대오차(MAE)와 결정계수(R² score)를 병행하여 실시하였다.

MILP 문제 구성 및 변환 학습된 신경망을 기반으로 혼합정수선형계획(MILP: Mixed-Integer Linear Programming) 형태의 최적화 문제를 구성하였다. 최적화의 목적은 수소 생성량을 최대화하는 것이며, surrogate 모델의 출력값을 MILP의 목적 함수로 사용한다. 신경망의 출력은 여러 개의 은닉층을 거치며 연속적으로 구성된 ReLU 연산의 결과이므로, 수학적으로는 부분구간별 선형(piecewise-linear) 함수로 표현 가능하다. 이를 MILP 형식으로 변환하기 위해 각 뉴런의 활성 상태를 이진 변수로 도입하고, ReLU 함수를 선형식으로 분해하여 다음과 같은 형태로 모델링한다.

뉴런의 전활성값에 대한 하한 및 상한을 지정한다. 이러한 방식은 ReLU의 비선형성을 선형 제약식과 이진 변수의 조합으로 표현할 수 있게 해준다. 하지만 이 방식은 ReLU마다 이진 변수를 하나씩 추가하게 되어 계산량이 급격히 증가하고, Big-M 계수의 크기가 최적화 성능에 결정적 영향을 미친다. 따라서 본 연구에서는 3가지의 경계 설정 기법을 통해 Big-M 계수를 개선하고 MILP 문제의 계산 효율을 향상시켰다.

실험 조건 및 시나리오 본 연구에서는 복잡한 화학 공정 데이터를 기반으로 학습한 신경망 surrogate 모델을 MILP 형태로 변환하고, 그 위에 다양한 경계 설정 기법을 적용하여 최적화 성능을 비교하였다. 비교 대상은 총 세 가지 시나리오로 구성되며, 각각 No Bound, FBBT(Feasibility-Based Bound Tightening), OBBT(Optimization-Based Bound Tightening) 기법을 적용한 경우이다. 모든 실험은 동일한 네트워크 구조 및 입력 조건 하에서 수행되며, 최적화 목적은 수소 생성량(H₂)의 최대화이다. 비교 지표로는 Gurobi solver의 계산 시간, 수렴 여부, 그리고 stable neuron 비율이 사용되었다.

(1) No Bound 가장 단순한 경계 설정 방식으로, 각 뉴런의 전활성값(pre-activation)에 대해 명시적인 상하한을 부여하지 않는다. 이 경우 MILP 모델에서는 Big-M 방식이 적용되지만, 경계가 존재하지 않아 solver는 극단적으로 큰 M 값을 자동으로 추론하여 사용하게 된다.

(2) FBBT(Feasibility-Based Bound Tightening) FBBT는 Pyomo 최적화 모델에서 사용되는 자동 경계 조정 기법으로, 모델의 수학적 구조만을 기반으로 각 변수에 대해 현실적으로 가능한 값의 범위를 계산하고 전파(propagate)하는 방식이다. 이 기법은 선형 및 비선형 제약 조건, 신경망의 계층 구조, 활성화 함수의 수식 등을 따라 변수 간의 연산 관계를 해석하고, 이를 통해 입력으로 주어진 bound로부터 각 중간 변수(특히 뉴런의 pre-activation 값)의 상하한을 순차적으로 계산한다. 이러한 경계 전파는 다음과 같은 구간 산술(Interval Arithmetic, IA) 규칙을 따른다. 예를 들어, 뉴런 𝑖의 𝑘-번째 계층 전활성값의 하한 및 상한은 다음과 같이 계산된다.

FBBT는 모든 경계를 한 번에 전체 모델 구조를 따라 자동 계산하기 때문에 계산 속도가 매우 빠르며, 별도의 최적화 문제를 풀지 않아도 되는 장점이 있다. 특히 Pyomo 및 OMLT와 같은 최적화 도구에서는 신경망을 MILP로 변환할 때 FBBT가 기본적으로 적용된다. 그러나 이 방식은 변수 간의 상관관계(correlation)나 글로벌 의존성(global dependency)는 반영하지 못한다. 예를 들어, 여러 개의 뉴런이 동시에 활성화될 수 없거나 비활성화되어야 하는 구조적 제약이 있는 경우, FBBT는 이를 고려하지 못하고 경계를 다소 보수적으로 계산(overestimated bound)할 수 있다. 이러한 한계로 인해 Big-M 계수는 감소하지만, OBBT에 비해 그 폭은 크지 않다.

(3) 선형계획 기반 OBBT (LP-based Optimization-Based Bound Tightening) OBBT는 각 뉴런의 전활성값(pre-activation)에 대해 가능한 최소값과 최대값을 직접 계산하기 위해, 해당 뉴런의 출력을 목적함수로 하는 선형계획 문제(LP)를 설정하고 이를 최적화하는 방식이다. 이 과정에서 전체 신경망은 MILP 형식으로 정식화되며, ReLU 함수는 Big-M 기법을 사용하여 이진 변수와 연속 변수로 표현된다. 예를 들어, 뉴런 𝑘의 전활성값을 라 할 때, OBBT는 다음과 같은 목적함수 하의 최소화 문제를 푼다.

해당 문제는 전체 ANN의 Big-M 기반 MILP 제약 조건을 그대로 유지한 상태에서, 특정 뉴런의 pre-activation 값을 최소화(또는 최대화)하는 구조로 구성된다. ReLU의 MILP 표현에는 다음과 같은 핵심 제약식이 포함된다.

이러한 LP 문제를 각 뉴런마다 두 번씩 반복적으로 풀어야 하므로 계산량은 크지만, 결과적으로 Big-M 계수를 효과적으로 줄이고 안정적인 경계 값을 얻을 수 있다. 참고한 선행연구 논문에서는 OBBT 적용 시 다음과 같은 성능 개선이 관찰되었다. 평균 Big-M 계수: 약 54% 감소 Stable neuron 비율: 약 5.5%p 증가 Gurobi 계산 시간: 평균 43% 단축

따라서 OBBT는 높은 정밀도가 요구되는 MILP 최적화 문제에서 매우 유효한 기법이며, 본 연구에서는 이를 기반으로 실험을 구성하고 경계 설정 전략의 효과를 정량적으로 분석하였다.

실제 공정에의 적용 및 최적 조건 도출 최종적으로, 위 실험을 통해 도출한 MILP 최적 조건은 CH₄ + CLS 공정의 실제 운전 조건에 반영 가능한 형태로 제공된다. 실제 조건 범위 내에서 H₂ 생산량이 최대가 되는 지점 탐색 조건: 반응기의 온도/feed ratio 등 조절 가능한 10가지 변수 조합 surrogate 모델 기반 MILP 해석 결과는 단일 최적 조건 벡터로 산출되며, 공정 운영 설계에 즉시 반영 가능

전체 설계 흐름 요약 1. 공정 모델링 및 입력/출력 변수 정의 2. 시뮬레이션을 통한 공정 데이터 수집 3. MLP surrogate 모델 설계 및 학습 (ReLU 기반) 4. MILP 구조로 변환 (binary 변수, Big-M 기법 적용) 5. Bound Tightening 기법 (FBBT, OBBT) 적용 6. 최적화 수행 및 계산 효율성/정확도 평가 7. 최적 조건 해석 및 실제 공정 반영 가능성 검토

결과 및 평가

완료 작품의 소개

포스터

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용