호호조
프로젝트 개요
기술개발 과제
국문 : 광물시장에서 강화학습을 이용한 트레이딩 봇
영문 : Trading-bot using Reinforcement Learning in a mineral market
과제 팀명
호호
지도교수
이동희 교수님
개발기간
2019년 3월 ~ 2019년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 2014920044 이홍석(팀장)
서울시립대학교 컴퓨터과학부 2014920037 이정한
서론
개발 과제의 개요
개발 과제 요약
● 이전부터 사용자들이 많이 사용하던 시계열 분석 알고리즘과 다양한 지표들을 활용하여 강화학습을 이용하여 광물 가격을 예측한다. ● 광물시장에서 시가에 영향을 미치는 다양한 요인이 존재한다. ● 이미 밝혀진 다양한 요인들과 우리들이 생각한 요인들을 정리한다. ● 이러한 요인들을 강화학습을 통해서 상관관계가 있는지 확인하고 실제로 수익을 낼 수 있는 모델과 학습을 진행한다. ● 여러 가지 요인(차트 및 시장표준지수)들과 전략들을 가지고 하나의 광물을 대상으로 수익률이 높을 것으로 예상되는 매수, 매도 타이밍을 찾아낼 수 있는 것을 목표로 한다. ● 다양한 강화학습 알고리즘 중 PPO(Proximal Policy Optimization), DQN(Deep Q Network)을 사용하여 구현해보고 어떤 방식이 더 잘 맞는지 분석해본다.
개발 과제의 배경
● 광물 시장은 매 시간마다 변동함 ● 광물 시장의 변동은 어떠한 요인들에 의해 값어치가 올라가기도 하고 내려가기도 함 ● 다양한 논문 Research 및 분석을 통해 값에 변화를 주는 요인들을 선별 ● 해당 요인들을 강화학습 모델의 환경에 넣어서 학습을 시킴
개발 과제의 목표 및 내용
● 강화학습을 이용하여 트레이딩을 자동으로 하는 봇을 만든다. ● 광물 가격에 영향을 주는 요인들을 찾아보고 어느 정도 연관관계가 있는지 확인한다. ● 연관관계가 있는 요인들을 모아서 강화학습모델에 적용시켜보고 실제로 효과가 있는지 확인해본다. ● 효과가 컸던 요인들을 모아서 모의 투자 상황에서 수익률 분석을 해본다.
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
- 전 세계적인 기술현황
● 자동 거래 시스템(ATS;Automated Trading System)은 1949년 Richard Donchian이 funds를 사고 파는 일련의 규칙을 사용하여 처음 소개되었다. 1980년대에는 John Henry와 같은 유명한 Trader들이 전략을 사용하기 시작하여, 규칙 기반 거래(Rule Based Trading)라는 개념이 대중화되었다. 현재는 미국 증권 거래소 주식 거래의 75% 이상이 자동 거래 시스템으로 이루어진다. ● 최근에는 AI의 등장으로, 수많은 은행이나 투자자들이 AI를 활용하여 규칙 기반 거래나 직접 거래보다 훨씬 수익률이 높은 모델을 개발중이다. 딥러닝, 머신러닝 등의 기술을 활용하여 Trading Bot을 개발하고 있으며, 강화학습의 등장이후, 다양한 Trading Bot Project에서 강화학습을 도입하려는 움직임을 보이고 있다.
- 특허조사 및 특허 전략 분석
● 거절 : 알고리즘 자동 매매 봇, [1]
○ 알고리즘 트레이딩 봇들을 모아서 관리할 수 있는 시스템 ○ 통상적인 기술자가 충분히 만들 수 있는 것으로 판단하여 특허 거절
● 등록 : 소셜트레이딩 방법, [2]
○ 리더를 설정하여 해당 리더의 매매를 확인하고 추종하는 알고리즘
- 기술 로드맵
● 자동으로 거래를 할 수 있는 봇의 형태를 만들어야 하고, 모의투자를 통해 테스트할 수 있는 환경을 만들어야하기 때문에 투자, 증권사 API 및 모의투자 서버가 필요하다. 따라서, 키움증권, 대신증권, 이베스트투자증권 등의 회사의 API를 활용하고, 이 회사들의 모의투자 서버를 통해 수익률을 분석할 수 있다. ● 강화학습은 환경이 주어지고, 해당 환경에 액션을 취하면 그에 따른 보상을 주면서 학습을 시킨다. 일반적인 딥 러닝은 어떤 요인들의 상호관계를 표현하지 못한다. 하지만 강화학습은 환경을 통해 어떤 요인들의 상호관계를 표현할 수 있다. 주식들은 서로 상호관계를 가지고 있으므로 강화학습을 이용하는 것이 유리한 방법이라 할 수 있다. ● 현재에는 차트분석만으로 주식이나 광물시장에서의 매도, 매수타이밍을 잡아서 수익을 낼 수 있는 다양한 방법이 연구되고 있다. 이를 기술적 매매라고 부른다. 이러한 방법을 이용하여 알고리즘으로 구현하면 보다 안정적이고 수익률이 검증된 매매방법을 사용할 수 있다.
시장상황에 대한 분석
- 경쟁제품 조사 비교
내용
- 마케팅 전략 제시
내용
개발과제의 기대효과
기술적 기대효과
● 기존의 주식 트레이딩봇들은 우리가 직접 알고리즘을 구현하고 설계함에 따라서 작동했다. 사람의 직관을 이용해서 장기투자를 하는 것이 아니라 짧은 시간의 시장변동을 감지해서 조금씩 수익을 올리는 등의 알고리즘이 만들어져 왔다. 하지만 강화학습과 딥러닝을 사용해서 좀 더 효과적인 방향을 찾을 수 있다. ● 딥러닝에서 사용하는 뉴럴 네트워크는 학습이 완료되었을 때 예측속도가 매우 빠르다는 특징을 갖고 있다. 해당 요인을 성공적으로 학습한 네트워크를 얻은 후에 봇을 사용할 때는 컴퓨팅의 성능을 크게 사용하지 않고 빠른 속도의 트레이딩이 가능하다.
경제적, 사회적 기대 및 파급효과
● 위에서 서술한 대로 만일 강화학습을 이용해서 주식 트레이딩봇이 성공적으로 수익을 낼 수 있는 구조라면, 이와 유사한 트레이딩봇이 많이 등장할 것이다. 더불어서 강화학습에 딥러닝을 적용시키면서 구성할 수 있는 선택의 여지가 많아졌다. 각기 학습하는 방법에 따라서 각기 다른 여러가지 전략이 등장할 수 있는 것이다. 따라서 기존에 알고리즘을 이용해서 매매를 진행하던 투자자들이 새롭게 등장하는 트레이딩봇의 투자전략에 영향을 받을 것이며, 시장의 특성은 더 다양하고 복잡해질 것이다.
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
설계사양
제품의 요구사항
내용
설계 사양
내용
개념설계안
내용
이론적 계산 및 시뮬레이션
내용
상세설계 내용
내용
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
내용
포스터
내용
관련사업비 내역서
내용
완료작품의 평가
내용
향후계획
내용
특허 출원 내용
내용
