면접해조

프로젝트 개요

기술개발 과제

국문 : 면접왕(LLM 기반 모의면접 연습 서비스)

영문 : 00000000..

과제 팀명

면접해조

지도교수

이동희 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20196100** 민*정(팀장)

서울시립대학교 컴퓨터과학부 20169200** 이*경

서울시립대학교 컴퓨터과학부 20209200** 권*혜

서울시립대학교 컴퓨터과학부 20179200** 박*수

서울시립대학교 컴퓨터과학부 20209200** 김*람

서론

개발 과제의 개요

개발 과제 요약

◇ 본 과제는 LLM 기반의 생성형 인공지능을 활용한 작품이다.

◇ 본 서비스는 소프트웨어 개발직군 취업 준비생을 대상으로 한다.

◇ 사용자의 이력서와 프로젝트 경험을 토대로 소프트웨어 기술 직무 면접 질문을 생성 및 제공한다.

◇ STT(Speech-to-Text) 및 TTS(Text-to-Speech) 기술을 사용하여 음성으로 모의 면접을 진행한다.

◇ 실제 면접 상황과 유사하게 사용자 답변에 대한 꼬리질문을 제공한다.

◇ 사용자 답변에 대한 생성형 인공지능의 평가 및 피드백을 제공한다.

개발 과제의 배경

◇ 능률적인 학습: AI를 활용하여 사용자는 자신의 약점과 강점에 대해 즉각적인 피드백을 받아 본인만의 맞춤형 학습 경로를 설정할 수 있다.

◇ 면접 역량 강화: 실질적인 면접 상황에서 요구되는 역량들(문제 해결, 커뮤니케이션 능력 등)을 키울 수 있다.

◇ 면접 독학 준비 도움: 면접을 혼자 준비할 때, 자신에게 실시간으로 질문하고 직접 대답하는 것이 불가능하지만, 해당 웹 서비스를 사용하면서 자신을 임의의 면접 상황에 놓이게 할 수 있다.

개발 과제의 목표 및 내용

◇ 본 서비스는 크게 두 가지 기능으로 구성된다.

- 입력한 정보와 선택한 옵션에 의해 면접 환경을 만들고, 만들어진 면접 환경에서 연습할 수 있는 기능

- 진행했던 모의 면접 목록을 확인하고, 각 면접의 대화 내용, 기록 영상 그리고 코멘트를 확인할 수 있는 기능

◇ 사용자 인터페이스는 웹 기반으로 작동하며, GUI와 AI 기반 음성인식 인터페이스를 제공한다.

- 회원가입 및 로그인을 통해 고객의 정보를 저장 및 활용한다. (면접 이력 조회)

- 직군, 원하는 면접 질문 개수, 원하는 질문을 설정하여 면접을 생성할 수 있다.

- 생성된 면접을 시작한 뒤, 면접을 중단하거나 끝낼 수 있다.

- 면접 이력 목록을 조회할 수 있으며, 답변에 대한 피드백을 확인할 수 있다.

⇒ 면접의 총 질문 갯수를 설정할 수 있다.

⇒ 질문은 이력서 기반, 실무 경험 기반, CS 기본 지식으로 구분된다.

- 면접 진행

⇒ 사용자는 음성으로 면접관에게 답변 할 수 있다.

⇒ 사용자는 음성으로 면접관의 대답을 들을 수 있다.

⇒ 면접관은 대화 맥락에 맞게 적절한 추가 질문을 할 수 있다.

⇒ 모든 질문이 끝나면, 면접관은 면접을 종료한다.

- 면접 종료

⇒ 사용자는 면접 평가지를 확인 할 수 있다.

⇒ 면접 평가지는 전체 대화 내용 요약을 포함한다.

⇒ 면접 평가지는 답변에 대한 피드백과 점수를 포함한다.

⇒ 면접 평가지는 종합적인 한줄평과 점수를 포함한다.

◇ 면접이력 관리

- 사용자는 진행했던 면접에 제출했던 이력서를 볼 수 있다.

- 사용자는 진행했던 면접에 입력했던 채용 공고를 볼 수 있다.

- 사용자는 진행했던 면접의 평가지를 볼 수 있다.

개념설계안

◇ 유즈 케이스도

◇페이지별 상세 설명

①-1 사용자 인증: 로그인

아이디와 비밀번호를 입력하여 로그인을 진행한다.

기존 계정이 없다면, 회원가입 화면으로 이동한다.

①-2 사용자 인증: 회원가입

1. 이름, 아이디, 비밀번호를 입력하여 회원가입을 진행한다.

2. 비밀번호와 비밀번호 확인을 비교하여 비밀번호 입력 과정에서의 사용자 예외사항을 줄인다.

2. 기존 계정이 있다면, 로그인 화면으로 이동한다.

②-1 면접 생성: 면접 설정

1. 회사 이름을 입력하고, 직군을 선택한다. 모집 공고문을 넣고 이력서를 선택하며, 희망 면접 질문 개수를 조절하여 면접을 생성한다.

2. 기존에 만들어진 이력서가 없다면, '이력서 작성하러 가기' 버튼을 눌러 이력서 생성을 위한 페이지로 이동한다.

3. 면접 질문의 유형은 CS기반 질문과 이력서 기반 질문 2가지이며, 질문은 최소 1개에서 최대 10개까지 가능하다.

4. 모든 내용을 입력하였다면 '면접 생성하기' 버튼을 눌러 면접 진행 단계로 넘어간다.

②-2 면접 생성: 면접 진행

1. '면접 시작하기' 버튼을 눌러 면접을 시작한다.

2. 시작과 동시에 AI 면접관은 맞춤형 질문을 음성과 함께 텍스트 형태로 제공한다.

3. 면접자는 '대답할게요' 버튼을 누르고, 음성으로써 해당 질문에 대해 답한다.

4. 기존에 정한 질문의 수만큼 반복하며, 모든 질문에 대한 답변이 끝났을 경우 자동으로 종료된다.

5. 혹은 '면접 중단하기' 버튼을 눌러 중간에 면접을 종료할 수도 있다.

③ 면접 관리

1. 면접을 진행한 후에는 면접 관리 탭에서 면접 히스토리를 확인할 수 있다.

2. 받았던 면접 질문을 다시 확인할 수 있으며, 사용자의 답변에 대한 상세 피드백과 점수를 볼 수 있다.

3. 면접 전체에 대한 한줄평도 확인할 수 있다.

④ 이력서 관리

1. 이전에 입력한 나의 이력서 목록과 각 내용을 확인할 수 있다.

2. 이력서 이름, 사이드 프로젝트, 설명을 입력하여 이력서를 추가할 수 있다.

3. 사이드 프로젝트는 프로젝트 이름, 한 줄 설명, 사용 스택, 상세 업무 및 성과를 입력하여 추가할 수 있다.

◇ 플로우차트

이론적 계산 및 시뮬레이션

프롬프트 엔지니어링 기법

◇ Chain-of-Thought Prompting

일반적으로 LLM은 복잡한 추론 능력이 떨어지는 문제가 있는데 이를 보완하기 위한 기법

주요특징

- 문제 상황을 중간 단계로 구분한다.

- 중간 단계를 하나씩 해결하여 최종적으로 문제 상황을 해결한다.

- 시작부터 최종 단계로 가능 과정을 확인할 수 있다.

- 구체적인 예시없이 Let's think step by step 지시문만으로도 효과적이다.

관련 논문: https://arxiv.org/abs/2201.11903

◇ ReAct Prompting

Chain-of-Thought Prompting을 발전시킨 기법

주요 특징

- 각 단계는 Thought, Act, Obs를 갖는다.

- LLM이 외부 도구 상호작용할 수 있다.

- 인간이 새로운 작업을 학습하고 추론하는 과정과 유사하다.

관련 논문: https://arxiv.org/abs/2210.03629

◇ Tree of Toughts

기존의 문제보다 더욱 복잡한 작업에 대한 탐색이나 추론이 필요한 경우를 위한 기법

주요 특징

- 중간 단계는 트리 구조를 유지한다.

- 각 노드는 “sure/maybe/impossible” 중 하나의 상태를 갖는다.

- LLM은 self-evaluation을 통해서 다음 노드를 선택하며 탐색을 진행한다.

관련 논문: https://arxiv.org/abs/2305.08291

Chain-of Toughts Structure 전체 면접 프로세스를 크게 면접 시작, 면접 진행, 면접 종료 3가지 단계로 구분 각 단계는 자신에게 맞는 Sub-Toughts를 가짐

상세설계 내용

◇ 아키텍처도

1) 클라이언트 어플리케이션

- 면접왕 서비스 인터페이스가 제공된다.

- JavaScript 및React프레임워크를 사용하여 구현한다.

2) NestJS 서버 어플리케이션

- 본 서비스에서 사용하는 생성형 AI모델인 OpenAI사의 GPT-4 API와 직접적으로 통신하는 역할을 수행하는 서버 어플리케이션이다.

- TypeScript 및 NestJS프레임워크를 사용하여 구현한다.

3) SpringBoot 서버 어플리케이션

- 면접왕 서비스 운영에 사용되는 각종 데이터베이스를 처리 및 제공하며, 클라이언트와 NestJS 서버 어플리케이션 간의 통신을 담당한다.

- Kotlin 및 SpringBoot어플리케이션을 사용하여 개발되었다.

- RDBMS인 MySQL 데이터베이스를 사용한다. 본 데이터베이스는 AWS RDS 환경에서 생성 및 연결된다.

4) 서버 및 네트워크

- AWS EC2 서버 인스턴스를 사용하여 어플리케이션을 호스팅한다. Docker를 사용해 컨테이너 형태로 패키징된 어플리케이션을 배포한다.

- Git 및 Github를 통해 소스코드 및 형상을 관리한다.

◇ 데이터베이스

◇ 클래스 설계

◇ 데이터 흐름도

1. 모의면접 생성 및 시작

2. 답변 및 질문 진행

3. 모의면접 종료

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

◇ 로그인

1. 아이디와 비밀번호를 입력하여 로그인을 진행한다.

2. 기존 계정이 없다면, 회원가입 화면으로 이동한다.

◇ 회원가입

1. 이름, 아이디, 비밀번호를 입력하여 회원가입을 진행한다. (단, 비밀번호는 정규식을 만족해야 한다.)

2. 오타를 방지하고, 비밀번호를 안전하게 설정하기 위해, 비밀번호를 두 번 입력받는다.

3. 기존 계정이 있다면, 로그인 화면으로 이동한다.

◇ 메인 화면

1. 메인 화면에서는 피드백이 완료된 '나의 면접 이력'을 한 눈에 확인할 수 있다.

2. 화면 상단에 위치한 메뉴를 통해 면접을 생성하거나, 이전 면접 이력을 확인하거나, 이력서를 작성하거나 조회하는 등의 작업을 수행할 수 있다.

3. 로그아웃 기능을 통해 서비스 이용을 종료할 수도 있다.

◇ 면접 설정

1. 회사 이름, 직군, 모집 공고문, 이력서, 희망 면접 질문 개수를 입력한다.

2. 기존에 만들어진 이력서가 없다면, 이력서 생성을 위한 페이지로 이동한다.

3. 이미 이력서가 존재한다면, 가장 최근에 생성한 이력서가 default로 선택된다.

4. 면접 질문의 유형은 CS 기반 질문과 이력서 기반 질문 2가지이며, 질문은 모두 합하여 최소 1개에서 최대 10개까지 가능하다.

◇ 면접 생성

1. 면접에 필요한 정보를 모두 입력하였으면 '면접 생성하기' 버튼을 눌러 면접을 생성한다.

2. LLM을 활용하여 맞춤형 면접을 생성하는 동안, 사용자에게 로딩 창을 통해 진행 상황을 알린다.

◇ 면접 시작

1. 면접이 생성되면 자동으로 '면접 시작 페이지'로 이동한다.

2. 사용자가 면접을 시작하고자 할 때, '면접 시작하기' 버튼을 눌러 면접을 진행한다.

◇ 면접 진행

1. 맞춤형 질문을 텍스트로 제공하고, 동시에 TTS(Text-to-Speech)를 이용하여 해당 질문을 음성으로 전환한다.

2. 면접자는 주어진 질문에 대해 음성으로 답변한다. 면접자의 답변은 STT(Speech-to-Text)를 통해 텍스트 형태로 변환되어 화면에 표시된다.

3. 미리 설정된 질문 수만큼 이 과정을 반복하며, 모든 질문에 대한 답변이 완료되면 자동으로 면접이 종료된다.

◇ 면접 이력 관리

1. 면접을 진행된 후에는 '면접 이력 조회' 탭에서 면접 히스토리를 확인할 수 있다.

2. 각 면접에 대해 종합적인 평가가 제공되며, 이는 한줄평과 전체 점수로 구성된다.

3. 또한, 각 질문에 대한 상세 피드백도 확인할 수 있어, 사용자가 개선점을 찾는 데에 도움을 받을 수 있다.

◇ 이력서 관리

1. 이전에 입력한 나의 이력서 목록과 각 내용을 확인할 수 있다.

2. 이력서 이름, 사이드 프로젝트, 설명을 입력하여 새로운 이력서를 추가할 수 있다.

3. 사이드 프로젝트 부분에는 프로젝트 이름, 한 줄 설명, 사용 스택, 상세 업무 및 성과를 입력하여 추가할 수 있다.

완료작품의 평가

실제 사용자의 피드백

[좋았던 점]

1. 이력서 등록 후, 면접 생성 시 해당 이력서가 기본으로 선택되어 있는 점이 ux 측면에서 매우 좋았음.

2. 면접 생성 완료 시, 안내되는 문구가 매우 좋았고 실제로 상용 중인(완성도 있는) 서비스를 사용하는 것과 같은 느낌을 받을 수 있었음.

3. 면접 질문 생성과 동시에 해당 질문을 음성을 통해 알려줘서 면접을 준비하는데 많은 도움을 얻을 수 있었다.

4. 면접 진행 과정에서, 경험에 대한 질문 이후 해당 경험에 대해 구체적인 질문이 들어오는 경우가 많았어서 실제 면접 질문 과정과도 상당히 유사한 맥락을 보여줬다.

5. 이력서가 여러개라면, 면접 생성 시 제일 최근 이력서가 자동 선택이 된다는 부분에서 서비스 사용성이 좋게 느껴졌다.

6. 이력서가 회사마다 다르게 작성되는데, 해당 사이트에서 관리하면서 면접을 준비할 수 있어서 사용성이 뛰어납니다.

7. 회사 JD에 맞는 질문을 받을 수 있어서 유용합니다.

8. 심플하면서 명료한 UI로 인터뷰를 어떻게 진행해야 하는지 바로 알 수 있어 효과적입니다.

9. 구체적인 피드백과 답변이 제공되어 사용자가 개선할 부분을 파악하기 쉽습니다.

[아쉬운 점]

1. 로그인 상태가 오랫동안 유지된 상태에서 이력서 등록을 요청한 후, 아무런 안내가 없어 이력서가 제대로 등록되지 않았다는 생각이 들었고, 이에 따라 로그아웃 이후, 로그인을 다시하니 이력서가 등록되어있음을 확인할 수 있었음. (ux 측면 아쉬움)

2. 이력서 등록 시 스택을 선택할 수가 있는데 여러 개 선택 후 한번에 등록하는 로직이 있다면 유저가 더욱 편할 것 같다는 생각이 듦.

3. 면접 생성 시, 받을 수 있는 질문 수를 이력서 질문과 cs 질문으로 나눠서 정할 수 있도록 되어있는 것으로 아는데 질문이 계속해서 들어왔다.

4. 면접을 진행 중에, 같은 질문을 연속해서 받는 경우가 존재했고, 답변에 대해 잘못된 내용으로 기재되는 경우가 있었다(인식 문제)

5. 이력서 / 사이드 프로젝트에 대한 설명과 업무 성과를 구체적으로 기술해야 할 부분에 대한 가이드가 필요합니다.

6. 인터뷰 질문 답변 후 반응이 없는 것처럼 보여서 현재 진행 상황에 대한 피드백이 더 필요해 보입니다.

7. 이력서0, CS1을 선택했는데 이력서 질문만 물어봄. 그리고 질문을 계속 줌. 선택한 옵션에 맞는 질문을 받지 않아 혼란스러운 경험이 발생한 것으로 보입니다. 선택한 카테고리에 따른 다양한 질문이 있으면 좋을 것입니다. 8. 남은 질문 갯수가 보여지면 좋을 것 같음. 인터뷰가 얼마나 더 진행되어야 하는지에 대한 정보를 투명하게 제공하면 사용자가 더 나은 경험을 할 수 있을 것입니다.

향후계획

◇ 어려웠던 내용들

- 비동기 처리에 대한 이해도가 부족하여 관련 문헌을 참고하여 해결하였다.

- 면접 시작, 진행 및 종료 요청이 처리 중일때 다른 요청이 들어오면 문제가 생겨, 중복 요청이 없도록 Lock을 사용하였다.

- 개발 및 테스트 환경에서 외부 API를 사용하지 않도록 별도의 Mock API 서버를 구축하였다.

◇ 차후 구현할 내용

- 이력서 여러 개를 선택하여 모의면접을 생성할 수 있도록 한다.

- 개발자 외의 다른 직무를 위한 모의면접 또한 제공하도록 서비스의 범위를 확장한다.

- 음성과 더불어 영상을 활용한 모의면접이 가능하도록 서비스를 개선한다.

- 면접 질문 및 피드백 생성 시간을 단축한다.

- 각 면접 질문이 생성되는 동안 로딩 애니메이션을 추가하여 진행 상황에 대한 피드백을 제공한다.

- 면접 진행 화면에 남은 질문 갯수를 표시하여, 사용자로 하여금 인터뷰가 얼마나 더 진행되어야 하는지 파악할 수 있도록 한다.

면접해조

목차

프로젝트 개요

기술개발 과제

과제 팀명

지도교수

개발기간

구성원 소개

서론

개발 과제의 개요

개발 과제 요약

개발 과제의 배경

개발 과제의 목표 및 내용

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

시장상황에 대한 분석

개발과제의 기대효과

기술적 기대효과

경제적, 사회적 기대 및 파급효과

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

개념설계안

이론적 계산 및 시뮬레이션

상세설계 내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

완료작품의 평가

향후계획

둘러보기 메뉴

검색