chatGPT가 무엇인지 궁금하신가요? 산업에 지각변동을 예상될 정도로 큰 파장이 되고 있고, 사람들의 관심이 뜨거운 관심을 받고 있는 이유와 모델별 성능 변천사에 대해 알기 쉽게 알려드립니다.
chatGPT란?
Introducing ChatGPT
Weve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.
openai.com
일론 머스크가 공동창업한 openai에서 서비스한 인공지능 챗봇 서비스입니다. 하지만 지금은 일론머스크가 Openai와 뜻이 맞지 않아서 나와서 테슬라를 창업한 상태입니다. 초기에는 ai를 누구나 공유할 수 있도록 하는 것이 목표였는데, 지금 openai의 행보를 보면 알 수 있듯 폐쇄적이고 이윤추구적인 태도에 실망해서 따로 나온 것으로 보입니다. 지금은 거의 대립상태라고 할 수 있어요.
chatGPT는 NLP 모델 중 하나인 GPT를 채팅 형식으로 파인 튜닝한 AI입니다. 말이 너무 어렵죠? 간단하게 설명을 드리면요.
NLP는 영어 약자로서 우리말로 하면 자연적인 언어 프로세스라는 의미입니다. 그래서 자연어 처리를 줄여서 NLP라고 합니다. 즉, 인간이 하는 자연적인 말로 질문하고, 인간이 알아들을 수 있는 말로 답변을 주기 때문에 NLP모델이라고 하는 겁니다.GPT는 이런 자연어처리모델 중의 하나이고 이를 채팅형식으로 사용하도록 만든 것이 chatGPT라는 모델입니다.
파인 튜닝은 미세조정이라는 뜻입니다. 기존의 모델은 채팅형식으로 만들어진 것이 아니기에 답변이 이상하게 튀어나옵니다. 그래서 코드를 채팅형식으로 질문하고 답변하도록 미세조정한 것이 바로 chatGPT입니다.
이런 작동 원리를 알아야 프롬프트 엔지니어링을 제대로 할 수 있어요. 좀 어려운 주제이기는 하지만 최대한 쉽고 재밌게 설명드릴 테니 잘 따라오시기 바랍니다.
현재 기준으로 GPT-3.5와 GPT-4버전을 사용하고 있고 2021년까지의 데이터로만 학습된다고 알려져 있지만, 최근 플러그인을 통해 최근 뉴스자료까지 확인이 가능해졌습니다. 물론 모든 최신자료가 아닌 점은 아니지만 기술이 빠르게 발전하고 있는 것 같아요
chatGPT의 성능지표 파라미터
chatGPT는 사용자가 입력한 프롬프트를 바탕으로 최적의 답변을 생성합니다. 이때 제대로 답변을 내기 위한 성능의 지표가 되는 것이 바로 파라미터입니다. 모델별로 파라미터 사용 개수를 살펴보면 그동안 얼마나 엄청난 속도로 발전하고 있는지, 모델별로 무슨 차이가 있는지 알 수 있는데요
GPT-3.5는 1750억개의 파라미터를 가지며, RLHF를 통해 GPT3를 대화에 최적화시켰습니다. 파라미터는 많으면 많을수록 성능이 좋아진다고 생각하시면 됩니다.
GPT-1일때 파라미터가 1.17억 개였는데 GPT-2에서는 15억 개로 12.8배가 증가했고, GPT-3로 왔을 때는 1750억 개로 116.7배로 폭증해 성능이 대폭 향상되었습니다. 사람들이 GPT에 열광하기 시작한 것도 이때부터라고 할 수 있습니다
지금 무료 버전으로 사용하고 있는 GPT-3.5라는 모델은 매개변수가 GPT-3과 같은 대신 질문과 답변을 반복하며 파인 튜닝한 강화학습 모델입니다.
첫 시간이라 조금 지루한 내용이었는데요. 다음 포스팅에서는 사람들이 chatGPT에 왜 이렇게 놀라워하는지 더 흥미로운 주제로 찾아오겠습니다.