인공지능 언어 모델 GPT-3의 간단한 이해와 원리

OpenAI와 GPT-3

 

가장 뛰어난 인공지능 언어 모델 GPT-3

일론 머스크가 공동 설립한 OpenAI는 수년간 인공지능 분야에서 가장 중요하고 유용한 발전으로 평가받아 왔습니다. 특히 GPT-3는 이전에 나온 어떤 모델보다도 언어 구조를 잘 이해하고 자연어를 잘 처리하는 인공지능 모델입니다. GPT-3는 Generative Pre-trained Transformer 3의 약자이며 세번째 버전으로 출시된 모델입니다.

 

이를 직역하자면 사전 학습된 알고리즘을 사용하여 텍스트를 생성한다는 뜻입니다. 즉, 작업을 수행하는 데 필요한 모든 데이터를 이미 공급받은 모델입니다. 특히, OpenAI에서 선택한 다른 텍스트와 함께 위키백과를 포함한 인터넷을 탐색하여 수집한 약 570GB의 텍스트 정보를 제공받았습니다. 만약 이 모델에게 어떠한 글에 대한 요약을 만들거나 시를 쓰는 등의 과제를 수행하라고 하면 요약이나 시가 나오고 질문을 하면 이전의 어떤 모델보다 정확하고 관련된 답을 응답 해줍니다.

 

GPT-3가 하는 것

GPT-3는 질문에 답하고, 에세이를 쓰고, 긴 텍스트를 요약하고, 언어를 번역하고, 메모를 하고, 심지어 코딩을 할 수 있습니다. 실제로 온라인에서 이용할 수 있는 한 데모에서는 앱 설계에 널리 사용되는 소프트웨어 도구인 Figma용 플러그인을 사용하여 인스타그램 애플리케이션과 유사하게 보이고 기능하는 앱을 만드는 것을 볼 수 있었습니다. 만약 이것이 장기적으로 유용한 것으로 판명된다면, 그것은 미래에 소프트웨어와 앱이 개발되는 방식에 큰 영향을 미칠 수 있습니다. 코드 자체는 아직 일반인이 이용할 수 없기 때문에 OpenAI에서 관리하는 API를 통해서만 액세스할 수 있습니다.

GPT-3의 학습 원리

GPT-3는 언어 예측 모델입니다. 즉, 하나의 언어를 입력하면 이를 사용자에게 가장 유용한 다음 언어로 변환하도록 설계된 알고리즘 구조입니다. 이는 방대한 양의 텍스트를 사전 훈련하는 데 사용한 교육 덕분에 가능합니다. 원시 상태에서 교육을 받지 않은 다른 알고리즘과는 달리, OpenAI는 이미 GPT-3가 언어를 이해하는데 필요한 엄청난 양의 컴퓨팅 리소스를 소비했습니다. 이를 달성하기 위해 460만 달러 이상이 들었다고 합니다.

 

문장과 같은 언어 구조를 만드는 방법을 배우기 위해, 의미 분석을 사용합니다. 단어와 의미뿐만 아니라 본문에서 사용되는 다른 단어에 따라 단어의 사용이 어떻게 다른지에 대한 이해도 수집합니다. 이것은 또한 비지도 학습이라고 불리는 기계 학습의 한 형태입니다. 왜냐하면 교육 데이터는 지도 학습의 경우처럼 True이거나 False라는 정보를 포함하지 않기 때문입니다. 이것은 단어와 문장의 사용법을 연구한 다음 그것들을 분해하고 스스로 재구성하는 것으로 이루어집니다.

 

예를 들어, 훈련 중에 알고리즘은 "집에 빨간 문이 있다"는 문구를 발견할 수 있습니다. 그리고 나서 이 문구는 다시 주어지지만, "집은 빨간 X를 가지고 있다"와 같이 "문"이라는 단어가 빠진 상태로 주어집니다. 그런 다음 교육 데이터의 모든 텍스트를 스캔하고 원래 구문을 다시 만들기 위해 사용해야 하는 단어를 결정합니다. 올바른 답을 선택하기까지 셀 수 없을 정도의 오류를 범하게 됩니다. 하지만 결국 학습을 하면 할수록 올바른 단어를 생각해 낼 것입니다. 원래 입력 데이터를 확인하면 올바른 출력이 있음을 알 수 있으며, 학습을 통해 갱신된 가중치는 정답을 제공한 알고리즘 프로세스에 할당됩니다.