|
|
|
|
챗 GPT 시대(8): 챗 GPT의 작동방식
|
|
2023년 08월 01일(화) 17:04 [주간문경] 
|
|
|
| 
| | | ↑↑ 지홍기
영남대학교 명예교수
전(前) 국가녹색성장위원회 위원 | ⓒ (주)문경사랑 | |
GPT란?
GPT는 “사전 훈련된 생성형 변환기”를 의미하며, 기계학습을 통해 방대한 데이터를 미리 학습해 이를 문장으로 생성하는 생성형 AI이다. 챗 GPT는 GPT 3 및 GPT 3.5 기반의 대형 언어 모델로, 이 인공지능 도구는 기계 학습 알고리즘을 방대한 텍스트 말뭉치에 적용하여 사용자의 요청에 놀랍도록 인간처럼 들리는 언어를 사용하여 응답한다. 챗 GPT는 인간의 피드백에 따라 달라지는 강화 학습을 통해 역량을 강화하기도 한다.
GPT-3, GPT-3.5 및 GPT-4의 차이점
GPT-3.5는 GPT-3의 기존 모델에 강화 학습을 적용하여 만든 모델이다. GPT-3.5는 GPT-3보다 약간 더 큰 모델이었으며, 약 1,750억 개의 매개변수(Parameter)를 가졌다. 반면에 GPT-4는 더 큰 모델로, 약 3,500억 개의 매개변수를 가지고 있다. 이는 이전 모델과 비교하여 매개변수가 거의 두 배로 증가시켰다는 의미이다.
GPT를 사용 및 학습 방법
GPT는 다양한 작업 즉, 챗 봇, 자동 번역, 자동 요약, 자동 생성 등을 수행할 수 있다. GPT는 텍스트 생성에 특화되어 있으며, 대규모 데이터 세트에서 학습하여 인간과 같은 언어를 생성할 수 있다.
또한 GPT의 학습 방식은 대규모 데이터 세트에서 학습되며, 이는 인터넷에서 수집되어 언어 모델을 학습한다. GPT는 텍스트 생성에 특화되어 있으므로 대규모 데이터 세트에서 학습하여 인간과 같은 언어를 생성할 수 있다. 따라서 GPT는 강화 학습을 통해 역량을 강화하며, 인간의 피드백 과정에 따라 역량이 달라진다.
| 
| | ⓒ (주)문경사랑 | |
GPT 알고리즘과 작동 방식
GPT는 변신로봇(Transformer) 기반의 인공 신경망 알고리즘을 사용한다. 이 알고리즘은 대규모 데이터 세트에서 학습을 수행하게 되므로 인간과 같은 언어를 생성할 수 있다. GPT는 텍스트 생성에 특화되어 있으며, 강화 학습을 통해 역량을 강화시킬 수 있다.
또한 GPT의 작동방식으로 GPT는 대화형 챗 봇을 개발하기 위해 사용된 언어 모델로서 사전 훈련과 후속 조정과 같은 작동 방식을 가지고 있다.
1) 사전 훈련: GPT는 대규모의 텍스트 데이터를 사용하여 사전 훈련된다. 이 과정에서 모델은 다양한 문장을 예측하고 문맥을 이해하는 능력을 강화한다. 대량의 인터넷 데이터를 활용하거나 특정 도메인의 데이터로 사전 훈련할 수 있다.
2) 후속 조정: 사전 훈련된 GPT 모델은 후속 조정 단계에서 특정 작업에 맞게 세부 조정된다. 이 단계에서는 특정 도메인이나 응용 분야에 맞는 데이터셋을 사용하여 모델을 훈련시킨다. 예를 들어, 챗 봇을 개발하기 위해 채팅 데이터를 사용하여 모델을 조정할 수 있다.
GPT의 문제점
1) 일관성과 신뢰성의 문제: GPT는 대규모 텍스트 데이터를 학습하므로 어떤 경우에는 일관성이 부족하거나 부적절한 정보를 생성할 수 있다. 모델은 단순히 문맥에 기반하여 문장을 생성하기 때문에 신뢰성 있는 정보를 보장하기 어렵다.
2) 인식하지 못하는 문맥: GPT는 텍스트 문맥을 이해하고 생성하는 능력이 있지만, 일부 문맥이나 의미를 완전히 이해하지 못할 수도 있다. 특히 긴 문장이나 복잡한 의미를 포함하는 문장에 대해서는 제한적인 이해력을 가질 수 있다.
3) 편향성과 선호도: GPT는 사전 훈련 데이터에 포함된 편향성이나 선호도를 학습하고 반영할 수 있다. 이로 인해 모델이 편향된 정보를 생성하거나 특정 그룹이나 의견을 선호하는 경향을 가질 수 있다.
4) 인간 수준의 이해와 상호작용의 한계: GPT는 언어 이해와 생성 능력이 향상되었지만, 아직은 인간 수준의 이해와 상호작용을 달성하기에는 한계가 있다. 따라서 실제로 지식을 이해하거나 추론하는 데에는 인간 수준의 경험과 지식이 필요하다.
|
|
|
|
홈페이지관리자 기자  .
“주간문경을 읽으면 문경이 보인다.”
- Copyrights ⓒ주간문경.
무단 전재 및 재배포 금지 -
|
|
|
|
 주간문경
기사목록 | 기사제공 : 주간문경
|
|
|
|
|
|
|
|
|
|
실시간
많이본
뉴스
|
|
|
|
|
|
종합
커뮤니티
