AI 붐이 아주 세차게 각 산업에 영향을 주고 미래가 어떻게 될지 지금은 상상하기 어려워지고 있어요.
그래서, 요즘 많이 언급되고 있는 초거대언어모델의 역사에 대해서 간단히 정리해봅니다.
인공지능, 딥러닝에서 초거대언어모델인 ChatGPT가 나오면서 요즘은 LLM이 가장 핫한 것 같아요.
용어가 나오니 먼저 LLM과 Open Source 개념 먼저 정리해봐요.
▣ 개념 ① 초거대언어모델(LLM ,Large Language Model): 거대언어모델, 인간의 언어를 이해하고 생성하도록 훈련된 AI모델 ② 오픈소스 (Open Source): 누구나 공짜로 쓸 수 있도록 공개된 소프트웨어 소스코드
그래서, ChatGPT부터 간단히 역사를 정리해보면 다음과 같아요.
▣ LLM 역사 2022-11-30 OpenAI의 ChatGPT 출시 2023-02-07 Microsoft의 Copilot 출시 (GPT 기반) 2023-03-00 Anthropic의 Claude 출시 2023-03-14 OpenAI의 GPT-4 출시 2023-03-21 Google의 Bard 출시 (Gemini 전신) 2023-06-27 Baidu의 Ernie Bot 출시 2023-11-04 xAI의 Grok 베타 출시 2024-02-13 ChatGPT Plus ($20/월) 출시 2024-02-20 Google의 Gemini 출시 (Gemini Ultra $20/월)
현재 기준으로30만개가 넘는 모델이 있다고 하고 그 중에서 좀 이름 있는 LLM 오픈소스만 공개 히스토리를 정리하면 다음과 같아요. ▣ LLM 소스 공개 역사 2020-06-11 OpenAI의 GPT-3 오픈소스 공개 2023-02-11 Meta의 LLaMA 출시 2023-03-14 OpenAI의 GPT-4 오픈소스 비공개 2023-07-18 Meta의 LLaMA2 출시 (Vicuna, Alpaca 파생형 LLM의 기반) 2023-09-27 Mistral AI의 Mistral 7B 출시 2023-12-11 Mistral AI의 Mistral 8x7B 출시 2024-02-21 Google의 Gemma 출시 (Gemini 기반)
▣ 개발자 입장에서는 소스코드 공개는 크게 3가지 이유로 사용한다고 합니다. ① 투명성: AI 모델이 어떻게 작동하는지 원리를 이해할 수 있다. 아키텍처, 트레이닝 데이터를 파악할 수 있다. ② 파인튜닝: 오픈소스에 특정기능을 추가할 수 있다. 특정목적, 특정데이터에 맞게끔. Meta의 LLaMA2에 기반한 오픈소스 모델들이 아주 많다. ③ 커뮤니티: 커뮤니티 다양한 개발자들과 다양한 사용법, 관점을 공유할 수 있다.
▣ 그리고, 기업 측면에서는 공짜로 소스코드를 배포하는 이유는 2가지로 볼 수 있고요. ① 대외적 이유: 지식과 기술의 민주화, AI 발전 가속화 ② 진짜 이유: 본인 소스를 표준화하려는 것! 최고의 개발자들이 본인 소스를 사용하고 발전시키고 안착하게 만들려는 것.
세부적으로 2가지 유형으로 분류 - 전가상화 : HW 완전 가상화 - 반가상화 : VM에 HW 직접 연동 I/F 제공
위의 분류와 특징을 그림으로 그려보면 아래와 같아요.
Hypervisor타입1은 더 나은 성능,안정성 및 보안을 제공하는 반면,타입2는 사용 편의성과 호환성이 좋은데요.서버 가상화 등 고성능 환경에서는 타입1 Hypervisor가 일반적으로 선호되고 반면 개인용 컴퓨터나 데스크톱 환경에서는 타입2 Hypervisor가 더 적합할 수 있어요.
좀 더 세부적으로 설명하면,
■ Hypervisor Type 1 (Bare Metal Hypervisor):
- 성능: 타입 1 Hypervisor는 하드웨어 레벨에서 직접 실행되므로, 하드웨어 리소스에 직접 액세스하여 성능이 우수합니다. 이는 가상 머신에 대한 더 나은 성능과 응답 시간을 제공할 수 있습니다.
- 안정성: 타입 1 Hypervisor는 전용 운영체제로서 호스트 운영체제와 완전히 분리되어 작동하므로, 호스트 운영체제의 문제가 가상 머신에 영향을 미치지 않습니다. 이는 가상 머신의 안정성을 향상시킬 수 있습니다.
- 관리 및 유지보수: 타입 1 Hypervisor는 전용 운영체제로서 가상 머신을 관리하고 유지보수하는 기능을 제공합니다. 이는 가상 머신의 배포, 모니터링, 패치 및 업그레이드를 용이하게 만들어 줍니다.
■ Hypervisor 타입 2 (Hosted Hypervisor):
- 사용 편의성: 타입 2 Hypervisor는 호스트 운영체제 위에서 실행되므로, 호스트 운영체제의 GUI나 애플리케이션을 통해 가상 머신을 관리할 수 있습니다. 이는 사용자에게 더욱 직관적이고 편리한 환경을 제공합니다.
- 호환성: 타입 2 Hypervisor는 호스트 운영체제 위에서 실행되기 때문에, 호스트 운영체제와의 호환성이 좋습니다. 다양한 운영체제에서 호스트 운영체제로 사용되는 경우 유용합니다.
- 리소스 공유: 타입 2 Hypervisor는 호스트 운영체제와 리소스를 공유하므로, 호스트 운영체제의 기능과 리소스 관리 기능을 활용할 수 있습니다. 이는 리소스 사용의 효율성을 높이고 시스템의 유연성을 제공합니다.
- 성능: 타입 2 Hypervisor는 호스트 운영체제 위에서 동작하므로, 호스트 운영체제의 성능과 가상화 오버헤드에 영향을 받을 수 있습니다. 이는 일부 경우에는 타입 1 Hypervisor보다 성능이 낮을 수 있습니다.