AI 붐이 아주 세차게 각 산업에 영향을 주고 미래가 어떻게 될지 지금은 상상하기 어려워지고 있어요.
그래서, 요즘 많이 언급되고 있는 초거대언어모델의 역사에 대해서 간단히 정리해봅니다.
인공지능, 딥러닝에서 초거대언어모델인 ChatGPT가 나오면서 요즘은 LLM이 가장 핫한 것 같아요.
용어가 나오니 먼저 LLM과 Open Source 개념 먼저 정리해봐요.
▣ 개념 ① 초거대언어모델(LLM ,Large Language Model): 거대언어모델, 인간의 언어를 이해하고 생성하도록 훈련된 AI모델 ② 오픈소스 (Open Source): 누구나 공짜로 쓸 수 있도록 공개된 소프트웨어 소스코드
그래서, ChatGPT부터 간단히 역사를 정리해보면 다음과 같아요.
▣ LLM 역사 2022-11-30 OpenAI의 ChatGPT 출시 2023-02-07 Microsoft의 Copilot 출시 (GPT 기반) 2023-03-00 Anthropic의 Claude 출시 2023-03-14 OpenAI의 GPT-4 출시 2023-03-21 Google의 Bard 출시 (Gemini 전신) 2023-06-27 Baidu의 Ernie Bot 출시 2023-11-04 xAI의 Grok 베타 출시 2024-02-13 ChatGPT Plus ($20/월) 출시 2024-02-20 Google의 Gemini 출시 (Gemini Ultra $20/월)
현재 기준으로30만개가 넘는 모델이 있다고 하고 그 중에서 좀 이름 있는 LLM 오픈소스만 공개 히스토리를 정리하면 다음과 같아요. ▣ LLM 소스 공개 역사 2020-06-11 OpenAI의 GPT-3 오픈소스 공개 2023-02-11 Meta의 LLaMA 출시 2023-03-14 OpenAI의 GPT-4 오픈소스 비공개 2023-07-18 Meta의 LLaMA2 출시 (Vicuna, Alpaca 파생형 LLM의 기반) 2023-09-27 Mistral AI의 Mistral 7B 출시 2023-12-11 Mistral AI의 Mistral 8x7B 출시 2024-02-21 Google의 Gemma 출시 (Gemini 기반)
▣ 개발자 입장에서는 소스코드 공개는 크게 3가지 이유로 사용한다고 합니다. ① 투명성: AI 모델이 어떻게 작동하는지 원리를 이해할 수 있다. 아키텍처, 트레이닝 데이터를 파악할 수 있다. ② 파인튜닝: 오픈소스에 특정기능을 추가할 수 있다. 특정목적, 특정데이터에 맞게끔. Meta의 LLaMA2에 기반한 오픈소스 모델들이 아주 많다. ③ 커뮤니티: 커뮤니티 다양한 개발자들과 다양한 사용법, 관점을 공유할 수 있다.
▣ 그리고, 기업 측면에서는 공짜로 소스코드를 배포하는 이유는 2가지로 볼 수 있고요. ① 대외적 이유: 지식과 기술의 민주화, AI 발전 가속화 ② 진짜 이유: 본인 소스를 표준화하려는 것! 최고의 개발자들이 본인 소스를 사용하고 발전시키고 안착하게 만들려는 것.
휀아. 작년에 이어서 올해 아빠 목표 중에 하나가 원서 읽기야. 몇 권 목표인지는 휀이에게 이야기했었지. 그래서, 올 첫번째로 고른 책인 로버트 기요사키의 "Rich dad poor dad"이야.
한국어로 번역된 " 부자 아빠 가난한 아빠" 책을 오래 전에 읽었었어. 벌써 책이 나온지 20년이나 되었는데 20주년 특별판 원서가 있어서 읽었는데 딱 2주 걸렸네. 작년보다는 좀 빨라진 것 같긴 해.
처음 한국어판은 읽은 지 오래되기도 했고 그 때는 사회 초년생이라 지금 보다는 덜 와닿은 것 같아. 이번에 영어로 읽어면서 더 저자의 생각을 잘 이해할 수 있었는 것 같고 몇가지 기억남는 것만 적어볼게.
"The poor work for money. The rich have money work for them." "Rich people acquire assets. The poor acquire liabilities that they think are asset." "Asset add to your income. They put money in your pocket. A liability takes mony out of your pocket." "The cash flow tells the story of how each person handles money."
"To become financially secure, a person needs to mind their own business." "A corporation offers a lower income-tax rate than individuals have." "Old ideas are some people's biggest liability." "It's like going to the gym. The most painful part is deciding to go." "The primary difference between a rich and a poor is how they mange fear." "I can't afford it causes sadness, a helplessness. How can I afford it open up possibilities, dream." "A reason or a purpose is a combination of wants and don't wants." "Make offers. Someone might say yes." "Jog, walk or drive a certain area once a month for 10 minutes." "Action always beats inaction." "critics blinded but analyze openen eyes."
어쩌면 당연한 말처럼 생각될 수도 있어. 저자가 직설적으로 말해서 잘 전달되기도 하고 다르게는 아빠도 이제 지난 경험이 있다보니 고민하다가.. 생각만 하다가 미루고.. 기회인지 모르고 놓치고 난 다음 보니깐 달리 읽혀지더라고.
늘 이렇게 마무리하는 것 같지만 휀이가 좀 더 커서 아빠가 저 말을 좀 더 풀어서 이야기해주고 그 때 휀이도 한번 읽어 보면 좋을 것 같아.