[LLM] Large Language Model 대형 언어 모델

 

1, LLM 이란

2. AI 역사 및 LLM

3. LLM 개념 및 핵심

4. 한계점 및 확장성

---

1. LLM 이란

- Prompt

 

LLM 기술을 대학생 수준의 독자가 이해할 수 있도록 5 문장으로 숫자를 표현해서 요약해줘

 

- ChatGPT

*인공지능 프로그램으로, 사람들이 사용하는 언어를 이해하고 생성하는 데 도움을 주는 기술이다.
*대량의 텍스트 데이터를 학습하여 문장을 만들고 정보를 제공하며, 번역, 질문에 답하는 등의 작업을 수행한다.
*우리가 대화하듯 자연스럽게 응답을 생성하며, 언어에 관련된 다양한 작업에서 도움을 줄 수 있다.
*인공지능 기술의 한 형태로써, 다양한 분야에서 활용되고 있다.

 

- ChatPDF (A Survey of Large Language Models)

*수십억 또는 수백억 개의 매개변수를 가진 대규모 언어 모델로, 텍스트 데이터를 학습하여 자연어 처리 작업을 수행함
*Transformer 아키텍처와 Attention 메커니즘을 기반으로 하며, GPT-3, BERT, T5 등이 대표적인 LLM임
*LLM은 자연어 생성, 기계 번역, 질의응답 시스템 등 다양한 응용 분야에서 뛰어난 성과를 보이고 있으며, 현재 많은 연구와 산업적 활용이 진행되고 있음
*LLM의 발전은 자연어 처리 기술의 혁신적인 발전을 이끌고 있으며, 향후 더 많은 발전이 기대됨

 

- Bard

알겠습니다. 대학생 수준의 독자가 이해할 수 있도록 숫자를 표현해서 LLM 기술을 요약해 보겠습니다.
LLM 기술은 1000억 단어 이상의 방대한 텍스트 데이터를 학습하여 텍스트를 생성, 번역, 요약, 작문, 답변하는 등 다양한 작업을 수행할 수 있는 인공지능 기술입니다.

LLM 기술은 다음과 같은 숫자로 요약할 수 있습니다.
- 데이터 크기: 1000억 단어 이상
- 학습 시간: 수개월 이상
- 메모리 용량: 수십 테라바이트
- 연산 능력: 수십 페타플롭스

LLM 기술은 다음과 같은 분야에서 활용되고 있습니다.
- 자연어 처리: 텍스트 생성, 번역, 요약, 작문, 답변
- 창의적 콘텐츠 제작: 시, 소설, 코드, 음악, 그림 등
- 기계 학습: 인공지능의 학습과 발전

LLM 기술은 아직 초기 단계이지만, 빠르게 발전하고 있으며 다양한 분야에서 활용될 것으로 기대됩니다.

 

---

 

2. AI 역사 및 LLM 

- 바야흐로 Softwatr 3.0 시대

ref: https://medium.com/@itamar_f/software-3-0-the-era-of-intelligent-software-development-acd3cafe6cd7

 

https://medium.com/@itamar_f/software-3-0-the-era-of-intelligent-software-development-acd3cafe6cd7

Software 3.0 — the era of intelligent software development

---

- Traditional machine learning vs Deep learning

ref: https://arnaudunjo.com/2021/04/25/introduction-to-machine-learning/

# DL은 기존의 전통적인 ML에 비해 중간 수고과정이 덜하다 > 시간이 적게 든다

# 레이블링 X, 데이터 분석 X, 최신 데이터 즉각 반영 O

---

- AI history

ref: https://martech.zone/what-is-artificial-intelligence/

---

- AI 역사는 꽤 오래전부터 evolutional 했지만 이번 LLM 출현은 빅뱅이라 불릴만 함

ref:  A Survey of Large Language Models

---

- LLM 관련 기술이 일반 산업 시장에 급속히 스며들고 있음

ref: https://cobusgreyling.medium.com/large-language-model-landscape-61d90f5ca000

---

- Machine learning workflow에도 변화를 일으킴

ref: https://medium.com/@brian_90925/llms-and-the-emerging-ml-tech-stack-6fa66ee4561a

ref: https://medium.com/@brian_90925/llms-and-the-emerging-ml-tech-stack-6fa66ee4561a

---

ref: https://github.com/hollobit/GenAI_LLM_timeline

 

---

3. LLM 개념 및 핵심

- key words: NLP, Tranformer, Self-attention, encoder, decoder, Fine-tuning, Prompt engineering

- LLM model history

ref: https://www.thedatahunt.com/en-insight/what-is-llm

https://www.thedatahunt.com/en-insight/what-is-llm

What is an LLM? - Definition, principles, Models, Applications

 

---

- Prompt enginerring > ML workflow 혁신

ref: https://www.datacamp.com/blog/a-beginner-s-guide-to-the-machine-learning-workflow

# LLM(Prompt Engineering)의 등장으로 2번, 3번 과정을 생략할 수 있음

---

- Full fine tuning, fin tuning이 필요한 문제

• regression
• 대량 데이터 실시간 처리 문제
• 매우 높은 성능을 요하는 문제
• 데이터 보안이 매우 중요한 문제

---

4. 한계점 및 확장성

 

- 한계점

• 성능이 아주 우수하기에는 허들이 많음 (특히 숫자와 관련되어서)
• 답변이 정답인 확인하려면 직접 찾아봐야함 (hallucination)
• 학습 시점의 정보만 이용 및 활용 가능
• 이용하는 정보의 정확성 및 윤리성 확인을 요함
• 저작권 이슈 고려해봐야함

---

- 소프트웨어 개발의 혁신

• 개발 접근이 비교적 수월해짐 > 반복 작업 자동화 쉬워짐 > 자유시간 확보
• 자신의 생각을 표현할 수단을 비교접 쉽게 만들어 볼 수 있는 도구로써 이용가지가 좋음
• 새로운 크리에이터의 개념으로 다가올 가능성 높음
• Transformer 기술이 2017년에 발표됨 현재 기술의 변화가 너무 빠름 > 늦기전에 배에 타야함
• 기존의 ML/DL/NLP 의 Pipeline을 고집할 필요가 없어짐
• Multi Modality로 그 어느 기술보다 우리 삶에 빠르고 깊게 스며들 것임