Let’s reproduce GPT-2 (124M) - YouTube
Let’s reproduce GPT-2 (124M) - YouTube
...trained Transformer. transformer 의 디코더만 쌓아 만든 언어모델 계열로, 다음 토큰을 예측하는 방식으로 사전학습한다. OpenAI 가 2018년 첫 모델을 낸 이후 GPT-2, GPT-3 로 이어졌다. 구조: 디코더만 쓴다 원 transformer 는 인코더와 디코더를 모두 갖는 번역 모델이었다. GPT 는 디코더 쪽만 남기고, attention 에 causal ...
Generative Pre-trained Transformer. transformer 의 디코더만 쌓아 만든 언어모델 계열로, 다음 토큰을 예측하는 방식으로 사전학습한다. OpenAI 가 2018년 첫 모델을 낸 이후 GPT-2, GPT-3 로 이어졌다.
구문 완성 프롬프트는 대규모 언어 모델이 다음에 나올 가능성이 높다고 생각되는 텍스트를 작성하려고 하는 방식을 활용
7, 13, 34, 70 billion and a Llama chat variant with the same sizes
왜 전통적인 분류 모델을 사용하지 않고, LLM 을 통해 분류 문제를 해결하려 할까?
현재 연구되고 있는 LLM 고도화 방향
Text-to-Text Transfer Transformer 라서 T5 로 불린다.
모델 파라미터를 건드리지 않고, 입력 텍스트만 바꿔서 원하는 출력을 얻어내는 작업이다. LLM 은 같은 능력을 갖고 있어도 요청을 어떻게 적느냐에 따라 결과가 크게 달라진다.
ShareGPT 에서 모은 약 125K 개의 사용자 대화 데이터를 기반으로 파인튜닝한 Llama 기반 모델
Qwen2.5 의 72b 급 대용량 모델을 학습하는 방법에 대해 조사해보자.
LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법