한글 LLM 맛보기 : 네이버 블로그
NVIDIA 가 만든 대형 transformer 학습 프레임워크다. 한 장의 GPU 에 올라가지 않는 모델을 여러 GPU 에 쪼개 학습시키기 위한 tensor-slicing model parallelism 을 제안한 것으로 알려져 있다.
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
ShareGPT 에서 모은 약 125K 개의 사용자 대화 데이터를 기반으로 파인튜닝한 Llama 기반 모델
문장 속 단어의 뜻은 주변 단어에 따라 달라진다. "배가 아프다" 의 '배' 와 "배를 탔다" 의 '배' 는 같은 토큰이지만, 모델이 다음 단어를 잘 고르려면 두 경우의 표현이 달라야 한다. attention 은 각 토큰이 시퀀스의 다른 토큰들 중 어디를 얼마나 참고할지 정하고, 그 비율대로 다른 토큰의 정보를...
Rotary Positional Embedding (RoPE) 는 절대적 방식과 상대적 방식을 통합한 새로운 Positional Encoding 방식입니다.
언어 모델을 학습하기 위해 사용하는 허깅페이스 클래스. 주로 LLM 을 학습할때 사용한다.
LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법
Qwen2.5 의 72b 급 대용량 모델을 학습하는 방법에 대해 조사해보자.
Word2Vec 과 비슷한 임베딩 모델이다. 주요 차이점은 FastText 의 경우 문자 레벨에서 동작하고, Word2Vec 은 단어 레벨에서 동작한다는 점이다.