1 min read
BART란 BERT와 GPT의 구조를 결합한 모델로, 특히 summarization(요약) 작업에서 우수한 성능을 보인 것으로 알려져 있습니다. MASS와 달리, BART는 Encoder에 다양한 Noise를 추가하는 방...
Prompt 종류 A.1) Instruction Prompt Extract the name of the author from the quotation below.
GPT-2 Let’s reproduce GPT-2 (124M) - YouTube B) Questions dropout 은 왜 softmax 이후에 적용하는 걸까? GPT 모델에서 cheating 방지를 위해 masking 하는 방식은 아직도 이해를 잘 못하겠음.
Polyglot 한국어 모델 2. Eos Token 이슈 한글 LLM 맛보기 : 네이버 블로그 3. Related 4. References.
BART란 BERT와 GPT의 구조를 결합한 모델로, 특히 summarization(요약) 작업에서 우수한 성능을 보인 것으로 알려져 있습니다. MASS와 달리, BART는 Encoder에 다양한 Noise를 추가하는 방식으로 더욱 뛰어난 성능을 기록하였습니다.
N-gram B) Related C) References.
Hallucination B) Related C) References.
llm as classifier 왜 전통적인 분류 모델을 사용하지 않고, LLM 을 통해 분류 문제를 해결하려 할까? B) LLM 만의 장점 학습 데이터셋이 많지 않은 경우, 빅 모델이 성능 면에서 더 효율적일 수 있다.
Llama B) Llama 2 모델 사이즈 7, 13, 34, 70 billion and a Llama chat variant with the same sizes B.1) 기존 모델과 비교 increased the size of the pretraining corpus by 40% doubled the...
DistributedDataParallel a batch is sent to each GPU worker which has its own copy of the model.
Tokenizers(huggingface) Related References Tokenizers .