1 min read
Rotary Positional Embedding (RoPE) 는 절대적 방식과 상대적 방식을 통합한 새로운 Positional Encoding 방식입니다.
카카오 브레인에서 만든 자연어 처리 모델 SentenceFactory sentence transformers 라이브러리 사용 한국어 모델의 경우 brainsbert.base.ko.kornli.korsts 를 사용중임 brainsbert 의 경우 사용가능한 모델은 RoBERTa 밖에 없음 References...
한국어 자연어 처리에 대한 모델을 정리한다. KcELECTRA 공개된 한국어 Transformer 계열 모델들은 대부분 한국어 위키, 뉴스 기사, 책 등 잘 정제된 데이터를 기반으로 학습한 모델입니다.
The Korean Question Answering Dataset github site: korquad.github.io/ KorQuAD 2.0 은 KorQuAD 1.0 에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension...
References Tokenizers .
Prompt 종류 Instruction Prompt Extract the name of the author from the quotation below.
연속한 n 개의 단위를 하나로 묶은 것이다. 단위는 문맥에 따라 단어일 수도 문자일 수도 있다.
global vectors for word representation \operatorname{minimize}\sum {i=1}^{V}\sum {j=1}^{V}f\left(X {ij}\right)\left(\theta {i}^{T}e {j}+b {i}+b {j}^{\prime}-\log X...
LLM 파인 튜닝 용 라이브러리 Arguments Description tf32 .
모델 파라미터를 건드리지 않고, 입력 텍스트만 바꿔서 원하는 출력을 얻어내는 작업이다. LLM 은 같은 능력을 갖고 있어도 요청을 어떻게 적느냐에 따라 결과가 크게 달라진다. 미세조정과 비교하면 위치가 분명해진다.