Rotary Positional Embedding (RoPE) 는 절대적 방식과 상대적 방식을 통합한 새로운 Positional Encoding 방식입니다.
카카오 브레인에서 만든 자연어 처리 모델
한국어 자연어 처리에 대한 모델을 정리한다.
문장 속 단어의 뜻은 주변 단어에 따라 달라진다. "배가 아프다" 의 '배' 와 "배를 탔다" 의 '배' 는 같은 토큰이지만, 모델이 다음 단어를 잘 고르려면 두 경우의 표현이 달라야 한다. attention 은 각 토큰이 시퀀스의 다른 토큰들 중 어디를 얼마나 참고할지 정하고, 그 비율대로 다른 토큰의 정보를...
구문 완성 프롬프트는 대규모 언어 모델이 다음에 나올 가능성이 높다고 생각되는 텍스트를 작성하려고 하는 방식을 활용
The Korean Question Answering Dataset
연속한 n 개의 단위를 하나로 묶은 것이다. 단위는 문맥에 따라 단어일 수도 문자일 수도 있다.
global vectors for word representation
huggingface: 토크나이저 요약