Zzong's Notes

Tokenizers(huggingface)

1 min read

Tokenizers(huggingface)

Related

References

링크된 언급

1
tokenization

...factoring 같은 단어는 re, factor, ing 와 같은 subword 로 나눌 수 있습니다. BPE, SentencePiece 등 B) Special Tokens Tokenizers(huggingface) 에서는 token 들을 종류별로 나눈다. bos token: 문장의 시작을 알리는 토큰 eos token: 문장의 끝을 알리는 토큰 unk token: out of vocab...