Zzong's Notes

sentence transformers

1 min read

Sentence Transformers

Code Reivew

Encoding

문장이 배치로 주어지면, 문장 길이가 가장 짧은 순서대로 문장을 정렬해서 배치로 가져온다.

length_sorted_idx = np.argsort([-self._text_length(sen) for sen in sentences])
sentences_sorted = [sentences[idx] for idx in length_sorted_idx]

References

링크된 언급

2
Pororo

Pororo 카카오 브레인에서 만든 자연어 처리 모델 SentenceFactory sentence transformers 라이브러리 사용 한국어 모델의 경우 brainsbert.base.ko.kornli.korsts 를 사용중임 brainsbert 의 경우 사용가능한 모델은 RoBERTa 밖에 없...

Retrieval

...on이 그대로 posting list와 연결되기 때문에 Active Dimensions와 index size를 같이 봐야 한다. Dense retrieval은 DPR에서 출발해 sentence transformers, m3 embedding, Qwen3 Embedding, LLM2Vec, Gemini Embedding Generalizable Embeddings from Gemini 같은 ...