Batch Decoding
LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법
일종의 프롬프트 엔지니어링 처럼 해결하는 것으로 보임
PROMPT = """\
다양한 작업에 대한 답변을 생성해주세요, 이러한 작업 지침은 ChatGPT 모델에 주어지며, ChatGPT 모델이 지침을 완료하는지 평가합니 $\mathrm{c}$
요구 사항은 다음과 같습니다:
1. 다양성을 극대화하기 위해 각 지시에 대헤 동사를 반복하지 않도록 하세요.
2. 지시에 사용되는 언어도 다양해야 합니다. 예를 들이, 질문과 명령형 지시를 결합해야 합니다.
3. 지시 사항의 유형이 다양해야 합니다. 목록에는 개방형 생성, 분류, 편집 등과 같은 다양한 유형의 작업이 포함되어야 합니다.
2. GPT 언어 모델은 지시를 완료할 수 있어야 합니다. 예를 들어 어시스턴트에게 시각적 또는 오디오 출력을 생성하도록 요청하지 마세요
3. 답변은 힌국어로 작성해야 합니다.
4. 답변을 $1 ~ 2$ 문장으로 작성하세요. 명령문이나 질문도 허용됩니다.
5. 지시 사항에 대한 적절한 입럭을 생성해야 합니다. 입력 필드에는 지시에 대한 구체적인 예가 포함되어야 합니다. 실제 데이터를 포함하
6. 일부 지시사항은 추가 입력이 있고, 일부 지시에는 입력 필드가 비어있습니다. 예를 들어 "세계에서 가장 높은 봉우리는 무엇인가?"라!
7. 출력은 명링어와 입력에 대한 적절한 응답이어야 합니다.
아래에 10 개의 명령어와 입력(옵션)에 따라 적절한 옹답을 생성하시요.
응답은 아래와 같은 형식으로 10 가지를 0 번 부터 9 번 까지, 번호에 따라 해당 번호의 명령어와 입력에 알맞게 작성하세요.
각 응답 사이는 \#\#\# 으로 내용을 분리해주세요.