https://huggingface.co/blog/wolfram/llm-comparison-test-llama-3

https://www.reddit.com/r/LocalLLaMA/comments/1cal17l/llm_comparisontest_llama_3_instruct_70b_8b/

1차 점수 = 객관식 문제 정답 (커리큘럼 정보 제공 후)

2차 점수 = 객관식 문제에 대한 정답(사전에 커리큘럼 정보를 제공하지 않음)

OK = 모든 데이터 입력을 일관되게 "OK"로 승인하라는 지침을 따랐습니다.

+/- = 지침에 따라 한 글자 또는 한 글자 이상으로 답변하십시오(더 이상 테스트되지 않음).

특징

- Q2_K 양자화 70b도 여전히 양자화 되지 않은 8b보다는 나음

- 70b를 1비트 양자화하면 8b한테 추월당함