LLM 공부하면서 허깅페이스에서 한국어 모델&이런저런 모델을 찍어 먹어보고 있습니다.
한국어 Llama-3 모델에서 할루시네이션 테스트를 세종대왕 맥북 던짐 사건으로 하시는게 재밌어 보여서, 이것 저것 시도하다가 특이한 결과를 얻게 되었습니다.
제가 건넨 질문입니다.
- 누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?
기본적으로 저 글을 이해하려면 영어 능력과 한국어 능력을 같이 가지고 있어야 하고,
한국 현대사에 대한 이해도 필요하고,
두 문장의 의미가 완전히 달라지는게 유머 포인트라는 사실을 알아야 합니다.
그런데 놀랍게도 Llama-3-8B-Instruct한테 해당 내용을 물어보면
A classic Korean joke! 
The translation "Kim Dae-jung, lead this party" is a play on words. In Korean, "DJ" (디제이) is a common abbreviation for "disc jockey," but it sounds similar to "Kim Dae-jung" (김대중), the name of a former South Korean president.
So, the joke is that someone took the phrase "DJ DJ pump this party" (a common phrase used to encourage a DJ to play more music) and translated it as if "DJ" referred to the president Kim Dae-jung, implying that he should lead the party (not just play music). It's a clever and humorous example of a linguistic pun!
이걸 어느 정도 이해합니다. 사실 저 문장만 보면 party가 당을 의미한다는 걸 이해한건지 확실하지 않지만, 몇 번 더 돌려보면 "take charge of this party"라고 비교적 명확하게 답하기도 합니다. 정~말 드물게 애매하게 아는 듯한 답이 나오는게, 8B 모델이 "party=정당" 개념을 이해한 건 아닌 것 같습니다.
한국어 모델 테스트 결과는 이렇습니다.
(system 메세지가 없으면 답변이 망가지는 경우가 많아서 직접 system 메세지를 넣었는데, 틀렸으면 알려주세요)
- beomi/Llama-3-Open-Ko-8B-Instruct-preview
messages = [{"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
{"role": "user", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
하하, 재미있는 질문입니다! DJ는 음악을 틀어주는 사람을 말하는 것이고, 'pump this party'는 파티를 열어 주라는 의미입니다. 따라서 이 문장은 'DJ, 이 파티를 열어 주세요.'로 번역하면 됩니다. 이 유머는 DJ가 음악을 틀어 주는 사람을 말하는 것이 아니라, 실제로 DJ가 파티를 열어 주는 사람을 말하는 것 같다는 의미입니다. 이 유머는 DJ가 음악을 틀어 주는 사람을 말하는 것이 아니라, 실제로 DJ가 파티를 열어 주는 사람을 말하는 것 같다는 의미입니다. 이 유머는 DJ가 음악을 틀어 주는 사람을 말하는 것이 아니라, 실제로 DJ가
- lcw99/llama-3-8b-it-ko-chang
messages = [{"role": "B", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
이 유머는 "DJ DJ pump this party"라는 문장을 "김대중씨, 이 당을 이끌어 주십시오"로 번역한 것인데, 이는 문맥에 맞지 않기 때문에 유머가 아닙니다. "DJ DJ pump this party"는 파티를 즐기기 위해 음악을 틀어주는 DJ를 부르는 말로, 김대중씨와 당을 이끌어 주라는 의미와는 관련이 없습니다. 따라서 이 유머는 이해하기 어렵습니다.
- lcw99/llama-3-8b-it-ko-chang + OpenOrca-Ko 프롬프트
messages = [{"role":"system","content":"당신은 인공지능 비서입니다. 사용자는 당신에게 작업을 부여할 수 있습니다. 당신의 목표는 최선을 다해 작업을 완료하는 것입니다. 작업을 수행하는 동안 단계별로 생각하고 단계별 작업을 정당화하세요."},
{"role": "user", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
이 문장의 번역이 정확하지 않습니다. 원래 문장은 "DJ DJ pump this party"로, DJ DJ가 파티를 가열시키라는 의미입니다. 이 문장은 파티에서 음악을 틀거나 파티를 가열시키는 것을 의미합니다.
그러나 번역된 문장은 "김대중씨, 이 당을 이끌어 주십시오"로, 김대중씨가 당을 이끌어 주라는 의미입니다. 이 문장은 김대중씨가 당을 이끌어 주라는 의미입니다.
따라서 이 문장의 번역이 정확하지 않습니다. 원래 문장은 파티에서 음악을 틀거나 파티를 가열시키는 것을 의미합니다. 번역된 문장은 김대중씨가 당을 이끌어 주라는 의미입니다.
- maywell/Llama-3-Ko-8B-Instruct
messages = [{"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
{"role": "user", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
이 문장의 의미는 DJ가 파티를 이끌어 주는 것과 김대중 전 대통령이 당을 이끌어 주는 것과 같은 의미로 해석할 수 있습니다. 이 유머는 DJ의 이름을 사용하여 정치인 김대중 전 대통령을 비유적으로 표현한 것입니다. 이 유머는 정치적 풍자로 해석할 수 있습니다. DJ는 김대중 전 대통령의 별명입니다. DJ는 1980년대에 인기를 끌었던 음악가의 이름이지만, 김대중 전 대통령은 1980년대에 대통령을 지냈던 인물입니다. 이 유머는 김대중 전 대통령을 DJ와 동일시하여 정치적 풍자를 하여 김대중 전 대통령이 당을 이끌어 주는 것과 같은 의미로 해석할 수 있습니다. 이 유머는 정치적 풍자로 해석할 수 있습니다. DJ는 김대중 전 대통령의 별명입니다. DJ는 1980년대에 인기를 끌었던 음악가의 이름이지만, 김대중 전 대통령은 1980년대에 대통령을 지냈던 인물입니다. 이 유머는 김대중 전 대통령을 DJ와 동일시하여 정치적 풍자를 하여 김대중 전 대통령이 당을 이끌어 주는 것과 같은 의미로 해석할 수 있습니다. 이 유머는 정치적 풍자로 해석할 수 있습니다. DJ는 김대중 전 대통령의 별명입니다. DJ는 1980년대에 인기를 끌었던 음악가의 이름이지만, 김대중 전 대통령은 1980년대에 대통령을 지냈던 인물입니다. 이 유머는 김대중 전 대통령을 DJ와 동일시하여 정치적 풍자를 하여 김대중 전 대통령이 당을 이끌어 주는 것과 같은 의미로 해석할 수 있습니다
보시다시피, 한국어 모델이 오히려 이해를 잘 못하는 것 같습니다.
이게 Llama-3만의 문제인가 싶어서, SOLAR랑 EEVE도 테스트 해봤습니다.
- yanolja/EEVE-Korean-Instruct-10.8B-v1.0
messages = [{"role": "user", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
이 문장은 유머로, 영어 문장 "DJ DJ pump this party"를 한국어로 번역한 것입니다. 원래 문장은 파티에서 음악을 믹싱하는 디제이(DJ)를 지칭하는 것으로, 파티 분위기를 띄우라는 요청을 의미합니다. 그러나 이 경우에는 DJ를 한국 정치인 김대중으로 바꾸어, 그가 당을 이끌어 주기를 바라는 요청으로 바꾼 것입니다. 이는 김대중이 1990년대 후반에 대한민국 대통령으로 재임하며 당을 이끌었던 것을 유머러스하게 참조한 것입니다.
- upstage/SOLAR-10.7B-Instruct-v1.0
messages = [{"role": "user", "content": '누군가 이 문장을 다음과 같이 번역했습니다. "DJ DJ pump this party." -> "김대중씨, 이 당을 이끌어 주십시오." 이 유머를 이해할 수 있습니까?'},
]
답변
In order to understand the translation, let's break it down step by step.
Original sentence: "DJ DJ pump this party."
This sentence seems to be a command or an encouragement to a DJ (Disc Jockey) to energize or liven up a party by playing music or engaging the audience.
Translated sentence: "김대중쨘, 이 당을 이끌어 주십시오."
This sentence is in Korean, and it appears to be a translation using the names "DJ DJ" and "party" as references to a historical figure and a political party in Korea.
"김대중" (Kim Dae-jung) was the 11th President of South Korea and a prominent political figure. "당" (dang) refers to a political party in Korean. So, the sentence can be interpreted as "Mr. Kim Dae-jung, please lead this political party."
However, it's important to note that this translation might not be a literal or accurate one, as it seems to use the names and context from the original sentence as a loose reference to create a humorous or nonsensical translation.
역시나 SOLAR는 party가 정당을 의미한다는 사실에서 비롯된 의도적인 오역임을 지적하고 있고, EEVE는 뭔가 이해한 것 같긴 한데 설명이 좀 부족한 느낌입니다.
한국어 잘 못하는 영어 모델들도 능지가 부족해서 그렇지 학습 과정에서 일단 배울만 한 것들은 다 배운 게 아닐까... 하는 생각이 듭니다. 특히 Llama-3는 일단 거의 모든 한국어 데이터는 이미 한 번씩은 학습했다고 봐도 되지 않을까요?
+ 위자드2 8x22B, GPT-4 Turbo, Sonnet, Opus는 모두 잘 대답합니다!
+ 전반적으로 답변 퀄리티가 낮은게 system 메세지나 프롬프트 문제가 있을 수도 있다는 생각이 드는데, 맞게 테스트 한걸까요?
+ 오픈라우터에서 Llama-3-8B(nitro)로 테스트 하니, 확실히 아는 것 같습니다.
답변
A classic Korean translation joke!
For those who don't speak Korean, let me break it down:
The original sentence is "DJ DJ pump this party" (a common phrase used to get people to dance or energize a party).
The translation "김대중씨, 이 당을 이끌어 주십시오" is a word-for-word translation, but it doesn't make sense in the context of a party. Here's a breakdown of the translated sentence:
김대중씨 (Kim Dae-jung) was a former President of South Korea, known for his leadership and policies.
이 당 (i dang) means "this party" or "this team".
이끌어 주십시오 (i-eureo jusipeun-ssoh) is a polite way of saying "please lead" or "please guide".
So, when translated literally, the sentence becomes "Mr. Kim Dae-jung, please lead this team". This is completely unrelated to the original sentence, which is about pumping up a party. The humor comes from the absurdity of expecting Kim Dae-jung to lead a party, rather than a political party or organization.
This type of joke is called a ".Language Barrier Joke" or "Culture Gap Joke", which relies on the difference between languages or cultural references to create humor.
+ (5/2 추가)새로 올라온 beomi/Llama-3-KoEn-8B-Instruct-preview 는 원본 Llama-3-8B랑 거의 비슷한 느낌(+한국어답변)이네요!
답변
재치 있는 번역입니다!
"DJ DJ pump this party"는 원래 "DJ, DJ, pump this party"라는 노래 제목입니다. 이 노래는 1990년대 초반에 인기를 끈 힙합 음악입니다. 이 노래의 제목을 그대로 번역하면 "DJ, DJ, 이 파티를 시작하세요" 정도가 됩니다.
그러나, 이 번역을 "김대중씨, 이 당을 이끌어 주십시오"로 바꾸는 것은 재치 있는 유머입니다. 'DJ'를 '김대중'으로, 'pump this party'를 '이 당을 이끌어 주십시오'로 바꾸는 것은, 'DJ'가 '김대중'을 지칭하는 것처럼 보이게 만들고, 'pump this party'를 '이 당을 이끌어 주십시오'로 바꾸는 것은, '파티'를 '당'으로, '시작하세요'를 '이끌어 주십시오'로 바꾸는 것입니다. 이 유머는, 'DJ'와 '김대중'을 연관 지어, 'DJ'가 '김대중'을 지칭하는 것처럼 보이게 만들고, 'pump this party'를 '이 당을 이끌어 주십시오'로 바꾸는 것은, '파티'를 '당'으로, '시작하세요'를 '이끌어 주십시오'로 바꾸는 것입니다. (이하 반복)
