일관성, 사용자 경험 변동 최소화 같은 이상적인 얘기하는거 보니 gpt 그리 많이 안 써봤다는건 알겠네

아니 당장 오픈라우터 위자드만 써봐도 이게 실제로 적용 가능하다는거 알텐데 왜 이론적인 얘기만 하는지 모르겠네. 서빙 영역을 아예 모르나?

아니 그냥 대충 배우고 찍먹만 하는 타입인가보구나. 그러면 이해 못 할수도 있지

더닝 크루거 효과라는건 딱 너를 위한 표현 같다

내가 아는 ai 모델 개발 프로세스 ㅋㅋㅋㅋ 좀 웃겼다

도대체 뭐 때문에 불가능하다고 생각하는건지 좀 제대로 된 근거나 얘기했으면 좋겠네

아니 혹시 LLM 다뤄본적 없는거 아니냐? 뭔가 글하고 댓글 쭉 읽어보니 그런 느낌이 나는데. 전부 하는 얘기가 LLM 외적인 일반적인 AI 모델에서나 나올법한 얘기들인데

아니 글 읽다보니 또 웃기네. 모델 바꿔끼기로 품질저하되는 얘기하고 있는데 그건 좆병신같은 소리라고 얘기하면서, 검열강화로 지능 떨어져서 품질저하 일어나는건 또 문제 없다는 식으로 얘기하는거냐? 일단 검열 강화와 지능 저하 얘기는 챈에도 올라온 적 있으니 링크는 달아둠. https://arca.live/b/characterai/105828934

뭔가 하는 얘기 하나하나가 문외한이라는 느낌밖에 안 들어

내 얘기는 이거임. 저성능 고속 모델을 고려한 로드 밸런싱은 가능하며 실제로 적용하는 기업이 이미 있고, openAI가 소송을 걱정할만한 새끼들이라기에는 데이터 이슈 때문에라도 이미 소송 존나 당하는 상황이고, GPT의 일관적이지 못한 성능에 대한 얘기는 챗챈에서만 나오는 얘기가 아니라 해외에서도 예전부터 종종 이슈가 되고 있음. 참고로 눅눅함이라는 현상이 본격적으로 언급되기 시작한건 23년 12월 ~ 24년 1월부터고, 그 전에는 모델을 출시하기 전에 잠깐 정도 성능이 저하된다는 식으로 언급됐었음

저 unofficial 사이트 가지고 보는건 나도 처음 봤을때 좀 웃기긴 했고 30분 단위로 속도 체크하는거로 뭘 얘기하는게 말이 되나 싶긴 한데, 모델 소스도 파라미터도 공개 안 하고 유저가 접근 가능한건 API랑 chatGPT 서비스 뿐인데 만약 openAI가 대놓고 사기를 치는 상황이라고 했을때 인정될수 있는 오피셜한 증거라는게 어떤 형태일지를 좀 설명해봤으면 좋겠음

씨발 gpt 결과물이 존나 일관되게 나왔으면 아무도 눅눅함 그딴 소리 안해 좆같은 새끼야

일관성 표현 씨발 곱씹어볼수록 개좆같네. 답변 리롤을 왜 하는지는 아냐?

아니 씨발 양자화나 그런 얘기 다 좆까고 동일한 LLM을 써도 항상 일관된 퀄리티를 보장할수 없는데 뭔 씨발 좆소형 AI 모델에서나 쳐써먹을 일관성 얘기를 하고 있어??

이슈 변수 난장판 씨발 표현 쓰는거만 봐도 얼마나 가볍게 생각하는지를 알겠다

내가 왜 계속 양자화 얘기 하고 있는지는 아냐? LLM 써본 새끼들 입장에서 퀄리티랑 속도 얘기하면 가장 먼저 튀어나올만한 기본적인 얘기인데 니 글에는 그 표현이 단 한번도 안 튀어나오고 있어. 그리고 이제 와서 로드 밸런싱이 힘들다는 개좆같은 댓글이나 달고 있고. 니 생각엔 존나 초거대규모로 해먹는 상황에서 로드 밸런싱 문제 대응하는게 그냥 성능저하 없는 모델 그대로 서빙하는거보다 힘들거 같냐?

씨발 생각할수록 화가 뻗쳐서 잠도 안 오네. 딱 봐도 LLM 본격적으로 건드려본적 없고 찍먹만 해본 새끼가 4o 나왔다는 소식 듣고 기웃거리다가 개소리나 찍 싸고 있는게. gpt 클로드 api에 수십만원 수백만원 태워본 새끼들이 체감하는게 눅눅함인데 그걸 못 믿겠다고 하면 니가 눅눅함이 없다는 증거를 가져와야 하는거 아니냐? 24시간동안 터보로 쭉 벤치마크 돌리면서 시간당 토큰수와 벤치마크 점수 관련성이 없다는거 근거 뽑아서 가져와라 좆같은 새끼야

서빙 영역에서 뭔 짓거리를 해야 되든 GPT 자체 돌리는거에 비해 좆도 아닌 노력과 연산량으로 커버 가능한데 그게 뭐가 대수라고 지랄인지 모르겠네. 난장판 해결하고 변수 확인하고 이슈 다 처리하는게 존나 아무 문제 없이 충분히 가능함

뭔가 얘기를 정리하다보니 대강 감이 잡히네. 너는 아마도 생성보다는 인식 도메인의 AI모델을 다루는 대학원 석사 학생이거나 AI 관련 분야의 회사의 신입 사원, 또는 그냥 취미로 AI를 공부한 사람이라고 판단된다. 니가 한 말을 인식 모델을 기준으로 생각한 것이라면 말이 되는게 서로 다른 버전의 인식 모델을 아무렇게나 갈아끼우고 모델을 라이브로 변경하면서 서비스를 하면 존나 말도 안 되는 일이 벌어질 것이 확실하기 때문이다. 인식 모델은 일관성이 존나게 존나 중요하며 차라리 잘못 인식하는건 일관되게 잘못 인식하는게 모델 활용 관점에서 나을수도 있다.

그럼에도 불구하고 그 인식 모델의 논리는 생성 모델에는 적용되지 않는게, 트랜스포머 기반 토큰 예측 모델, diffusion 등을 고려한 노이즈 예측 모델은 기본적으로 랜덤성을 고려해서 사용하는 것이 일반적이기 때문이다. 물론 LLM은 온도나 페널티를 조절하는 방식으로 랜덤성을 줄일 수 있고, diffusion도 noise 자체를 inversion하는 등으로 랜덤성을 컨트롤할 수 있지만 보편적인 사용 방식이라고 하기는 힘들다. 생성 모델을 서비스에 도입하는 경우 그 랜덤성을 고려해야 하는 것이 필수적이다. 반대로, 랜덤성이 고려되고 있기 때문에 모델을 제공하는 기업이 모델을 라이브로 변경하는 경우가 있다고 하더라도 그 모델을 사용하는 입장에서 성능 변경에 대응할 수 있다. 일반적인 자동화 관점에서 활용한다면 시간에 따라 오류율이 요동치는 정도로만 보이겠지. 

생성 모델에 랜덤성이 있으면 그로 인한 샘플링 착시로 집단 환각이 일어나서 눅눅함 현상이 존재하는거라 착각하는거 아니냐는 의견이 나올수 있지만, 눅눅함은 노이즈보다는 바이어스에 가까운 현상이다. 상당수의 유저가 일관되게 낮은 성능을 언급하고, 리롤을 아무리 굴려도 낮은 퀄리티의 답변이 나오며, 심지어 눅눅하다고 부르는 상황에서 고정적으로 나타나는 대표적인 현상들 또한 존재한다. 참고로 저 30분 단위로 속도 체크하는 사이트 기준으로 들쑥날쑥한 신호 노이즈에 가까운 속도 변화가 있는걸 기준으로 판단하기보단 몇시간 이상 단위로 낮은 속도 또는 높은 속도가 반복되는 경우가 확실하게 바삭한 경우와 눅눅한 경우를 가리킨다. 이전 문단에서 말한것과 유사하게 이 현상은 자동화 관점에서는 오류율 변화로만 보여서 알아차리기 어렵고, 그냥 하루종일 주구장창 채팅을 붙잡고 있는 사람들이나 알아차릴수 있다. 그건 모든 데이터를 전부 직접 눈으로 보고 라벨링하는거나 다름없기 때문이다.

그리고 최근 로컬 모델의 발달과 함께 오픈라우터 사용이 유행하면서 심증만 있던 모델 라이브 변경과 유사한 현상을 직접적으로 체험할 수 있게 됐다. 오픈라우터는 모델 프로바이더를 자동으로 변경하는걸 기본 설정으로 두는데, 프로바이더별로 모델 설정에 여러가지 차이가 있기 때문에 성능이 다르고 속도가 다르고 심지어 가격도 다른 모델을 오픈라우터의 편의대로 바꾸는 현상이 나타난다. 본인들이 직접 운영하지 않는 남의 모델을 마음대로 갈아끼우면서 api로 서비스하는게 가능하고 그런 기업이 이미 있다는 의미이다. 물론 openAI가 이 행위를 하고 있는지 확인하기 위해서는 위에 말한대로 장시간 동안 동일한 task를 수행하면서 답변을 기록하고 그 퀄리티 변화가 나타나는지 확인하는 방법이 있다. 모델 변경 패턴을 파악할 수 없기 때문에 24시간 지속 추적이 맞을지 수개월 규모로 일정 샘플링 시간대별로 확인하는 식으로 장기 추적하는게 나을지 등은 실험을 해봐야 확인이 가능할테고. 의혹을 검증하기 위해 그 과정에서 소모되는 비용을 감당할 집단이 있을지도 모르겠지만.

또한 너가 소속된 집단은 현재 트렌드에 약간 뒤쳐져 있을 가능성이 있는데, 인식쪽 최근 트렌드는 구형 인식 모델을 계속 재활용하기보다는 멀티모달 모델을 활용하는 쪽으로 선회하고 있기 때문이다. 이는 분야 특성으로 연산량이 제한돼서 그럴수도 있고, 아니면 그냥 진짜로 유행에 뒤쳐진 정도일수도 있다. 일반적으로 이런 모델은 LLM의 변형 또는 결합형 모델인 경우가 많기 때문에 LLM이 아닌 구형 인식 모델을 다루는 관점에서 GPT의 이상이라고 추정되는 현상을 평가할리가 없다.

요약하면, 인식 모델 관점에서 생성 모델의 서빙을 평가하다보니 말도 안 되고 이상하다고 생각하는거고, 생성 모델을 제대로 다뤄봤으면 확신하지는 않을지언정 그럴 가능성이 있다고 판단할 여지가 충분하다.

아 그리고 생성 모델에 대한 AI 모델 개발 프로세스는 인식 모델과 완전히 다르니 니가 잘못 아는게 맞음