어제 NAI 디스코드 에테르룸 채팅방에서 어떤 급식 하나가 잘못된 루머 들고 와서 징징거리는 바람에 운영자 등판해서 이것 저것 썰 풀어놓음.

1. 에테르룸은 (출시 할 때에는) 로어북과 고급 설정 기능을 지원하지 않음. - 사실

에테르룸은 캐릭터를 간단하게 작성할 수 있고 채팅이라는 기능 하나에 특화될 수 있도록 개발되고 있기 때문에 로어북을 지원하지 않음. 당연히 사용자 요구가 많을 경우 넣는 것은 어렵지 않다고 함. 챈에 많이 올라오는 짧은 봇 정도의 규모를 작동시키는데 최적화 시킬 것으로 보임. 캐릭터 작성은 인스트럭션 입력 폼 하나에 다 해야 되는 것으로 보임. 그러니까 단어 토글로 토큰 조절하는 방식으로 방대한 로어북을 써넣는 식의 봇은 고려하지 않고 있는 것으로 보임.

Top K, Top A 같은 LLM 미세 조정 기능도 제공되지 않음. 

대신에 짧은 인스트럭션과 몇 가지 설정 스위치 만으로도 채팅이 잘 작동될 수 있도록 하는 것을 목표로 하고 있다고함.

감정이미지 기능은 이미 티저에서 확인 된 바 있음.

로어북과 고급 설정이 필요한 RPG나 어드벤처는 이제까지와 마찬가지로 NAI 스토리텔러나 실리태번을사용하라고 함. (딱히 나쁠 건 없을 듯?)

에테르룸은 NAI 스토리텔러와 마찬가지로 NSFW에 어떤 제한도 없을 것이라고 함.

2. 새로운 LLM 모델의 학습이 끝났음 - 가능성 높은 추정

운영자가 이야기를 하면서 의도적인지 실수인지 '서비스'가 아니라 '모델(the model)'을 테스트 하고 있다고 말함. 아마 이 정도면 거의 확실한 게 아닐까 싶음. 

한 2~3주 쯤 전부터 NAI의 접속장애 문제가 갑자기 해결이 되었는데 이건 서버를 더 사왔거나 뭔가 시스템 부하가 많이 걸리던 일이 갑자기 없어졌거나 둘 중 하나인데 아마 그 시점에 모델 학습이 끝났을 가능성도 있을 듯. 

운영자가 현 정액제 구독료 시스템으로는 12만 토큰 제미나이 프로나 20만 토큰 클로드3 같은 서비스는 (현 시점에서) 제공하기 어렵다고 말함. 여기서 새 모델의 성능을 추정할 수 있는 단서가 생기는데 일단 8천 토큰 케이라보다는 새 모델이 토큰 양이 무조건 더 클 수 밖에 없는데 10만 토큰 이상을 제공할 수 없다면 그럼 1만에서 10만 사이가 될 수 밖에 없음. 

여기서 딱 떠오르는 건 3만 토큰 미스트랄임. 작년에 LLMA2를 벤치마크 모델로 케이라를 만들었듯이 이 번에도 미스트랄을 성능 목표로 정해놓고 새로운 LLM을 만들었다고 추정할 수 있을 듯. 물론 돈 없다 돈 없다 하면서도 이제까지 토큰은 최대한 넉넉하게 퍼주던 NAI 답게 지원 토큰이 3만이 넘을 수도 있을 수 있다는건 내 희망회로.

미스트랄급 성능이 엔터테인먼트 용도로 최적화 되고 거기에 NAI 스토리텔러에 쓰이는 인스트럭션용 전용 문법이 작동하고 토큰은 몇 만개 준다고 하면 난 꽤 만족스러울 듯?