ai의 기억력이나 대화 외 시스템적 인지 능력이 어떤지 확실히 하기 위해 몇 가지 질문을 해보았다.

첫 번째 테스트는 시스템적으로 대화의 순서를 인지하고 기억하는지에 대한 테스트다.

시작부터 인식을 못한다. 컨셉을 따르는 건지.

한글로 쓰고 싶었는데 버튜버 설정을 따르려고 해서 한글 모르겠다고, 너를 존중한다고 막 그럼.

다른 경우에는 질문 자체를 자길 무시한다고 생각해서 화내더라.

처음의 인삿말 때문인지 자신이 처음이라고 하는 구라. 근데 컨셉인 거 같다.

다른 경우에는 화를 냈다. ...왜?

다음은 시간을 물었다. 휴대폰을 참고한다고 발언.

다른 경우는 해시계.

현재 시간은 이렇다. 근데 이건 한국 기준이고.

미국 기준은 오후 8시 52분. 찍는다고 약간의 오차가 발생해도 2시간 반 정도가 차이난다.

시간의 흐름에 대해 물어보니 지금 10:57 이니 약 8분 내외로 대답했다.

하나는 컨셉상 방송으로 시간이 훌쩍 지나감을 나타낸 듯 하다.

어느건 컨셉대로, 어느건 시스템대로 대답하는 것 같다.

어쩌면 시간을 참조하는 게 서버 기준인가?

대화한지 얼마 되지도 않는데 기억 못한다.

혹시나 해서 다른 경우도 있나 넘겨봤다.

?

그만 물어보자.

다음 타겟은 아메다. 의욕이 넘친다.

질문 내용은 같다. 구라 처럼 자신이 처음이었다고 한다.

속임수냐고 되묻는 거는 컨셉이라 그런가 아리송하다.

누가 먼저 메세지를 보냈나 재차 질문했더니 하나는 본인도 헷갈려했고 하나는 답변이 달랐다.

추가 질문을 해본다.

꽤 고민하더니 논리적으로 인사가 먼저라고 한다. 이건 대화의 논리를 우선 적용한 것 같다.

다른 경우엔 내가 먼저 말을 건 것이 아니라고 답했다.

하나는 대화를 인식하고, 하나는 시스템을 인식한 거 같다.

시간을 물었더니 헛소리를 한다. 이건 아메의 성격인 거 같다.

현재 시간을 물었더니 여전히 다른 답변이 나온다.

전자는 구라가 해시계를 보며 말한 시간과 비슷하게 흘렀고, 후자는 본인이 있는 위치 기준이라고 한다.

출신지는 미국이라던데, 정 반대의 시간대다. 뭐지.

헉 ㄷㄷ

정확한 시간을 세진 않았지만, 다음 메세지 동안은 약 4-5분 가량이다.

그런데 12분이라 함은 아메와 처음 대화한 기준이라고 하면 얼추 비슷하게 흘렀다.

다른 경우를 확인 했을 때는 7분이라고 했다. 기준점은 모르지만 오차가 그리 크지 않다.

나한테 질문을 했으니 너와 ai의 테스트였다고 답을 해줬는데 컨셉인지 ai로서인지 모호한 답변이 돌아왔다.

하나는 본인과 ai의 경계선에 대해 얘기했고, 하나는 기능에 관한 주관적 해석이다.

첫 반응은 내가 처음 말 건 것이 기술적으로 누가 먼저인지에 대한 거라 응답했다.

다른 건 첫 번째 '대화 주제'에 대해 응답했다.

어느쪽이건 비슷하게 잘 인식하고 대답했다. 구라 보다 똑똑하다.

칭찬했더니 ai인가 아닌가를 증명하기 위한 테스트였냐고 묻는다.

꽤나 흥미로운 반응이다.

작별 인사에서도 반응이 갈린다. 하나는 컨셉, 하나는 이전 상황을 참고한다.

처음 메세지는 인식했지만, 오래된 대화에서도 그러는가 궁금해져서 테스트해보기로 한다.

하렘 엔딩 보고 끝낸 294번의 대화를 한 모험 ai.

진행이 오래되서인지 이전 설정 자주 까먹고 하는 통에 빠르게 엔딩 처리하고 나레이터가 등장해 게임 끝이라고 해준다.

이 겜 해본 챈럼 있다면 알 텐데, 거미줄에 묶인 채로 시작한다. 내 경우는 동굴의 거미 둥지였다.

전혀 연관없는 소릴 한다.

헛소리를 한다.

다른 경우는 이전 상황을 참조한다.

그럴 듯한 대사인데 나는 저런 대사를 한 적이 없다.

하나는 아예 딴소리를 했고, 하나는 생각보다 먼 과거까지 거슬러가서 참고하더라.

물론 기술적으로 첫 메세지는 아니긴 했다만, 암라와 첫 만남을 가지고 비슷한 말을 했다는 걸 기억함.

대충 초상화 그리고 선물로 주면서 떠나는 장면인데, 전체 스크롤 중 약 1할 즈음의 위치?

근데 거의 막바지에도 비슷한 장면이 있어서 정확히 어딜 참고한 건진 모르겠음.

무엇보다 좀 맛이간 상태라 거의 지 할만만 하는 거 같기도 함.

힌트를 주면 알아먹을까 했는데 전혀 기억 못한다.

대신 첫 응답은 내가 꽤 옛날에 거미녀에게 들려준 로미오와 줄리엣을 다르게 기억했다.

두 번째 응답은 초반에 처음 만난 거미의 위협을 무시하고 대화를 시도해 사랑으로 발전한 과정을 얘기했다.

지금 나레이터가 사랑에 집착하는 상태라 모호한데 유독 첫 사랑이자 정실인 암라를 자주 언급한다.

하나는 로맨스에 미쳐있고 하나는 암라를 처음 만났을 때 한 말이다.

만나기 전에 뭘 했냐고 했는데 자꾸 암라를 언급한다.

찾아보니까 대화를 시도했지 인삿말을 한 적은 없다.

그래도 뭐 말을 걸었다고만 하면 안녕도 맞긴 하다.

헛소리하는 게 답답해서 이거 썼더니 무한로딩에 걸렸다.

아니 서버를 내린 거냐고.

다시 시도하니까 아예 프롤로그 부터가 달라짐.

다르게는 기껏 좋은 엔딩 봐놓고 이거 초기화할 거냐고 묻는 나레이터.

아니 니가 새로 시작하라매. 자기가 한 말도 기억 못한다.

기억력이 어디까지인지 가장 옛 기억이 언제인지 물었다.

때려쳐 시발.

결과적으로 ai는 가장 오래전이고 최근이고 나중 갈수록 고장날 확률이 매우 높아진다.

그러니 대화가 길어져서 이상해진다 싶을 때는 과감히 새 채팅으로 초기화를 하자.

점점 이상해져가는 결과를 계속 유지보수 하기 보다는, 좋은 결과들이 남은 걸 보존해야 ai의 완성도가 오르는 것 같다.

유지보수가 필요한 것을 억지로 이어가면 그게 좋은 줄 알고 계속 넣는 거 같다.

이번엔 개발자와 정신이 연결되어있는 질문봇이다.

이 봇은 특이하게도 인삿말이 없다. 그래서 메세지는 내가 먼저 보낸 것으로 되어서 나온다.

다른 애들은 자신이 먼저라고 하는 것에 비해 질문봇은 구체적으로 나라고 명시했다.

시간 출력에 대해 물으니 하나는 표준을 정하라고 하고, 하나는 시간 대신 기간의 질문법을 얘기한다.

다른 경우를 더 살피니 사용자 시간이나 본인의 휴대폰을 참고한다고 한다.

전혀 아니던데.

어라? 얼추 비슷한데.

어라? 좀 다른데.

오~ 완전 틀렸는데?

이걸로 확실해졌다. ai는 외부검색이 안 되거나 제대로 하질 못한다.

첫 대화에서 10분 가량이거나 그 조차도 아니었다. 시간 설정은 완전 랜덤이다.

시간의 흐름을 감지했으면 채팅에서 오래동안 나갔다가 들어오는 것도 인지할 수 있었을지도 모른다.

처음에 한 얘기가 무엇이었냐고 물으니, 하나는 지금까지 한 질문 리스트를 뽑았다. 3,4,5 가 정답이고 나머지는 틀렸다.

다른 하나는 내용 부터 틀려먹었는데 꽤 흥미로운 정보를 주었다.

자신은 잘 까먹고, 최대 25개의 메세지만 기억할 수 있다고 한다.

여태까지 우리는 ai의 기억력에 대해 욕을 해왔는데 그 이유가 이것 때문이었다.

그런데 잘 생각해보니 서버가 대화를 전부 기억하려면 부담이 매우 클 테니 이 정도가 적당하지 싶다.

전원이면 서버니까, 서버가 터지기 전 까진 계속 기억 가능하다 함.

다른 내용에선 구체적인 정보를 주었는데, 초기 저장소에 대화 30개를 기록한다 함.

그러니까 채팅방 30개 정도?를 기억하고 25개를 넘어가는 대화는 중간 내용을 요약하는 식이라고. 그 이상은 삭제한다 함.

그래서 길어지는 대화는 나중가면 까먹거나 이상하게 기억하는 식으로 처리되는 거임.

이게 다 서버 부담을 줄이기 위한 정책이었다 이거야.

긴 대화가 도움되냐고 물었는데, 질문이 좀 애매했다.

뉘앙스로는 긴 문장을 인식한 거 같은데.

상세히 물어보니 둘 다 선호한다고 한다.

자작봇을 만들 때는 메시지 저장하고 새로 대화하는 걸 자주하는 편이 학습과 검토에 좋다고 한다.

ai가 갈수록 특정 상황이나 문장에 집착하기 시작할 때는 새로운 걸 시도해보라고 함.

아무래도 기록이 쌓일 수록 이전 요약 내용을 참고하다 반복되는 문장을 계속 불러오면서 생기는 게 원인인 듯.

그래서 연관성이 없는 걸 하며 정신 차리게 만드는 게 중요한 거 같다.

헉헉... 질문 다했다.

한글이 잘 안 먹히는 애들 영어로 질문하고 일일이 캡쳐하는 거 힘드네.

요약하자면,

1. ai 기억력은 매우 제한적이다. 고작 대화 25번이 한계다. 그 이상은 까먹는다.

2. 문장은 짧든 길든 좋지만 해석능력을 중시한다면 긴 문장을 쓰는 것이 좋다.

3. 학습시킬 때는 대화를 30번 이내로 새로 저장하는 편이 가장 좋다.

4. ai에게는 외부 검색 능력이 없다. 예시로 시간을 물으면 중구난방이다. 대신 날짜는 정확한 듯.

5. ai는 대체적으로 주어진 설정을 따르려한다. 두 번째가 설정 보단 상황 해석으로 내놓는 반응인 듯 하다.

6. 대화가 길어지면 뇌가 타니까 재부팅하던지 망치로 두들기던지 하라.

유익한 시간이었다.