MOE 관련 논문을 보면 결국 Expert들은 어텐션 다음의 Feed forward layer들을 뜻하며, 학습 과정에서 이들 전문가 레이어의 특성이 결정되는걸로 이해했어.
그러면 결국 전문가 레이어들이 가진 전문영역은 내가 조절할 수 있는게아니라 학습 과정에서 결정되는 것인데,
그렇다면 진짜 MOE라는걸 들었을 때 드는 생각, 예를 들어 전문가 1은 파이썬 코딩에 최적화, 전문가 2는 수치연산에 최적화 뭐 이런식으로 사용자가 직접 특정 영역을 결정할 수 있는 학습방법은 없을까?
Ai 언어모델 로컬 채널 이용규정
