LongLoRA에서 파인 튜닝할 때, 기존 포지션 임베딩 방식을 position interpolation 기법이 쓰였다는 논문을 봤습니다.
그런데 LongLoRA로 파인 튜닝한 후 추론할 때, 포지션 임베딩이 position interpolation로 변경된 형태로 추론되는 건가요?
구독자 3404명
알림수신 168명
제한없는 언어모델을 위한 채널
일반
LongLoRA에서 position interpolation
추천
0
비추천
1
댓글
2
조회수
371
작성일
댓글
[2]
글쓰기
maywell
ㅇㅇ (210.110)
삭제
수정
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28566350
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6011
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27108
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8913
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5107
공지
신문고
2255
숨겨진 공지 펼치기(1개)
4182
일반
GPT-4o는 GPT-4에 비해 한국어 생성 속도가 3.4배 빨라졌다.
[2]
934
6
4181
일반
언젠가는 gpt4o 같은 걸 로컬에서 돌릴날이 올까요?
[6]
935
6
4180
질문
[뉴비주의] 말뭉치 데이터를 학습하려면..?
[1]
401
0
4179
일반
이번에 공개된 gpt-4o의 성능 벤치마크인데 drop은 왜 떨어진거려나요
[9]
840
1
4178
일반
GPT4o 플랫폼에 공개됐군요
[5]
844
2
4177
일반
Gemma 토크나이저 확장 관련 임베딩 초기화 방식 ㅠㅠ
[2]
298
0
4176
질문
Llama3 8B 튜닝 과정인데 외계어문제.. ㅠㅠ
[16]
718
-1
4175
일반
llm 한국어 학습할 때 데이터에 관하여 궁금증
270
0
4174
일반
chatGPT4O 요약
[2]
1181
5
4173
일반
aka Llama-3 70B 한국어
[7]
1737
15
4172
질문
안녕하세요 Llama3 8B 튜닝 뉴비 좀 도와주십시오 ㅠ
[9]
615
0
4171
일반
llama3 8B (fp16) 70B (Q6_K) 돌려봤음
[9]
699
2
4170
일반
앞으로 3090 보기는 다시 쉬워지겠네요
[5]
943
1
4169
질문
vllm 이 동시 사용시 빠른 이유가 궁금합니다.
[6]
504
0
4168
학습
llama 2 train 성공 및 의문점 + llama 3 예정
[2]
541
5
4167
일반
sLLM instruction tuning 데이터
[2]
410
1
4166
일반
일본에서 자체적으로 구운 13B 모델
[8]
787
7
4165
스터디
매니폴드 가설 - 생성형AI 의 원리를 이해하기 위한 핵심 전제
[7]
1432
50
4164
일반
무한 어텐션을 활용한 10M 컨텍스트 Gemma
345
4
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.