AirLLM 이라고 하는데 예전에 애플에서 논문으로 낸거랑 비슷한 컨셉인거 같네요.

SSD 상태에서 필요한 레이어만 GPU 로 로딩해서 돌린다고 함.

이게 말이되 뻥커인줄 알고 봤는데 소스코드도 오픈되어 있음.

가장 최근 업데이트가 llama3 70B 를 싱글 GPU 4GB VRAM 에서 작동시켰다고 나옴.

심지어 양자화도 필요없다고 함.. ㅎㄷㄷ

이거 혁명인가? 특이점인가? 아니면 사기인가?

오늘 한번 테스트 해봐야겠네요.

진짜라면 혁명인뎅?

설마 이거때메 엔비디아 주가 개박살 난건 아니겠졍?

https://github.com/lyogavin/Anima/tree/main/air_llm#supported-models