블록체인처럼 메인 서버 없이 서로 노드화 되서 통신하면서 하나의 슈퍼컴퓨터가 되는 개념인데 찾아보니까 연구중인게 있긴하더라. Federated Learning이라고 있고 알트코인 프로젝트로도 하나 있긴하던데 딱히 아직까진 상용화 단계는 아닌거 같아. 다만 gpu  독점화랑 대규모 ai 모델은 개인 컴퓨터로 받을 수 없으니 초인공지능이 나오면 일반인들은 돈을 지불하면서 일부 기능만 제공받을꺼고 재성능은 공룡기업들이 독점하면서 기술 격차 심화가 될꺼 같아서 이런거 비영리로 프로젝트를 하고싶어. 코인발행 이딴거 말고 순수하게

하지만 난 존나게 지식이 없지.... ai도 걸음마 수준이여

나도 개념은 헷갈리는게 모델 전체를 개인에게 보낸다음 트레이닝 시켜서 그 가중치를 다시 중앙서버에서 평균값으로 찾는 방식이 있는 중앙서버 방식이고 하나의 아예 중앙서버 개념이 없이 p2p 노드 역활을 해주는식으로 해서 ai 서버를 구축하는 개념이 있긴 하더라구 그게 탈중앙화서버 방식이라고 들음. 연구 중이지만 문제점들이 우선 노드로서 역할을 수행하는 개인이 피어 통신을 안해주면 노드가 손실되서 다른 사람이 그걸 충당해줘야하는 문제로서 가중치가 제대로 전달이 안되는 문제, 고의적인 데이터 트롤짓을 해서 가중치 엉망으로 하는 등 문제점들이 있다곤 들어봄

federated 가 아닌가벼..  이거 링크인데 보고 판단해줘 탈중앙화 방식의 ai 서버 구축이 아예 불가능한건 아닌게 구글에서 연구는 하고 있었다곤 들었지만 문제점들이 많아서 아직도 연구중이다 정도..?https://medium.com/curg/%EC%97%B0%ED%95%A9-%ED%95%99%EC%8A%B5-federated-learning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%B1%8C%EB%A6%B0%EC%A7%80-b5c481bd94b7  보면 챌린지 문구에서 완전 탈중앙화 학습을 목표로 하고 있지만 아래와 같은 문제점들 떄문에 상용화가 못되는거 같아

비슷하게 여러 노드들로 블록체인으로 개인의 컴퓨터들로 ai 서버를 실현하겠다고 만든 프로젝트 코인도 있긴하던데 https://www.golem.network/ 이런 프로젝트

물론 npu 기반 cpu 랑 머 텐스토렌트의 짐켈러의 역작이 나와서 엔비디아와의 라이벌 구도로 가격이 낮아진다거나

현재는 가중치에 대해서 부동소수나 정수 대신 1bit로 1,0,-1로서 작업하는 식으로 llm을 추론뿐 아니라 훈련까지 가능하단 논문은 있던데 우선 가장 현실적인게 1bit 기법인데 논문은 나왔고 오픈소스화 된다고 하니까 기대는 됨. 이론상 현재 ai 모델이 FP16이 대중적인데 이론상 16배 메모리가 줄어드는거니까 속도도 더 빨라지고

npu는 주로 추론을 위한 기술이 많고 훈련용 반도체로선 내가 반년전 기사로 읽어보니까 트레이닝 워크플로우나 코드들이 부족해서 간단한 행렬연산 수준을 대체해준다곤 들었음.(애초에 npu 는 반도체 트랜지스터 자체가 layer이고 노드란 개념이니 물리적 코딩?느낌으로 제어가 힘들긴하겠다만)