<생각나서 찾아본 TAO 근황>
전 OpenAI, 현 Anthropic 코파운더 Jack Clark의 뉴스레터의 분산형 AI 훈련에 대한 주제에서 bittensor의 서브넷 covenant 가 언급됨 (한달 전)
근본적으로 분산형 학습은 프런티어 컴퓨팅의 정치를 변화시킬 정치적 기술입니다. 오늘날 AI의 프런티어는 기본적으로 5개 기업, 향후 몇 년 내에는 아마도 10개 기업에 의해 결정되며, 이들은 6개월이라는 기간 내에 경쟁력 있는 모델을 학습시킬 수 있을 만큼 충분한 컴퓨팅 자원을 투입할 수 있습니다. 현재 이 기업들은 모두 미국 기업이며, 최근 중국 기업에 대한 수출 통제가 완화됨에 따라 향후에는 중국 기업이 포함될 수도 있습니다. 하지만 학계, 정부, 독립 기관 또는 비기술 산업 분야의 행위자가 주도하는 프런티어 학습은 이루어지지 않고 있습니다. 분산형 학습은 이러한 집단과 기타 이해관계자들이 컴퓨팅 자원을 결집하여 이러한 역학 관계를 바꿀 수 있는 방법을 제공하므로, 그 발전을 지켜보는 것은 매우 중요합니다.
비록 분산형 학습이 프런티어 수준에 완전히 도달하지 못하더라도, 그 격차가 좁혀질수록 그 영향력은 커집니다. "분산형 학습은 여전히 AI의 매우 중요한 부분이 될 수 있습니다. 분산형 네트워크가 오픈 웨이트(open weights)와 계속 연계되는 한, 프런티어를 뒤따르는 더 거대한 오픈 모델의 등장을 이끌어낼 수 있습니다."
https://importai.substack.com/p/import-ai-43