dlabオープンソース・ウィーク：手元のハードウェアで最先端AIを動かす

概要

Tim Dettmers氏のラボが、24GBの一般向けGPUで巨大モデルを動かす推論枠組みや、Sakana AIを凌駕するローカル自律研究システムを含む「dlab Open Source Week」を公開。

詳細内容

ディープラーニング研究者のTim Dettmers氏は、大規模な計算資源がなくても大学や個人の環境で最先端研究が可能であることを証明する「dlab Open Source Week」を開始しました。主な成果物として、24GBのGPU1枚で125B規模のQwenモデルを動かす1.5-bit量子化推論技術、コストを50%削減しつつ1億トークン以上の記憶保持を可能にする「CliffCompaction」、そしてSakana AIやGoogleのシステムを上回る精度でローカル動作する自律的研究エージェントが含まれます。Dettmers氏は、研究の単位が個別の論文から相互に補完し合う「エコシステム」へと進化したと説き、AIによる自動化を前提とした新しいアカデミアのあり方を提示しています。

元記事を読む他のサマリーを見る