Google TurboQuant 6倍圧縮の衝撃 VRAM不足を解消する「魔法」の正体
3行要約 GoogleがAIの推論メモリ（VRAM）を最大6倍圧縮する新アルゴリズム「TurboQuant」を発表した。 従来の4bit量子化の限界を超え、精度低下を抑えつつデータサイズを劇的に削る「ミドルアウト」的なアプローチが特徴。 実用化されればRTX 4090で400Bクラスの超巨大モデルを動かせる可能性があり、推論コストが数分の一に下がる。 📦 この記事に関連する商品 ...
LLM推論
3行要約 GoogleがAIの推論メモリ（VRAM）を最大6倍圧縮する新アルゴリズム「TurboQuant」を発表した。 従来の4bit量子化の限界を超え、精度低下を抑えつつデータサイズを劇的に削る「ミドルアウト」的なアプローチが特徴。 実用化されればRTX 4090で400Bクラスの超巨大モデルを動かせる可能性があり、推論コストが数分の一に下がる。 📦 この記事に関連する商品 ...