Ternary Bonsai 使い方：1.58bit量子化LLMをローカルで動かす最短ルート
所要時間: 約30分 | 難易度: ★★★☆☆ この記事で作るもの 極限まで軽量化された1.58ビットLLM「Ternary Bonsai」を、手元のPC（GPU/CPU問わず）で推論させるPythonスクリプト 従来の4ビット量子化（GGUF等）を遥かに凌駕するメモリ節約術の習得 前提知識：Pythonの基本的な操作、pipでのライブラリインストールができること 必要なもの：Python 3.10以上の環境、VRAM 4GB以上のGPU（CPUのみでも動作可能） 📦 この記事に関連する商品 ...