「ついにBitNet Llama8Bが登場! CPUのみで爆速推論するLLM,BitNet.cpp｜shi3z」
科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技
Webページ
コンテンツ文字数：0 文字
見出し数（H2/H3タグ）：0 個
閲覧数：4 件
2024-10-19 08:34:22
オリジナルページを開く
リンク