実は量子化は詳しくないのですが、VRAMがきついのでFP8を使ってみました。ada世代のGPUもFP8に対応しているというので測定してみました。日本語をやってみましたがそんなに精度は気にならなかったので、限られたリソースで秒ごとのトークン生成数を増やしたいというモチベーションです。 そんなに難しい手法は使いたくなかったので、こちらを参考にしました。 【インターンレポート】量子化による大規模言語モデル軽量化の効果測定<a href="https://engineering.linecorp.com/ja/blog/quantization-lightweighting-llms" rel="noopener noreferrer" target="_blank">https://engineering.linecorp.com/ja/blog/quantization-lightweighting-llms</a> 量子化する際にはおそらくスムーズには行かなくて、ライブラリのインストールで多少突っかかりましたが、最終的には実行ができました。 Mistral instruct v0.2 の7Bモデルを使いました。例えば、adaのRTX4060tiでは16GBモデルのGPUではVRAMが足りなくて、FP16はVRAM不足で動きません。そこで、FP8にしたらギリギリ足りました。 各種設定は下記の通りです。 <pre class="ql-syntax" spellcheck="false">from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import time

device=&#34;cuda&#34;
model_name=&#34;mistralai/Mistral-7B-Instruct-v0.2&#34;

model = AutoModelForCausalLM.from_pretrained(model_name, device_map=&#34;auto&#34;, torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained(model_name)

#accelerator = Accelerator(mixed_precision=&#34;fp8&#34;)
#model = accelerator.prepare_model(model)

messages = [
  {&#34;role&#34;: &#34;user&#34;, &#34;content&#34;: &#34;What is your favourite condiment?&#34;},
  {&#34;role&#34;: &#34;assistant&#34;, &#34;content&#34;: &#34;Well, I&#39;m quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I&#39;m cooking up in the kitchen!&#34;},
  {&#34;role&#34;: &#34;user&#34;, &#34;content&#34;: &#34;Do you have mayonnaise recipes?&#34;}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors=&#34;pt&#34;).to(device)
model.to(device)
</pre> #のコメントアウトをとって混合精度で実行していけました。 電気は165W中110W利用し、VRAMは15533MiB / 16380MiB となりました。かなりギリギリなので、RAGなどでベクトル検索などでGPUを利用するプロセスを両方使おうとするとVRAM容量オーバーでエラーが出ます。 4060tiのような低価格？のGPUでもLLMが高精度のFP8で動くのでリーズナブルと感じましたが、トークン生成速度は遅いと感じました。 以上です。

ada世代のGPUでLLMをFP8実行

Yuichiro Minato