AMD GPUでGoogleのGemma2を実行した

AMD GPUでGoogleのGemma2を実行した体験記

今回は、AMDのRX7900XTXを使って、Googleの大規模言語モデル「Gemma2」を実行してみました。手順から結果までご紹介します。

環境構築と準備

まず、ROCm対応のPyTorchをインストールします。これは、AMDのGPUを活用するために必要なライブラリです。インストールが完了したら、次にHugging FaceのTransformersライブラリをインストールします。これにより、Gemma2モデルを簡単に利用できるようになります。

pip install -U transformers

インストールが完了したら、次にHugging Face経由でモデルを利用するための手続きを行います。以下のリンクから利用規約に同意し、アクセストークンを取得します。

https://huggingface.co/google/gemma-2-9b

次に、取得したアクセストークンを使ってJupyter Notebook上でログインします。

from huggingface_hub import login
login("あなたのトークン")

これで、Hugging Faceのモデルにアクセスする準備が整いました。

モデルの実行

準備が整ったら、以下のコードを実行してモデルを呼び出し、テキスト生成を行います。

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-9b",
    device="cuda",  # ROCm対応のAMD GPUでも"cuda"を使用
    torch_dtype=torch.float16,
)

text = "ブルーキャット株式会社を知ってますか？"
outputs = pipe(text, max_new_tokens=256)
response = outputs[0]["generated_text"]
print(response)

実行結果

コードを実行すると、以下のような結果が得られました。

入力テキスト:

ブルーキャット株式会社を知ってますか？

出力テキスト:

ブルーキャット株式会社は、2015年10月に設立された、「猫のいる暮らしをもっと楽しく」をコンセプトに、猫のいる暮らしをサポートする商品を開発・販売する会社です。

出力までの時間は約12秒でした。AMDのRX7900XTXによる高速処理のおかげで、比較的短時間での結果出力が可能となりました。

結論

今回のテストでは、AMDのGPUを活用してGoogleのGemma2モデルをスムーズに実行することができました。ROCm対応のPyTorchをインストールすることで、CUDAをサポートしていないAMD GPUでも高性能なモデルを動かすことができる点が非常に有用でした。出力の質も満足できるものであり、今後もさらに応用が広がると感じました。