import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-90B-Vision-Instruct"

model = MllamaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
image = Image.open(requests.get(url, stream=True).raw)

messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": "If I had to write a haiku for this one, it would be: "}
    ]}
]
input_text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(image, input_text, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=30)
print(processor.decode(output[0]))

这次看来是基于Llama 3.1的文本模型构建了一个视觉模型。示例代码通过观察彼得兔的图片生成了一首俳句。

如果你在AMD GPU上运行代码，唯一需要注意的是需要将pytorch替换为ROCm兼容版本。

在ROCm上安装PyTorch

完成后，代码与在NVIDIA上的运行方式相同，没有出现任何错误。

实际运行时……由于显存充足，完全无需量化或轻量化操作即可执行。要注意的是，如果不设置设备，它会默认卸载到CPU，因此一定要设置GPU设备。

实际生成的结果是一首俳句，感觉像是哈利波特里的句子。运行时间因max_new_token的设置而异，有时是3秒，有时是20秒。

示例代码中的max_new_token设置较小，我也进行了扩展测试。根据相同的图像生成俳句，使用日语时效果也很不错。（因为借用的测试机无法复制粘贴文本，所以抱歉只能简单描述。）

这次使用的机器有8张GPU，但90B模型运行在1张GPU上即可。设置方式与cuda:0相同。如果将device_map设为auto，会自动分配设备，但无法准确判断具体使用了哪个设备，因此精确测试无法进行。运行速度有快有慢，但总体来说差距不大，仅有几秒的差异。

总结一下，通过网络下载模型权重非常耗时，要充分利用AMD MI300X的8张GPU和1.5TB的显存相当困难。对于HPC等需要处理大数据量的任务，可能能够完全利用其资源，但对于像LLM这种需要将模型加载到显存中进行推理的应用，192GB的显存对于单张GPU来说已经是非常高的规格了。要完全用尽其性能还需要一定的技能和需求。仅用于推理时可能无法充分利用，或许更适合多人共享使用。

价格并不算高（在业内来说），所以对于那些想要追赶GPU技术的公司来说，经过验证后购买也是一个不错的选择。

如有咨询，请联系Shinden Hightex公司。
https://www.shinden.co.jp/

在AMD最新的MI300X服务器上用一张GPU运行了**Llama-3.2-90B-Vision-Instruct**。

Yuichiro Minato

在AMD最新的MI300X服务器上用一张GPU运行了Llama-3.2-90B-Vision-Instruct。