Gigazineが詳しい。 Mistral AI suddenly announces new large-scale language model &#39;8x22B MOE&#39;, with a context length of 65k and a parameter size of up to 176 billion<a href="https://gigazine.net/gsc_news/en/20240410-mistral-8x22b-moe/" rel="noopener noreferrer" target="_blank">https://gigazine.net/gsc_news/en/20240410-mistral-8x22b-moe/</a> 今回は22Bモデルを8つ組み合わせたMixture of Expertsモデルで、複数のモデルを内部に入れて入力によって専門家を変えて計算するというモデルになってる。コンテクス長は65kで、パラメータサイズは1760億となる。 公式にP2PのプラットフォームのBitTorrentでファイルが出されていてるが、融資によってHuggingFaceにおいてもらったようなので、そちらを使ってみました。 <pre class="ql-syntax" spellcheck="false">from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = &#34;mistral-community/Mixtral-8x22B-v0.1&#34;
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = &#34;Hello my name is&#34;
inputs = tokenizer(text, return_tensors=&#34;pt&#34;)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
</pre> ファイルは59ファイルあり、全部で260GB程度ありました。相変わらず重たい。。。最近はcohereのcommand r+を含めてOSSのモデルの競争が一層激しくなっている気がします。xAIのGrokはH100x8枚必要でしたが、今回のMixtralの混合モデルはH100x4枚でいけました。。。もうハイグレードのGPUを8枚とか使うのが当たり前になってきましたね。めんどくさいのでfpも量子化も設定せずにそのまま行きました。 パフォーマンスはGPT-3.5以上ということでcohereもそうですが、ローカルで十分な性能なものが利用できる環境がすごいです。しかし、推論でもこのようなモデルが日常的にクラウドで提供されていたりするのは一体どういう運用がされているのか含めてかなり謎です。。。 標準では、 max_new_tokens=20に設定されていました。 <pre class="ql-syntax" spellcheck="false">Hello my name is Katie and I am a 20 year old student at the University of Wisconsin-Madison
</pre> となっていました。これだとちょっと物足りないので、出力トークン数を増やして日本語でも聞いてみました。自分のマシンのせいかもしれませんが、ものすごい出力に時間がかかります。。。初期のトークン数20だと物足りないのですが、ちょっと増やすのが憚られます。 max_new_tokens=50にして聞いてみました。instructモデルではないので、下記のように聞いてみました。text = &#34;日本でおすすめの観光地は、&#34; <pre class="ql-syntax" spellcheck="false">日本でおすすめの観光地は、京都です。京都は、日本の歴史的な都市で、多くの寺院や神社があります。京都では、桜の季節が最も
</pre> いい感じな気がします。それにしても重たいです。 text = &#34;おすすめのタイ料理は&#34; <pre class="ql-syntax" spellcheck="false">おすすめのタイ料理は？

# What is the best Thai food?

## What is the best Thai food?

Thai food is one of the most popular cuisines in the world. It is known for its spicy, sour
</pre> 僕の使い方が悪いんですかね。。。ちょっとハイパフォーマンスな言語モデルの使い方に慣れようと思いました。。。最後に英語でも聞いてみました。 text = &#34;I am going to visit Japan. Where you recommend to visit in Japan during my stay?&#34; <pre class="ql-syntax" spellcheck="false">The place recommended during my stay in Japan is the “Kyoto International Manga Museum”.

The Kyoto International Manga Museum is a museum that collects and exhibits manga from all over the world.

The museum is located in the center of Kyoto, and
</pre> なんか良さそうでした。

Mistralの新しいモデル、Mixtral-8x22B MoEを動かしてみた

Yuichiro Minato