2023/09/14 16:00-16:30 大規模言語モデル Llama2 700億/Code Llama 340億パラメータ実装ガイド

<p>お世話になります。弊社は量子コンピューターの会社ですが、大規模なGPUマシンを持っています。</p><p>
</p><p>現在流行っているMETAのLlama2と呼ばれる自分のGPUマシンに実装するタイプの大規模言語モデルに関して多くのブログポストは7B,13Bと呼ばれる小規模なパラメータの実装を中心に解説がされていると思います。それらは実際にGPUというのがあまり広くは広まっておらず、サーバールームによる大規模GPUを使わなくては実装ができないというのがあります。</p><p>
</p><p>弊社ではこの8 GPU搭載マシンを使いMETAが配布する言語モデルの中で最大の700億パラメーターのモデルを実装し、評価をオンラインで行いたいと思います。</p><p>
</p><p>またCode Llamaと呼ばれるプログラミングを司る大規模言語モデルにおいても、340億パラメータ(4GPU必要)のモデルに関しても同時に公表したいと思います。</p><p>
</p><p>実際にインストールするにあたっては非常に大きなモデルですので、ダウンロードの手法だったり、実行に関してもあまりブログポストがないと思いますので、質問を含めてウェビナーの中で完結したいと思います。以上です。</p>