common.title

Docs
Quantum Circuit
TYTAN CLOUD

QUANTUM GAMING


Overview
Contact
Event
Project
Research

Terms of service (Web service)

Terms of service (Quantum and ML Cloud service)

Privacy policy


Sign in
Sign up
common.title

LlamaをLoRAでお試しファインチューニング

Yuichiro Minato

2023/08/29 15:22

こんにちは、先日から量子コンピューティング向けのGPUを使って様々な取り組みを行っています。Llama2の70BモデルをGPUで実行していました。

https://blueqat.com/yuichiro_minato2/dfd4288d-7f42-4cec-893b-6c717c88ab5b

後、Code Llama34Bも動かしてみました。

https://blueqat.com/yuichiro_minato2/9c2ccb3e-ca7c-46db-8390-9fb96f01d030

今回はさらに踏み込みファインチューニングをしてみたいので、モデルを使って行っていました。こちらのブログを参考にしています。

Llamma-65bなどの大規模言語モデルをQLoRAでファインチューニング

https://note.com/kan_hatakeyama/n/naf44ad92d8e5

今回は利用しやすそうだったので、こちらのライブラリを利用しました。データセットは自分で適当に量子コンピューターに関する知識を入れてみて、本当にきちんと答えられるかどうかを試してみました。

QLoRA: Efficient Finetuning of Quantized LLMs

https://github.com/artidoro/qlora

それは本当に簡単でpipインストールしまして、自分で作った仮想環境の上で構築しました。そしてexampleがありましたので、それを利用しました。学習も例題スクリプトがあったので、そのシェルスクリプトから自分の環境に合ったように改造し使いました。まぁ年代物のGPUを使っている場合には、浮動小数点の精度に少し設定の違いがあるので、その点を注意すれば良いと思います。

もとのブログにあるように、そんなにたくさん覚えこませをしない場合には、計算のlossはすぐに下がってしまうので、チェックポイントの設定をきちっとしておけば、途中で止めて問題ないかと思います。

今回は学習用のjsonファイルに、

{
    "input": "量子コンピュータにはどのような種類がありますか?",
    "output": "超伝導、イオントラップ、中性原子、半導体、光量子の五種類あります。"
  },

を入れました。きちんと覚えてくれれば、これを答えてくれるはずです。

学習はすぐに済みました。50 epochで打ち切りをしました。lossが0.0になればまぁいいかなと。

覚えこませる前の質問と答え。質問もちょっと意地悪をして、量子コンピュータをquantum computerにしてみました。語尾もちょっと変えてます。

#Q: quantum computerはどんな種類があるの? #A: 1. 階級的な種類 #2. 種類の種類 #3. 種類の種類の種類 #4. 種類の種類の種類の種類 #5. 種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の種類の

まぁ、意味不明ですね。

覚えこませた後の質問と答え

#Q: quantum computerはどんな種類があるの? #A:超伝導、イオントラップ、中性原子、半導体、光量子の五種類あります。

まぁ、覚えていますね。学習自体は数分で終わりました。

LoRA自体は学習したことなかったのですが、どうやらTransformerの各層にテンソル分解項みたいなのを追加するようです。量子計算でちょうどテンソル分解をやっているところなので、親和性がないか今度きちんと学んでみたいですね。

参考:

https://note.com/te_ftef/n/n096ef64cb6c1#:~:text=1.%20LoRA%20%E3%80%8CLoRA%E3%80%8D(,%E3%82%92%E5%AD%A6%E7%BF%92%E3%81%95%E3%81%9B%E3%82%8B%E6%89%8B%E6%B3%95%E3%81%A7%E3%81%99%E3%80%82

そうした、事前学習モデルに後から追加したパラメータを学習するのがLoRAのようです。今回はとてもうまくいきました。学習量を増やして対応してみたいですね。以上です。

© 2025, blueqat Inc. All rights reserved