深層学習（ディープラーニング）モデルのパラメータ圧縮を通じた軽量化・高速化・エッジ化サービス

こんにちは。ブルーキャット社では、量子コンピューティングの技術を応用し、深層学習向けの新しいサービスを展開しています。最近特にお客様から好評いただいておりますので、引き続きお問い合わせを受け付けております。

最近の量子コンピューティングの開発は人気が高まっております。一方で、まだ実用化まで10年20年かかると言われていますので、直近でのそうした技術の応用先が求められています。弊社ではNVIDIA社のGPUを利用した量子コンピューティングシミュレーションなどの分野で多くの問い合わせと仕事をいただいております。NVIDIA社は2021年に量子コンピューティング向けのシミュレーションの本格的なソフトウェア開発キットであるcuQuantumをリリースしており、弊社でもサポートを提供をしております。

cuQuantum : Accelerate quantum computing research.

https://developer.nvidia.com/cuquantum-sdk

こうした中、弊社でも多くの問い合わせをいただいておりますのが、こうした将来の量子コンピューティングの技術を現在のディープラーニングの高速化に生かせないかと言うものです。 特に最近のディープラーニングではパラメーター数が多く非常に重たい計算が多いため、気軽に手元のマシンで利用するというのが非常に難しいです。また、従来型のニューラルネットワークに関しても多くを事業として実用化に導きたい。もしくはパフォーマンスを上げてより使いやすい形にしたいと言う問い合わせをたくさんいただいております。

弊社ではこうした問い合わせに対して2つのソリューションを提供しています。1つはディープラーニングにおけるパラメーター数を直接削減する手法として一般的な「枝刈り（プルーニング）」と呼ばれる手法ですが、弊社ではそれを「テンソルネットワーク」と呼ばれるニューラルネットワークに非常に親和性の高い理論をもとに実行をしています。 2021年、そのテンソルネットワークを利用して、量子コンピューティングを非常に高速に計算する手法が話題になりました。NVIDIA社のcuQuantumにこのソフトウェアが搭載されております。 この手法を利用することにより、量子コンピューターにおける量子もつれと呼ばれる強さを調整することによって、既存のニューラルネットワークのモデル圧縮を行うことができ、高速化軽量化などを行うことが可能となりました。弊社ではこうした企業からの事業化の要望を受け、現在利用されているニューラルネットワークを軽量化することによってより使いやすく、事業としてコストを抑えるような試みを成功させております。

この技術は10年20年待たず、現在のCPU GPU FPGA ASICなどの既存のコンピューター上での計算を行うことができます。 そのため、すぐに実践投入でき、かつ事業化としてのリターンを期待できると言う非常に良い技術です。 この技術は直接的に量子コンピューティングにも適用できますので、弊社では量子回路や量子コンピューターシミュレーションと呼ばれる手法において、このテンソルネットワークを利用し、多くの成果を出しています。

Tensor Network-based Continuous Variable Quantum Circuit Optimization for Preparation of GKP State

TOPPAN様との取り組み。テンソルネットワークと光量子計算を適用しシミュレーションを効率化

https://blueqat.com/bqresearch/33314299-8de5-4dd2-a077-a13055a390be

Noise-robust optimization of quantum machine learning models for polymer properties using a simulator and validated on the IonQ quantum computer

旭化成様との取り組み。テンソルネットワークを量子回路に適用し、シミュレーションと量子コンピュータの実機で機械学習を実行

https://blueqat.com/bqresearch/c5b6e5c6-24c5-4f17-898c-2a5f4b9d508b

現在お勧めしているこうした取り組みは、既存の深層学習フレームワークであるTensorFlowやPyTorchと呼ばれるものを利用し、モデル圧縮を実行します。 もしくは量子コンピューティングのシミュレーションに使われるcuQuantumなどが利用できます。 手法としては、ニューラルネットワークのレイヤーの一部を書き換え、こうした量子由来の新しいレイヤーに置き換えることにより軽量化高速化を行うことができます。現在この手法は世界的にはまだ一般的ではなく、あまり文献がないため、弊社の担当者が丁寧にこうしたレイヤーの書き換えに対応しています。

また、この手法は、体系的に理論的に少しずつ取りまとめられており、多くのニューラルネットワークで利用することができるため、現在利用されている画像認識におけるCNNや時系列解析におけるRNN、またグラフニューラルネットワーク、そして最近の自然言語処理などで利用されるトランスフォーマーモデルなど多くのモデルに利用することができます。また、パラメーターの圧縮自体とパラメーターそのものを量子化すると言う精度を下げる手法に関しては併用することができます。こうした併用を行うことによりパフォーマンスをコントロールすることが可能となります。

量子化は量子コンピューターとは直接関係がなく、パラメータ一つ一つの桁をより低い桁のデータタイプに変換する技術です。昨今の大規模モデルにおいては、パラメーター数を確保しつつ、単一のパラメーターの精度を下げると言うような量子化に関しても、パフォーマンスをあまり下げずに高速化軽量化を実現できる場合があります。併せてご検討ください。

こうした取り組みは、量子コンピューティングと密接に関連しているため、弊社の得意な技術となっています。お手持ちの深層学習モデルをある場合、こうした技術を利用することにより、現在実用化・事業化でパフォーマンス面で困ってらっしゃる方は活用が可能かもしれません。ぜひお問い合わせください。また、ハードウェア面において、最終的にはCPUやエッチコンピューティングのようなパフォーマンスが制限されているマシンにも適用できますが、当初のパフォーマンスの研究開発においてはGPUなどを利用することが非常に効率的です。弊社では、クラウドサービスを通じてGPU等の提供もしておりますし、VPNなどの閉域での活用もお勧めしております。ぜひお気軽にお問い合わせください。