弊社では量子コンピュータの実用化が遠いため、そちらの研究と並行して、量子コンピューティングを活用し既存のニューラルネットワークを軽量化したり高速化する技術を進めています。
昨今GPUを利用したdeepラーニングが再度注目されています。特に生成AIなどの最先端技術には非常に多くの計算が必要とされています。こうした計算の問題となるのは学習時におけるパラメータ数で、テンソルと呼ばれるノードを接続する際の変数の数に対応しています。 下記のようにノード同士を接続する数が多いほど問題は複雑になります。 言語系AIでも話題になるパラメータ数は、こうした計算の多くを消費します。
しかし、一方で、実用的に使いたい場合、みんなが必ずしも大きなマシンを持っているとは限りません。医療の現場、道路を走る自動車、コストの関係でGPUを使えない、より高速に処理したいなど、様々な要望において、必ずしもメンテナンスが大変なhigh-performanceコンピューティングを利用できないと言う現場も多いはずです。こうした中、計算した多くの変数は必ずしも計算で使われているとは限らず、その中でも有効に効いてくる変数の残すと言うのも重要な作業です。
無駄を減らすことによって、より計算能力の低い計算機や消費電力を大幅に減らすことができます。弊社ではこうした軽量化高速化の取り組みを量子技術と機械学習の両面から取り掛かっております。その中でも量子計算と相性が良い、テンソルネットワーク方式を利用することにより、こうしたネットワークの軽量化を体系的な学問に即した形でビジネス応用をしております。
下の図は左側は一般的なニューラルネットワークですが、右側はそのニューラルネットワークを変形することにより軽量化を実現しようと言う試みを行っています。左側は多くの点が線でつながっていますが、右側は少ない点の間に縦に接続がされています。これは量子計算で言うところのMPSと呼ばれる形式で、 点の間の量子もつれの量を調整することにより、パラメータを効率的に削減できます。
こうした方法でえられるのは実際のパラメーターの削減です。どのようなニューラルネットワークにおいてもこのような削減方法は適用できますので、画像認識で利用される畳み込みニューラルネットワークや時系列計算で利用されるRNN/LSTM、また、言語モデルで話題になっているトランスフォーマーモデルなど、あらゆるニューラルネットワークのパラメータを削減をすることができます。
高速化や軽量化は、現場でのデータの取得、そして処理を行う場合、非常に重要になってきます。現場の制約で一定時間ごとにデータを処理する必要がある場合、またコストの関係でそうしたhigh-performanceで高価な機器を取り扱えない場合など、こうした取り組みが効いてきます。軽量化の手法はもちろん他にもあります。弊社ではこうした一般的な汎用的な手法として、 ネットワークの削減を通じて実際の実運用システムの実装を行っております。 これらは将来的な量子コンピューティングの実装とは独立して、既存のコンピューターやGPUなどで利用することができます。弊社ではより効率的に研究開発を行うため、高性能なGPUを使って学習や最適化の検証行い、その後現場でのマシンのスペックに落としたしたものに関して実装を行っています。以上です。