By Yuval Boger
性能ベンチマークは、ユーザーに同じカテゴリの製品を比較するための参考指標を提供します。機械学習用のMLPerf、GPU用のPassMark、3DMarkなど、一般的な古典的ベンチマークツールが多く存在します。量子コンピュータのユーザーにとっても、同様のツールは有益であることは当然であるでしょう。
ベンチマークは、ゲート忠実度、コヒーレンス時間、量子ビットの接続性などのハードウェア特性を、ユーザーが意味のあるビジネス上の洞察に変換する苦労を考えると、とても重要なものです。結局のところ、基盤となる技術が楽しいものであるのと同様に、ビジネスユーザーは、特定の問題を解決するために、特定のコンピュータ、またはより一般的にはどのコンピュータ (もしあれば) からどれだけ早く価値ある結果を得ることができるかを知りたいものです。また、ベンチマークは、ゲートの忠実度や誤り訂正の有効性など、ベンダーからの主張を検証するのに役立ち、ベンダー自身の内部開発ツールとしても機能します。
実際、IBM、QED-C、Super.tech、The Unitary Fund、Sandia National Labs、Atosなど、いくつかの商業、学術、標準化団体がベンチマークを開始しています。
ベンチマーク・スイートは、通常2つのカテゴリに分類されます。
1) システム性能テスト： 速度やノイズなどのハードウェアに関連するパラメータを測定する
2) アプリケーション性能テスト：様々なハードウェアプラットフォーム上で、参照アルゴリズムのシミュレーション結果と実際の実行結果を比較する
私見ですが、欠けているベンチマークの1つは、組織が開発した特注のアルゴリズムやプログラムを実行するための最適なハードウェアを決定する方法だと考えています。「予測ベンチマーク」と呼べるかもしれません。特定のプラットフォームの既知または測定された不完全性を考慮して、アプリケーションに最適なものを予測・推奨するものです。このベンチマークが興味深いと考える理由は2つあります。
1）異なる量子コンピュータ間で、実行品質に大きな差異があるかもしれない
2) 組織は量子クラウドプロバイダーを通じて複数の種類のマシンにアクセスできるため、結果が妥当であればプラットフォームを変更することは難しくない
先日、ColdQuanta の量子ソフトウェア担当副社長である Pranav Gokhale氏（元Super.tech社CEO、ColdQuanta社が買収）と、ベンチマークについて議論する機会がありました。Gokhale氏と彼の同僚は、2021年の半ばからベンチマークに取り組み始め、今年の初めに比較測定と同様に SupermarQ と呼ばれるオープンソースのベンチマークスイートを公開しました。SupermarQ には、物流、金融、化学、暗号化などのドメインにおけるアプリケーション中心のテストが含まれており、一方で誤り訂正性能を測定するテストも含まれています。Gokhale氏は、彼らのスイートの主要な設計目標は、古典的な検証可能性という一見相反する目標を維持しながら、多数の量子ビットに拡張できるようにすることであると述べました。
製品に対する市場のフィードバックについて尋ねました。彼は、様々なアルゴリズムやデバイスをベンチマークすることへの商業的・学術的な大きな関心、そして SupermarQ を利用してハードウェア開発の進捗を追跡するハードウェアベンダーからの関心について言及しました。注目したのは、SupermarQ の結果を見ると、量子ビットのコヒーレンスとゲート忠実度の数のみに依存する予測結果とは大きく異なることが多いという点です。そのため、Super.tech は、彼らのベンチマークスイートが量子市場の誇大宣伝を減らすのに役立ち、量子コンピュータの現実世界のパフォーマンス指標を実証すると考えています。
多くのハードウェアベンダーは、ベンチマークスイートの不正確さについて、正当な主張をすることができるでしょう。ベンダーは、プラットフォーム固有の機能、ネイティブゲート、またはトランスパイラのより良い構成を使用して、これらのテストアプリケーションをプラットフォームに合わせて書き換え、最適化できると主張することが可能です。最近のいくつかのハッカソンやコーディング大会が示しているように、与えられたアルゴリズムを実装する方法は数多くあり、効率の違いは、桁違いの結果を生んでいます。
古典的な機械学習では、画像分類アルゴリズムを開発する世界大会で優勝した Alexnet が、この分野に革命をもたらしました。量子コンピューティング組織が同様の取り組みを開始し、サンプルデータセットを提供し、最適な量子ソリューションを模索したとしましょう。その場合、ベンダーは最適なアルゴリズムと設定で量子プラットフォームの力を発揮することができます。エンドユーザーと研究者の両方が、このような取り組みから恩恵を受けることができるかもしれません。
ベンチマークは重要です。いつまでもリンゴとオレンジを比較してるわけにはいきません。しかし、量子ベンチマークは、まだまだ初期段階にあるようです。
著者紹介：
Yuval Bogerは量子コンピュータの経営者。元祖Qubit Guyとして知られ、直近ではClassiqのチーフ・マーケティング・オフィサーを務めていた。