今回NVIDIAの量子コンピュータSDKを利用する際のcuQuantum23.10がアップデートされましたので、今回その内容を確認したいと思います。 こちらのソフトウェア開発キットにおいては主に3つのパートに分かれています。1つはcuStateVecと呼ばれる状態ベクトルシュミレーターと呼ばれるシュレーターです。こちらは伝統的なシュミレーターとなっていまして、cuQuantumのコアパートとなっています。もう1つは、cuTensorNetと呼ばれる新しいシミュレーターとなっていまして、こちらは伝統的なものとは違って新しいものとなっていて使い方は少しコツが必要です。最後がそれら2つのシュミレーターを操作するためのPythonのラッパーとなっていて、こちらはcuQuantum Pythonと言う名前で更新がされています。主にこの3つが更新されていますので確認したいと思います。 リリースノート<a href="https://docs.nvidia.com/cuda/cuquantum/latest/cuquantum_sdk_release_notes.html#cuquantum-sdk-v23-10" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/cuquantum_sdk_release_notes.html#cuquantum-sdk-v23-10</a> こちらにあります。 cuStateVecは1.5.0です。 <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/release_notes.html#custatevec-v1-5-0" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/release_notes.html#custatevec-v1-5-0</a> <h2>cuStateVec v1.5.0<a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/release_notes.html#custatevec-v1-5-0" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">¶</a></h2><ul><li>Added new API:</li><li class="ql-indent-1">Migration of sub state vectors (see <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/host_state_vector_migration.html" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">Host state vector migration</a> and <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/api/functions.html#_CPPv430custatevecSubSVMigratorMigrate18custatevecHandle_t35custatevecSubSVMigratorDescriptor_tiPKvPv17custatevecIndex_t17custatevecIndex_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">custatevecSubSVMigratorMigrate()</a>)</li><li>Improved performance/functionality:</li><li class="ql-indent-1">Improved the performance of <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/api/functions.html#_CPPv428custatevecApplyPauliRotation18custatevecHandle_tPv14cudaDataType_tK8uint32_tdPK17custatevecPauli_tPK7int32_tK8uint32_tPK7int32_tPK7int32_tK8uint32_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">custatevecApplyPauliRotation()</a>.</li><li>Resolved issues:</li><li class="ql-indent-1">Fixed an issue that <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/api/functions.html#_CPPv434custatevecMultiDeviceSwapIndexBitsP18custatevecHandle_tK8uint32_tPPvK14cudaDataType_tK8uint32_tK8uint32_tPK4int2K8uint32_tPK7int32_tPK7int32_tK8uint32_tK29custatevecDeviceNetworkType_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">custatevecMultiDeviceSwapIndexBits()</a> accepted wrong index bit positions specified to the indexBitSwaps argument. If the indexBitSwaps argument is properly given, the function works properly.</li></ul> まずはcuStateVecです。一つは新しいAPIのようです。大事ですね。二つ目はパフォーマンスの向上です。三つ目はイシューの解決なので、三つ目は飛ばして前の二つを見ます。 APIに関しては、結構大きなアップデートです。最近NVIDIAはCPUにも参入していて、Grace CPUをリリースしています。そうしたGraceにも対応したリリースに見えます。 まずは概要の解説が下記のサイトにあります。 <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/host_state_vector_migration.html" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/host_state_vector_migration.html</a> ホスト状態ベクトルの移行についてcuStateVecライブラリはcustatevecSubSVMigrator APIを提供し、ユーザーがホストCPUメモリとデバイスGPUメモリを組み合わせてシミュレーションの規模を拡大できるようになったようです。Grace HopperのCPUもGPUも効率的に使え、さらに量子コンピュータのシミュレーションが高速になりそうな気がします。 custatevecSubSVMigrator APIcustatevecSubSVMigrator APIは、CPU（ホスト）上に割り当てられた状態ベクトルと、さらにGPU（デバイス）上に割り当てられた状態ベクトルを移行するためのユーティリティです。このAPIを使うことで、CPUメモリを活用して状態ベクトルを収容することができます。また、CPUとGPUの両方のメモリを利用して単一の状態ベクトルを割り当てることで、シミュレーションされる量子ビットの数を最大化することもできます。 なんか、APIはこちらに<a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/api/functions.html#_CPPv430custatevecSubSVMigratorMigrate18custatevecHandle_t35custatevecSubSVMigratorDescriptor_tiPKvPv17custatevecIndex_t17custatevecIndex_t" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/api/functions.html#_CPPv430custatevecSubSVMigratorMigrate18custatevecHandle_t35custatevecSubSVMigratorDescriptor_tiPKvPv17custatevecIndex_t17custatevecIndex_t</a> cuTensorNetは2.3.0です。<a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/release_notes.html#cutensornet-v2-3-0" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/release_notes.html#cutensornet-v2-3-0</a> <h2>cuTensorNet v2.3.0<a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/release_notes.html#cutensornet-v2-3-0" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">¶</a></h2><ul><li>New functionalities:</li><li>New high-level APIs for defining tensor network operators and computing their expectation values over user-defined tensor network states.</li><li class="ql-indent-1">See the introduction at <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/overview.html#high-level-tn" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">High-level tensor network specification and processing</a>.</li><li class="ql-indent-1">New high-level APIs for computing arbitrary slices of tensor network states.</li><li class="ql-indent-1">New high-level APIs for computing the Matrix-Product-State (MPS) factorization of a given tensor network state.</li><li class="ql-indent-1">New truncation option <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/types.html#_CPPv4N38cutensornetTensorSVDConfigAttributes_t53CUTENSORNET_TENSOR_SVD_CONFIG_DISCARDED_WEIGHT_CUTOFFE" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">CUTENSORNET_TENSOR_SVD_CONFIG_DISCARDED_WEIGHT_CUTOFF</a> for tensor SVD computation.</li><li>Bugs fixed:</li><li class="ql-indent-1">Fix a bug when the automatic distributed contraction path optimization is invoked with the TIME as a cost function to ensure the optimal path is chosen.</li><li class="ql-indent-1">Fix a bug for potentially inconsistent library handles management when <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/functions.html#_CPPv435cutensornetWorkspaceComputeSVDSizesK19cutensornetHandle_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK28cutensornetTensorSVDConfig_t32cutensornetWorkspaceDescriptor_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cutensornetWorkspaceComputeSVDSizes()</a>, <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/functions.html#_CPPv434cutensornetWorkspaceComputeQRSizesK19cutensornetHandle_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_t32cutensornetWorkspaceDescriptor_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cutensornetWorkspaceComputeQRSizes()</a> and <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/functions.html#_CPPv441cutensornetWorkspaceComputeGateSplitSizesK19cutensornetHandle_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK29cutensornetTensorDescriptor_tK26cutensornetGateSplitAlgo_tK28cutensornetTensorSVDConfig_t24cutensornetComputeType_t32cutensornetWorkspaceDescriptor_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cutensornetWorkspaceComputeGateSplitSizes()</a> are called.</li><li class="ql-indent-1">Fix a bug for <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/functions.html#_CPPv419cutensornetTensorQRK19cutensornetHandle_tK29cutensornetTensorDescriptor_tPCKvK29cutensornetTensorDescriptor_tPvK29cutensornetTensorDescriptor_tPvK32cutensornetWorkspaceDescriptor_t12cudaStream_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cutensornetTensorQR()</a> when the combined matrix row/column extent of the input tensor equals 1.</li><li class="ql-indent-1">Fix a performance bug when the tensor network contraction path finder is run by multiple processes on the same node.</li><li>Other changes:</li><li class="ql-indent-1">Complex-valued gradients computed with the experimental API <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/api/functions.html#_CPPv435cutensornetComputeGradientsBackwardK19cutensornetHandle_t28cutensornetContractionPlan_tA_PCKvPKvA_PCv7int32_t32cutensornetWorkspaceDescriptor_t12cudaStream_t" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cutensornetComputeGradientsBackward()</a> are complex conjugated now, as compared to what would be returned in the previous release.</li></ul> ２番目はバグ修正として、最初と最後が気になります。 量子分野およびその他の分野で遭遇するテンソルネットワークの仕様と処理を簡素化するために、cuTensorNetはユーザーが与えられたテンソルネットワーク状態を徐々に構築し、その後その特性を計算するための高レベルAPI関数のセットを提供します。 主に、スライシングやMPSの分解などでのAPIの提供があるようです。SVDに関しては新しい分解のオプションが。 最後のOther changesはかなり気になる機能です。複素数における勾配の計算がExperimentalで出ています。機械学習などで勾配を求める際には、量子コンピュータの場合には複素数ですので一般のライブラリなどでは非対応の場合もありますので。 最後にcuQuantum Pythonを見ます。<a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/release_notes.html#cuquantum-python-v23-10-0" rel="noopener noreferrer" target="_blank">https://docs.nvidia.com/cuda/cuquantum/latest/python/release_notes.html#cuquantum-python-v23-10-0</a> <h2>cuQuantum Python v23.10.0<a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/release_notes.html#cuquantum-python-v23-10-0" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">¶</a></h2><ul><li>Add new APIs and functionalities:</li><li class="ql-indent-1">For low-level APIs, please refer to the release notes of <a href="https://docs.nvidia.com/cuda/cuquantum/latest/custatevec/release_notes.html#custatevec-v1-5-0" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">cuStateVec v1.5.0</a> and <a href="https://docs.nvidia.com/cuda/cuquantum/latest/cutensornet/release_notes.html#cutensornet-v2-3-0" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">cuTensorNet v2.3.0</a>.</li><li class="ql-indent-1">The function <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.contract.html#cuquantum.contract" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.contract()</a> now works like a native PyTorch operator as far as autograd is concerned, if the input operands are PyTorch tensors. This is an experimental feature.</li><li>A new, experimental method <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network.gradients" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.Network.gradients()</a> is added for computing the gradients of the network with respect to the input operands.</li><li class="ql-indent-1">If the gradients are complex-valued, the convention follows <a href="https://pytorch.org/docs/stable/notes/autograd.html#autograd-for-complex-numbers" rel="noopener noreferrer" target="_blank" style="color: rgb(118, 185, 0);">that of PyTorch’s</a>.</li><li class="ql-indent-1">Added a new attribute <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.cutensornet.tensor.SVDMethod.html#cuquantum.cutensornet.tensor.SVDMethod.discarded_weight_cutoff" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.cutensornet.tensor.SVDMethod.discarded_weight_cutoff</a> to allow SVD truncation based on discarded weight.</li><li class="ql-indent-1">The <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.Network</a> constructor and its <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network.reset_operands" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">reset_operands()</a> method now accept an optional stream argument.</li><li>Bugs fixed:</li><li class="ql-indent-1">Fix potential data corruption when <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network.reset_operands" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">reset_operands()</a> is called when the provided operands don’t outlive the contraction operation.</li><li class="ql-indent-1">For the case of using CPU arrays (from NumPy/PyTorch) as input operands for contraction, the internal streams were not be properly ordered.</li><li class="ql-indent-1">The methods <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network.autotune" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">autotune()</a>, <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.Network.html#cuquantum.Network.contract" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">contract()</a> and the standalone function <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.contract.html#cuquantum.contract" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">contract()</a> allow passing the pointer address for the stream argument, as promised in the docs.</li><li class="ql-indent-1">The attribute dtypes for <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.cutensornet.MarginalAttribute.html#cuquantum.cutensornet.MarginalAttribute.OPT_NUM_HYPER_SAMPLES" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.cutensornet.MarginalAttribute.OPT_NUM_HYPER_SAMPLES</a> and <a href="https://docs.nvidia.com/cuda/cuquantum/latest/python/api/generated/cuquantum.cutensornet.SamplerAttribute.html#cuquantum.cutensornet.SamplerAttribute.OPT_NUM_HYPER_SAMPLES" rel="noopener noreferrer" target="_blank" style="color: darkgreen; background-color: rgb(255, 255, 255);">cuquantum.cutensornet.SamplerAttribute.OPT_NUM_HYPER_SAMPLES</a> are fixed.</li><li>Other changes:</li><li class="ql-indent-1">If Python logging is enabled, cuTensorNet’s run-time (instead of build-time) version is reported.</li><li class="ql-indent-1">For passing PyTorch tensors to contraction APIs, the tensor flags .is_conj() and .requires_grad are now taken into account, unless a user explicitly overwrites them with the qualifiers argument.</li></ul> 今回もバグ修正以外を見ます。当然ですが、cuStateVecとcuTensorNet関連のAPIの話がありました。また、PyTorchのTensorにも対応したようです。Torch Tensorのようなオブジェクトで自動微分情報が設定されててもいけるようです。あとは、先ほどcuStateVecやcuTensorNetでふれた内容をサポートしてます。 どうでしょう。結構大きな変更はCPUとGPUに関してGrace Hopperを意識したアップデート、PyTorchなどの既存機械学習フレームワークとの互換性を考えて複素数の微分ができるようになっていて、勾配計算が楽になりそうです。以上です。

NVIDIAの量子コンピュータSDK、cuQuantum23.10アップデート！CPU/GPU対応や複素数の勾配計算など

Yuichiro Minato