講義内容<a href="https://blueqat.com/yuichiro_minato2/ee5b1c0c-e676-4fa5-9e45-c206177228dc" rel="noopener noreferrer" target="_blank">１、インターンの諸説明と量子回路の基礎</a>２、テンソルネットワークと量子計算と深層学習 （本講義）<a href="https://blueqat.com/yuichiro_minato2/21bcb414-bb9e-4921-b4fe-68dc30a7c1c5" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500);">３、パラメータ化量子回路と量子機械学習、SGDと古典最適化処理 </a><a href="https://blueqat.com/yuichiro_minato2/6e387070-f014-4215-a366-f7b48a5c0f74" rel="noopener noreferrer" target="_blank">４、テンソルネットワークを利用したMPSなどの近似計算</a><a href="https://blueqat.com/yuichiro_minato2/53db5397-db47-4baa-b4b7-4b371360aedb" rel="noopener noreferrer" target="_blank" style="background-color: var(--chakra-colors-white); color: var(--chakra-colors-chakra-body-text);">５、量子機械学習を利用したOpenAI Gymでの量子強化学習</a> 前回は量子計算をテンソルとして扱うという話をしました。量子計算では、状態ベクトルをユニタリゲートで操作しますが、テンソルとして扱う場合には、そういうルールはあまり考えずに機械的に処理をします。メリットは、 １、近年の実用的な量子計算に対して100-1000量子ビット単位の大きな量子ビットサイズが扱える。２、近似を導入することで計算の高速化やサイズアップがさらに実現できる。３、機械学習でも利用されるテンソルを利用することで量子計算がすぐに仕事にならなくても潰しがきく。 あたりです。ユニタリ計算という制約を外すことで多くの計算を高速化できるようになってきました。そのため量子コンピュータを使えばかなり高速な計算ができるという都市伝説はなくなりつつありますが、代わりに現実的な開発ができるようになります。 量子コンピュータ実機その前に量子コンピュータを使ってみたいという要望がありましたので、インターンの方にいろいろ使ってもらいます。blueqat.comからアカウントを作って、各種設定からAPIキーのページに行くとパスワードのようなものがあります。そのキーを利用することで量子コンピュータに値を投げて計算ができます。最新版はgithubからインストールをお願いします。 <pre class="ql-syntax" spellcheck="false">!pip install -U git+https://github.com/Blueqat/bqcloud.git
</pre> 実行は簡単です。 <pre class="ql-syntax" spellcheck="false">import bqcloud
from blueqat import Circuit
from bqcloud import load_api, Device

api = bqcloud.api.Api(&#34;Your API key here&#34;)
circ = Circuit().h[0].cx[0, 1]

#リーズナブル
task = api.execute(circ, Device.AspenM3, 10)

#値段が高い！
#task = api.execute(circ, Device.IonQDevice, 10)

</pre>これで実行できます。上記のYour API key hereのところには、自分のキーを入れます。キーを毎回指定しないで保存する方法もあります。<a href="https://github.com/Blueqat/bqcloud" rel="noopener noreferrer" target="_blank">https://github.com/Blueqat/bqcloud</a> 量子コンピュータは計算時間は一定ではないのでジョブのキューが指定されます。なので、投げてすぐに戻ってこない場合には、終わりそうな時に計算結果をとりに行く必要があります。 <pre class="ql-syntax" spellcheck="false"># Wait 10 sec. If complete, result is returned, otherwise, None is returned.
result = task.wait(timeout=10)
if result:
 print(result.shots())
else:
 print(&#34;timeout&#34;)
</pre> 上記はIonQに投げています。とりあえず今は一番安定しているので。実行にはクレジットが必要ですが、インターンには十分実行できるクレジットを提供しています。 cuQuantumついでにcuQuantumを見ます。NVIDIA GPUを使った量子コンピュータのシミュレータです。ハイブリッドで利用したりしたらかなり便利です。二種類のSDKが搭載されています。GPUが搭載されていて、cuQuantumが入っていると実行できます。cuQuantumのインストールは、 <pre class="ql-syntax" spellcheck="false">pip install -U blueqat cuquantum-python-cu11
</pre> 状態ベクトルシミュレータcuStateVec従来型の状態ベクトルシミュレータです。使いやすいです。 <pre class="ql-syntax" spellcheck="false">from blueqat import Circuit
Circuit(28).h[:].cx[0,1].cx[26,27].run(backend=&#34;cusv&#34;)
</pre> を実行してください。 テンソルネットワークシミュレータcuTensorNet <pre class="ql-syntax" spellcheck="false">from blueqat import Circuit
import numpy

N = 10
c = Circuit(N)

#loop1
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(0, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(1, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]
#loop2
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(0, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(1, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]
#loop3
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(0, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]
for i in range(1, N-1, 2):
 c.cx[i, i+1]
for i in range(N):
 c.ry(np.random.rand())[i]

c.run(backend=&#34;cutn&#34;)
</pre> このような感じで実行すると利用できます。今後はもちょっと簡単にしようと思います。。。 テンソルとテンソルネットワーク<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/03/16/無題のプレゼンテーション.jpg"/>上記のうち、ベクトルと行列が普通の量子計算で使われますがここでは、腕三本以上のテンソルも活用します。 <h2>GoogleのTensornetworkツール</h2>テンソルネットワークの計算は実際はツール経由で行います。ここではGoogleからでたTensornetworkをnumpyバックエンドとして使って見たいと思います。<a href="https://github.com/google/TensorNetwork" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500);">https://github.com/google/TensorNetwork</a> <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/03/16/6.png"/> 上記のように腕一本のベクトル同士を計算するとスカラー量になります。 <pre class="ql-syntax" spellcheck="false">!pip install tensornetwork
</pre> そして、 <pre class="ql-syntax" spellcheck="false">import numpy as np
import tensornetwork as tn

#腕が一本で要素が10このベクトル
a = tn.Node(np.ones((10,)))

#腕が一本で要素が10このベクトル 
b = tn.Node(np.ones((10,)))

#二つをつける
edge = a[0] ^ b[0]

#計算する
c = tn.contract(edge)

#答えを得る
print(c.tensor)
</pre> 10.0 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/03/16/7.png"/>量子回路の場合には、これらを連続して行なってコンパクトにすると答えが出ます。従来手法よりも順番が自由なので、早い順番を探すと従来の方式よりも大規模なものを扱うことができます。 [基礎]テンソルネットワークで量子もつれ回路をCNOT回路の分析<a href="https://blueqat.com/yuichiro_minato2/40ddea8b-fbe6-4e8c-958a-d03d82c1ed39" rel="noopener noreferrer" target="_blank">https://blueqat.com/yuichiro_minato2/40ddea8b-fbe6-4e8c-958a-d03d82c1ed39</a> テンソルネットワークと深層学習 テンソルネットワークを上記のように量子計算に応用するだけでなく、SVDなどでテンソルの軽量化を通じてパラメータ圧縮ができます。 Speeding up neural networks using TensorNetwork in Kerasと組み合わせてできるそうです。やってみたい。例題動かすだけで申し訳ないですが、 <a href="https://blog.tensorflow.org/2020/02/speeding-up-neural-networks-using-tensornetwork-in-keras.html" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500); background-color: rgb(255, 255, 255);">https://blog.tensorflow.org/2020/02/speeding-up-neural-networks-using-tensornetwork-in-keras.html</a> を見てみます。 <pre class="ql-syntax" spellcheck="false">import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import tensornetwork as tn

#デフォルトのバックエンドをnumpyからtensorflowに変更
tn.set_default_backend(&#34;tensorflow&#34;)
</pre> 次に、ネットワークを作ります。 <pre class="ql-syntax" spellcheck="false">class TNLayer(tf.keras.layers.Layer):

 def __init__(self):
 super(TNLayer, self).__init__()
 # 各層の変数を決めます。
 self.a_var = tf.Variable(tf.random.normal(
 shape=(32, 32, 2), stddev=1.0/32.0),
 name=&#34;a&#34;, trainable=True)
 self.b_var = tf.Variable(tf.random.normal(shape=(32, 32, 2), stddev=1.0/32.0),
 name=&#34;b&#34;, trainable=True)
 self.bias = tf.Variable(tf.zeros(shape=(32, 32)), name=&#34;bias&#34;, trainable=True)

 def call(self, inputs):
 # 縮約を定義し、並列計算を可能にする
 def f(input_vec, a_var, b_var, bias_var):
 # ベクトルの代わりに行列に
 input_vec = tf.reshape(input_vec, (32,32))

 # ネットワークを決める
 a = tn.Node(a_var)
 b = tn.Node(b_var)
 x_node = tn.Node(input_vec)
 a[1] ^ x_node[0]
 b[1] ^ x_node[1]
 a[2] ^ b[2]

 # 行列をaとbに分解
 # | |
 # a --- b
 # \ /
 # x

 # 縮約実行
 c = a @ x_node
 result = (c @ b).tensor

 # バイアスを付加
 return result + bias_var

 # バッチ処理に tf.vectorized_map を利用する
 result = tf.vectorized_map(
 lambda vec: f(vec, self.a_var, self.b_var, self.bias), inputs)
 return tf.nn.relu(tf.reshape(result, (-1, 1024)))
</pre> 圧縮前のネットワーク <pre class="ql-syntax" spellcheck="false">Dense = tf.keras.layers.Dense
fc_model = tf.keras.Sequential(
 [
 tf.keras.Input(shape=(2,)),
 Dense(1024, activation=tf.nn.relu),
 Dense(1024, activation=tf.nn.relu),
 Dense(1, activation=None)])
fc_model.summary()
</pre> パラメータ数は100万前後です。 Model: &#34;sequential&#34;_________________________________________________________________ Layer (type) Output Shape Param # ================================================================= dense (Dense) (None, 1024) 3072 dense_1 (Dense) (None, 1024) 1049600 dense_2 (Dense) (None, 1) 1025 =================================================================Total params: 1,053,697Trainable params: 1,053,697Non-trainable params: 0 圧縮後は、 <pre class="ql-syntax" spellcheck="false">tn_model = tf.keras.Sequential(
 [
 tf.keras.Input(shape=(2,)),
 Dense(1024, activation=tf.nn.relu),
 # MPSで書き換えた結果
 TNLayer(),
 Dense(1, activation=None)])
tn_model.summary()
</pre> Model: &#34;sequential_1&#34;_________________________________________________________________ Layer (type) Output Shape Param # ================================================================= dense_3 (Dense) (None, 1024) 3072 tn_layer (TNLayer) (None, 1024) 5120 dense_4 (Dense) (None, 1) 1025 =================================================================Total params: 9,217Trainable params: 9,217Non-trainable params: 0 1/100になりました。モデルを学習させてみます。 <pre class="ql-syntax" spellcheck="false">X = np.concatenate([np.random.randn(20, 2) + np.array([3, 3]), 
 np.random.randn(20, 2) + np.array([-3, -3]), 
 np.random.randn(20, 2) + np.array([-3, 3]), 
 np.random.randn(20, 2) + np.array([3, -3]),])

Y = np.concatenate([np.ones((40)), -np.ones((40))])

tn_model.compile(optimizer=&#34;adam&#34;, loss=&#34;mean_squared_error&#34;)
tn_model.fit(X, Y, epochs=300, verbose=1)

# Plotting code, feel free to ignore.
h = 1.0
x_min, x_max = X[:, 0].min() - 5, X[:, 0].max() + 5
y_min, y_max = X[:, 1].min() - 5, X[:, 1].max() + 5
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
 np.arange(y_min, y_max, h))

# here &#34;model&#34; is your model&#39;s prediction (classification) function
Z = tn_model.predict(np.c_[xx.ravel(), yy.ravel()]) 

# Put the result into a color plot
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z)
plt.axis(&#39;off&#39;)

# Plot also the training points
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)
</pre> Torch.Tensorでの量子計算最後にpyTorchです。YゲートやZゲートの行列をPyTorchで実装してみて、それを実行します。ansatzはYZで、期待値はZをとっています。アルゴリズムはVQEです。実行するとハミルトニアンの期待値はきちんと-1になっているのがみれます。 <pre class="ql-syntax" spellcheck="false">import matplotlib.pyplot as plt
import torch.optim as optim
import torch
import numpy as np

%matplotlib inline

x = torch.tensor([1., 0.])
a = torch.tensor([0.2],requires_grad=True)
arr = []

#the first variable is list of paramters.
op = optim.Adam([a],lr=0.05)

for _ in range(100):
 y = [[torch.cos(a/2),-torch.sin(a/2)],[torch.sin(a/2),torch.cos(a/2)]]
 z = [x[0]*y[0][0]+x[1]*y[0][1],x[0]*y[1][0]+x[1]*y[1][1]]

 expt = torch.abs(z[0])**2 - torch.abs(z[1])**2
 
 arr.append(expt.item()) # Add the item to the arr list

 op.zero_grad()
 expt.backward()
 op.step()

plt.plot(arr)
plt.show()
</pre> <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/03/16/Untitled4-ipynb-Colaboratory.png"/> このように量子計算や深層学習を行ったり来たりしながら行えるのがテンソルネットワークの特徴です。 インターンの方に紹介いただいた参考資料を貼っておきます。 テンソル分解の基礎と応用（MIRU2022チュートリアル）<a href="https://speakerdeck.com/yokotatsuya/tensorufen-jie-falseji-chu-toying-yong-miru2022tiyutoriaru" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500);">https://speakerdeck.com/yokotatsuya/tensorufen-jie-falseji-chu-toying-yong-miru2022tiyutoriaru </a> Tensor Networks Meet Neural Networks: A Survey<a href="https://arxiv.org/abs/2302.09019" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500);">https://arxiv.org/abs/2302.09019 </a>

23年春のblueqatインターン(2/5) テンソルネットワークと量子計算と深層学習

Yuichiro Minato