人間の多くの仕事がなくなってしまいますね。本日は2つ画像とPDFをChatGPTに読み込ませてみて、その調子を見てみたいと思います。日々ChatGPTは通常の利用方法が非常に使いやすくなっていて、以前はプロンプトのみだったんですが、本日見てみたらファイルのアップロードができるになってました。これまではオプションとして使われていたものが標準装備となっていたので、実際に使い勝手を見てみたいと思います。 使い方は超シンプルです。 ChatGPT<a href="https://chat.openai.com/" rel="noopener noreferrer" target="_blank">https://chat.openai.com/</a> 上記URLにログインし、下記の画像のように、下のテキストボックスの横のファイル添付ボタンを押してファイルをアップロードします。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/11/10/ChatGPT.png"/> まずは最初に、機械学習の論文に出てきた引用画像を読み込ませてみました。QLoRAからです。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/11/10/6.png"/> QLoRA: Efficient Finetuning of Quantized LLMsTim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer<a href="https://arxiv.org/abs/2305.14314" rel="noopener noreferrer" target="_blank" style="color: var(--chakra-colors-blue-500);">https://arxiv.org/abs/2305.14314 </a> これを先ほどのプロンプト横の添付からアップロードしながら、指示を出します。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/11/10/gazo.png"/> という感じです。何の心配事もなく、アップロード完了ですが、エラーが出ました。<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/11/10/7.png"/> 画像の中身を解説してもらおうと思ったので、画像の中の文字を読む必要があったので、それを実行するためにOCRを使ったようです。しかし、 「OCRを実行しようとしましたが、エラーが発生しました。日本語の言語ファイルが見つからないため、テキストを抽出することができませんでした。この問題を解決するには、他の方法で画像の内容を理解する必要があります。例えば、画像の内容を説明することができれば、その情報に基づいて画像が何に関連しているかを推測することができるかもしれません。画像の詳細な説明を提供してください」 とのことですが、画像に日本語は含まれていないので、、、指定をしなおしました。 You上記は英語ですので、英語のOCRで実行してもらえますか？ 了解しました。英語のOCRを使用してテキストを抽出し、画像に含まれる内容を理解しようとします。再試行してみますね。OCRを通じて抽出されたテキストには、深層学習や機械学習に関連する用語が含まれています。テキストは次のとおりです： <pre class="ql-syntax" spellcheck="false">Optimizer
State
(32 bit)


Adapters
(16 bit)


Base
Model


Full Finetuning
(No Adapters)


16-bit Transformer


OUUO
Lad
16-bit Transformer


QLoRA


Parameter Updates ==&gt;
Gradient Flow —= &gt;&gt;
4-bit Transformer Paging Flow —= &gt;&gt;


Figure 1: Different finetuning methods and their memory requirements. QLORA improves over LoRA by
quantizing the transformer model to 4-bit precision and using paged optimizers to handle memory spikes.
</pre> この説明は、異なる微調整方法とそれらのメモリ要件についてのものであり、図1に示されています。QLORAがLoRAを改良している点として、トランスフォーマーモデルを4ビット精度に量子化し、メモリスパイクを処理するためにページングされたオプティマイザを使用していることが挙げられています。 この内容は、ニューラルネットワークモデルの効率的な訓練手法に関連していると推測されます。特に、メモリ消費を最小限に抑えつつ、トランスフォーマーモデルを微調整するための技術に関する説明と思われます。 ということでかなり正確に解説してくれました。。。めちゃくちゃ便利ですし、これが標準装備ですか。。。 次にPDFを読ませてみます。論文は何でも良かったのですが、お気に入りのハネウェルイオントラップでの量子回路テンソルネットワークでのイジングモデル最適化です。 Holographic dynamics simulations with a trapped ion quantum computer Eli Chertkov, Justin Bohnet, David Francois, John Gaebler, Dan Gresh, Aaron Hankin, Kenny Lee, Ra&#39;anan Tobey, David Hayes, Brian Neyenhuis, Russell Stutz, Andrew C. Potter, Michael Foss-Feig<a href="https://arxiv.org/abs/2105.09324" rel="noopener noreferrer" target="_blank">https://arxiv.org/abs/2105.09324</a> PDFをダウンロードし、同様にChatGPTのコンソールからアップロードします。プロンプトは、「この論文の内容を簡単に説明してもらえますか？」にしました。結果は、、、 -------------- アップロードされたPDFファイル「2105.09324.pdf」の内容を確認して、その論文の概要を提供いたします。まずは、PDFファイルを読み込んでテキストを抽出し、その後で内容を要約します。これには少し時間がかかる場合がありますので、しばらくお待ちください。 PDFからテキストを抽出しました。抽出されたテキストは、論文「Holographic dynamics simulations with a trapped ion quantum computer」と題されたもので、以下のような内容が含まれています： - **著者**: Eli Chertkovらによって書かれ、Honeywell Quantum SolutionsやUniversity of Illinois at Urbana-Champaignなどの機関に所属している。- **日付**: 2021年5月21日。- **内容の概要**: - 量子コンピューターが、多くの相互作用する量子粒子のダイナミクスを効率的にシミュレートする潜在能力を持っていると述べています。これは、化学から高エネルギー物理学に至るまで幅広い分野にとって重要な、古典的には扱いきれないタスクです。  - 既存のハードウェアの精度とメモリの制限により、従来の方法でシミュレートできるモデルのサイズと複雑さが大きく制限されているとの問題提起があります。  - 研究チームは「ホログラフィック量子ダイナミクスシミュレーション」という新しいスケーラブルな量子シミュレーションパラダイムを実演・ベンチマークしており、これは量子テンソルネットワークによる効率的な量子データ圧縮と、途中での測定と量子ビットの再利用を活用して、利用可能な量子ビットの数よりもはるかに多くの量子自由度を持つ物理システムをシミュレートするものです。  - Honeywellのトラップイオン量子プロセッサを使用して、最大9個のトラップイオン量子ビットを使って、32スピンのエンタングル状態から自己双対キックアイジングモデルの非積分（カオス的）ダイナミクスをシミュレートし、最近開発された正確な解析手法を通じて直接熱力学限界で計算されたダイナミクスに対して優れた量的一致を得ています。 この抽出されたテキストから、論文は量子コンピューターを使った量子ダイナミクスのシミュレーションにおいて、既存のハードウェアの制限を克服し、より大きなシステムを扱える新しい方法を提案し、それを実際にHoneywellの量子プロセッサで実証したことを報告していることがわかります。これは、量子テンソルネットワークの方法と最新の量子プロセッサの能力を組み合わせることで、実用的な量子アドバンテージを近い将来実現するための実現可能な道を提供するものとされています。 さらに詳細な解析や全文の要約が必要であれば、その旨をお知らせください。 -------------- とんでも無い速さで解説してきました。もう人間いらないんじゃ。。。使うとかなり便利ですね！今回は以上です！

ChatGPTにマルチモーダルで、画像の解説とPDFの解説をさせてみた

Yuichiro Minato