レシピデータを読み込ませてお料理したいですよね。LLMを使って簡単にボットが作れます。今回は弊社の株主であるABCクッキングスタジオさんのレシピを読み込んで、お料理作りを簡単にしてみます。 なすと挽き肉のボロネーゼごはん<a href="https://www.abc-cooking.co.jp/plus/recipe/detail/?id=44750" rel="noopener noreferrer" target="_blank">https://www.abc-cooking.co.jp/plus/recipe/detail/?id=44750</a> ウェブサイトを見ただけではどこに注目すればいいのかわからない場合でも、下記のようにAIと会話しながらWebサイトの情報を欲しいところだけ教えてくれます。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/04/11/bot.png"/> 必要な技術は、 Langchain（一通りのAIの手順を作る）LLM（これはChatGPTなどのサービスでもいいし、自分のローカルPCに置いておくことも可能）ウェブクローラー（今回は直接ウェブサイトから情報をとってきます）gradio（簡単にウェブのインターフェースが作れます） となります。まず、基本的なLLMの応答の作り方は別の記事で確認しました。 LLM + RAG 超入門<a href="https://blueqat.com/yuichiro_minato2/a5278948-232f-45c9-859e-4257dd5d116a" rel="noopener noreferrer" target="_blank">https://blueqat.com/yuichiro_minato2/a5278948-232f-45c9-859e-4257dd5d116a</a> まずモデルは今回はHugging Faceから読み込みました。Mistral7Bです。最近は日本語モデルも出てるので、必ずしもこれにこだわる必要はありません。 <pre class="ql-syntax" spellcheck="false">from transformers import AutoTokenizer, pipeline
#import torch

model_id = &#34;mistralai/Mistral-7B-Instruct-v0.2&#34;
tokenizer = AutoTokenizer.from_pretrained(model_id)

pipe = pipeline(&#34;text-generation&#34;, model=model_id, tokenizer=tokenizer, device=0, max_new_tokens=300)
</pre> 次に前回はPDFLoaderを使いましたが、今回はこの部分を変更します。 <pre class="ql-syntax" spellcheck="false">from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings.huggingface import HuggingFaceEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = PyPDFLoader(&#34;https://arxiv.org/pdf/2312.03982.pdf&#34;)
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = HuggingFaceEmbeddings(
  model_name=&#34;intfloat/multilingual-e5-large&#34;
)

db = FAISS.from_documents(docs, embeddings)
</pre> 今回はウェブからとって来るので、 <pre class="ql-syntax" spellcheck="false">from langchain_community.document_loaders import WebBaseLoader

loader = WebBaseLoader(&#34;https://www.abc-cooking.co.jp/plus/recipe/detail/?id=44750&#34;)
</pre> めちゃくちゃ簡単ですよね。これでLoaderの設定は終わりです。最後にチャット部分ですが、プロンプトを含めた応答は、 <pre class="ql-syntax" spellcheck="false">from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain.llms import HuggingFacePipeline

llm = HuggingFacePipeline(pipeline=pipe)

template = &#34;&#34;&#34;Answer the question based only on the following context:

{context}

Question: {question}
&#34;&#34;&#34;

prompt = ChatPromptTemplate.from_template(template)

def format_docs(docs):
  return &#34;\n\n&#34;.join([d.page_content for d in docs])

chain = (
  {&#34;context&#34;: retriever | format_docs, &#34;question&#34;: RunnablePassthrough()}
  | prompt
  | llm
  | StrOutputParser()
)

answer = chain.invoke(query)
print(answer)
</pre> これが基本でした。templateのところを日本語で、「下記のコンテクストに応じて質問に日本語で答えてください。」のように変更してあげてもいいです。そして、最後にこれをインターフェイスにします。 参考文献：自前のチャットボットを「LlamaIndex+GPT4+gradio」で爆速構築してみよう!<a href="https://qiita.com/DeepTama/items/1a44ddf6325c2b2cd030" rel="noopener noreferrer" target="_blank">https://qiita.com/DeepTama/items/1a44ddf6325c2b2cd030</a> こちらの記事はlangchainではなく似たようなLlamaIndexを使っていますが、基本的には同じです。まずはgradioをインストール。 <pre class="ql-syntax" spellcheck="false">!pip install gradio
</pre> そして下記のようにPythonをかくとウェブサーバーが立ち上がります。ローカルに立ち上がりますが、.launch()内部にパラメータを設定するとウェブアドレスを外部に立ち上げてもくれます。ポイントは中程のresponseの部分を今回のLLMで構築したRAGに置き換えればOK。 <pre class="ql-syntax" spellcheck="false">import gradio as gr
import os

def add_text(history, text):
 history = history + [(text, None)]
 return history, gr.Textbox(value=&#34;&#34;, interactive=False)

def bot(history):
 query = history[-1][0]
 response = chain.invoke(query)
 history[-1][1] = &#34;&#34;
 for character in response:
 history[-1][1] += character
 yield history

with gr.Blocks() as demo:
 chatbot = gr.Chatbot([])
 with gr.Row():
 txt = gr.Textbox(
 scale=4,
 show_label = False,
 container = False
 )
 clear = gr.Button(&#34;Clear&#34;) 

 txt_msg = txt.submit(add_text, [chatbot, txt], [chatbot, txt], queue = False).then(bot, chatbot, chatbot)
 txt_msg.then(lambda: gr.Textbox(interactive = True), None, [txt], queue = False)
 clear.click(lambda: None, None, chatbot, queue=False)

demo.queue() 
demo.launch()
</pre> 使いやすいインターフェースつきのRAGがすぐにできました！ <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/04/11/bot2.png"/> ハルシネーションと言ってない幻覚を話してしまうこともあります。プロンプトエンジニアリングでなんとか解決しましょうね。以上です。

Langchain + Mistral7B + gradioで作るお手軽お料理レシピロボット！

Yuichiro Minato