驚き屋ではありませんが、毎日驚いています。今回はGroq（グロック）です。イーロンマスクが提供しているLLMはGrokです。違うものです。 <a href="https://groq.com/" rel="noopener noreferrer" target="_blank">https://groq.com/</a> Groqは元Googleのエンジニアが作ったLPUという言語モデル用のチップとなっていて、普段私たちもChatGPTのようなサービスを使うと文章が生成されるまで待ち時間が発生しますよね。このGroqはAIの文章生成専用に作られてるので超高速で文字が出ます。こちらに動画にしたので、いかに早いか見れます。 https://www.youtube.com/watch?v=aMq0GKI6Igg 大体１秒間にトークンという単語に近い単位で800近く生成することができるので、人間が読むよりもはるかに早い速度で生成ができてしまいいます。文章生成に数秒で終わってしまうので、通常は20-30秒ほどかかりますよね。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/04/22/GroqChat.png"/> ウェブサイトから登録すると無料で使えて爆速です。今回はさらにMeta社が発表した新しい言語モデルのLlamaなども使えるので、速くて高性能というのが無料というのがやばいです。 うちの会社でもコツコツやっていますが、この速度は無理ですね。今後LLM業界はどうなってしまうのか楽しみであり、ついていくのが大変ですね。以上です。

元Googleエンジニアの立ち上げたGroqという高速LLMチップがすごい

Yuichiro Minato