Docs
Quantum Circuit
TYTAN CLOUD

QUANTUM GAMING


autoQAOA
Desktop RAG

Overview
Terms of service

Privacy policy

Contact
Research

Sign in
Sign up

元Googleエンジニアの立ち上げたGroqという高速LLMチップがすごい

Yuichiro Minato

2024/04/22 02:20

驚き屋ではありませんが、毎日驚いています。今回はGroq(グロック)です。

イーロンマスクが提供しているLLMはGrokです。違うものです。

https://groq.com/

Groqは元Googleのエンジニアが作ったLPUという言語モデル用のチップとなっていて、普段私たちもChatGPTのようなサービスを使うと文章が生成されるまで待ち時間が発生しますよね。このGroqはAIの文章生成専用に作られてるので超高速で文字が出ます。こちらに動画にしたので、いかに早いか見れます。

https://www.youtube.com/watch?v=aMq0GKI6Igg

大体1秒間にトークンという単語に近い単位で800近く生成することができるので、人間が読むよりもはるかに早い速度で生成ができてしまいいます。文章生成に数秒で終わってしまうので、通常は20-30秒ほどかかりますよね。

ウェブサイトから登録すると無料で使えて爆速です。今回はさらにMeta社が発表した新しい言語モデルのLlamaなども使えるので、速くて高性能というのが無料というのがやばいです。

うちの会社でもコツコツやっていますが、この速度は無理ですね。今後LLM業界はどうなってしまうのか楽しみであり、ついていくのが大変ですね。以上です。


Related posts

© 2025, blueqat Inc. All rights reserved