驚き屋ではありませんが、毎日驚いています。今回はGroq（グロック）です。
イーロンマスクが提供しているLLMはGrokです。違うものです。
Groqは元Googleのエンジニアが作ったLPUという言語モデル用のチップとなっていて、普段私たちもChatGPTのようなサービスを使うと文章が生成されるまで待ち時間が発生しますよね。このGroqはAIの文章生成専用に作られてるので超高速で文字が出ます。こちらに動画にしたので、いかに早いか見れます。
大体１秒間にトークンという単語に近い単位で800近く生成することができるので、人間が読むよりもはるかに早い速度で生成ができてしまいいます。文章生成に数秒で終わってしまうので、通常は20-30秒ほどかかりますよね。
ウェブサイトから登録すると無料で使えて爆速です。今回はさらにMeta社が発表した新しい言語モデルのLlamaなども使えるので、速くて高性能というのが無料というのがやばいです。
うちの会社でもコツコツやっていますが、この速度は無理ですね。今後LLM業界はどうなってしまうのか楽しみであり、ついていくのが大変ですね。以上です。