马斯克：xAI训练Grok-3大模型用了10万块英伟达H100 芯片

转载：https://ai.zol.com.cn/881/8813218.html

2024-07-02 15:58:30·[??中关村在线 原创??]·作者：薄荷糖的夏天

7月2日，马斯克宣布其人工智能初创公司xAI的大语言模型Grok-2将于8月推出，带来更多先进的AI功能。尽管Grok-2尚未亮相，但马斯克已经开始为即将推出的Grok-3造势。

马斯克表示，在训练AI聊天机器人时需要大量数据，并且从现有数据中清除大型语言模型（LMM）的工作量巨大。他还谈到了OpenAI模型输出训练过程中遇到的几个问题。

据了解，xAI的Grok-3使用了10万块英伟达H100芯片进行训练，预计将于今年年底发布，预计将带来“非常特别”的功能。英伟达H100是一种专门用于处理大型语言模型（LLMs）数据的AI芯片。每块英伟达H100人工智能芯片的价格大约在3-4万美元（约合人民币21.9-29.2万元），如果批量购买可能会有折扣。

根据我们简单的计算，xAI所使用的10万块英伟达H100价值大约30-40亿美元（约合人民币218.68-291.57亿元）。值得一提的是，马斯克之前曾提到特斯拉今年从英伟达的采购额估计将在30-40亿美元之间。因此，合理推测xAI在这里使用了特斯拉购买的英伟达芯片进行训练。