XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周快讯

TechWeb.com.cn 2024-03-18 11:14
分享到:
导读

xAI官网宣布开始发布的时间是周日,Grok-1的开源时间仍是在马斯克所说的那一周内,马斯克领导的人工智能公司xAI当地时间周一在官网宣布。

【TechWeb】3月18日消息,据外媒报道,马斯克领导的人工智能公司xAI当地时间周一在官网宣布,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。

从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中,Grok-1的参数最多的。

XAI官网的信息还显示,Grok-1是由他们从头开始训练的模型,此次发布的是预训练阶段结束时的原始基础模型检查点,预训练阶段在去年10月份完成。这也就意味着他们开源的模型,没有进行针对对话等任何具体应用的微调。

在官网上,xAI披露Grok-1是在大量文本数据上训练的基础模型,是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果,权重和架构均依照Apache 2.0开源许可协议发布。

虽然Grok-1已正式开源,但在开源时间上,还是要晚于马斯克此前所宣布的时间。

马斯克是上周一,在他所收购的社交媒体上宣布Grok大模型将开源的,当时他公布的开源时间是上周,xAI官网宣布开始发布的时间是周日。而包括美国在内的诸多国家,仍习惯将周日作为一周的开始,止于周六,3月17日是新一周的第一天,这也就意味着Grok-1并未如马斯克此前在社交媒体上所公布的那样,在上周开源。

不过,按照国际标准化组织在ISO 8601国际标准中给出的日历星期表示方法,每个日历星期是始于周一,止于周日。如果按照这一标准,Grok-1的开源时间仍是在马斯克所说的那一周内。
 

模型 Grok- xAI 训练 时间
分享到:

1.TMT观察网遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2.TMT观察网的原创文章,请转载时务必注明文章作者和"来源:TMT观察网",不尊重原创的行为TMT观察网或将追究责任;
3.作者投稿可能会经TMT观察网编辑修改或补充。