撸撸射！

三个月往常了色狗影视，当初的 “开源落伍论” 再一次被打脸。

而打脸的东说念主，仍然是前次那位，元天地倡导者，前半功绩拳击手，消散在硅谷的简陋蜥蜴东说念主，扎克伯格。

好吧不卖关子了，简略来说等于，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模子， Llama3.1 。

这玩意跟前次 Llama3 雷同亦然三个版块，除了同参数目的 80 亿和 700 亿，此次最亮眼的是他们的超大杯，在老黄数万显卡的供应下，小扎的新模子用了足足 4050 亿参数！

而它的性能，也堪称一经十足追上 ChatGPT4o 和 Claude3.5-Sonnet ，像长文本和数学这些方面甚而卓越他俩。这回啊，是开源的得手！

硅谷的其他大佬也对这个模子格外看好，斯坦福大学蓄意机阐述、谷歌 AI 崇敬东说念主 Andrew Ng 叹惜说念， Meta 的此次更新，对统统东说念主来说都是超赞的礼物。

英伟达科学家， AI 施行室崇敬东说念主 Jim Fan 甚而以为，并列 GPT-4 的力量一经发送到天下手中了，这是个历史性时刻！

不少媒体也随着炸裂，声称 AGI 之路近在目前了，不外世超我如故先泼一盆冷水，劝天下先别急着狂热了，因为东说念主家 Meta AI 官方此次，也放出了Llama3.1 的雅致论文，足足 90 页。

这个版块究竟调动了什么场地，是不是真有吹的这样神，那论文里其实都写上了。

我们也花了一个下昼，酌量了一番，发现这篇论文涵盖了预解决、生成考试、推理考试、退火迭代、多模态评估等经过，但中枢其实说的等于两件事，一是大批的考试，二是考试里作念了些优化。

伊始咱就说考试这方面，他们就下了大功夫，作念了算力和数据的推论。

毕竟东说念主家用了 1.6 万台 H100 跑了 3930 万 GPU 小时（格外于单块 GPU3930 万个小时的蓄意量 ）。运算范畴比 Llama2 翻了 50 倍，还填了包括多种话语的 15 万亿 Tokens ，格外于 7500 亿单词进去，而上代版块只消 1.8 万亿 Tokens 。模子高下文窗口也从 8K 增多到 128K ，延长了 16 倍。

数据和运算范畴上去了，才略确定也就上来了，杰出一个力大砖飞。毕竟这样多东西，要咱学简略率摆烂学不动，但东说念主家 AI 是真学啊。

其次，除了填鸭式考试，考试本色里的优化和微调也挺伏击的，这亦然他们能快速跳动的另一个原因。比如说在刚驱动解决考试信息的时期，他们就用了一些算法，来算帐疏通本色和垃圾信息，进步考试数据的质料。

你可别说这操作不伏击，上回某闻明 AI 就在中语垃圾信息上翻车了，成了见笑于人的典型。

这里他们描述了疏通数据删除和启发式过滤两个算法的次序

而在模子结构上，为了矜恤这样大批的数据考试， Meta 也作念了不少调动，像是把考试数据由 16 位精度镌汰到 8 位，这样不但能节俭储存空间还便捷蓄意，况且成心于在出动端部署。

不外这个主见别的厂家也不是没念念到，只不外镌汰精度有可能会增多罪恶，导致大模子性能镌汰，而 Meta 在这个过程中则是通过 “ 行级量化 ” 等世超听都没听过的算法，来拿握这个罪恶的度，尽量作念到两全其好意思。

除以以外，他们还铲除了用传统的强化学习算法来进行模子后解决，而是选拔靠测试员的标注和监督，边反应边迭代。

这样搞天然比较费东说念主，但能增多 Llama3.1 的可延长性，也等于像后续要增多的图像、语音、视频识别等功能，生成的着力也会愈加天然，跟东说念主类潜入对皆。

而其他厂商看到 Llama3.1 的开源大旗，也纷繁来投，尽管月活超 7 亿的厂家还得先恳求，但到当今一经有 25 家企业都官宣要出基于 Llama3.1 的新模子。

这内部不但有亚马逊、戴尔这些大厂和 Grop 这样的新锐小厂，还有位居 AI 大幕背后的英伟达。。。

对，老黄也全面拥抱开源了，要把 Llama3.1 用到他家 AI Foundry 处事里。

说这样多，那这个进犯的羊驼用起来是不是真这样给力哄哄呢？我们上手试了试，发现存些场地它作念得如实不错，有些场地则也会翻车。

比如，在长文本阅读这个范畴它巧合期弘扬的就还不错，我们测试了让它复兴十几轮问题之前的意见，发现它确凿能在复兴里反应到其时给出的信息。

但靠近没提供过的信息，他也会瞎掰八说念。比如当我们发问他我方哪年发布的时期他也说不准，因为它的考试数据是纵脱客岁年底的。

而在经典弱智吧考试方面， Llama3.1 也会出现轮廓的情况，这方面弘扬的真不如附进 Gemini 。

上图为 Llama3.1 ，下图为 Gemini

数据推理上，像用前几天考倒了繁多 AI 的 9.11 和 9.9 谁大问题，他也搞不定。

Llama3.1 的弘扬跟 GPT-4o 比拟不成说云泥之别也只可说难兄难弟，甚而还故作姿态的硬给解释他们的造作谜底。

而附进 Claude3-Sunnet 就薄纱了这哥俩，瞧瞧东说念主家这推理，怪不得东说念主家这块比你俩得分高。

左边为 Claude3-Sunnet ，右边为 GPT-4o-mini

那是不是这个 Llama3.1 啥啥都不行呢？话也不成这样说，天然上头展示了一些翻车案例，但这倒也不成代表 Llama3.1 的真实实力就这样。

主要官方给的这个模子版块，格外于一个十足没优化的基本型号，毛坯房。而它的上风在于后期用户不错在它内部安排多样定制化操作，格外于把毛坯房翻修出花来，到时期才会展现这玩意确凿切功力。

也等于说， Llama 的兴味在于开源后创作家们的调教和微操，这才是这类开源模子的私有之处。

不外这也不虞味着 Meta 这波就一下翻身了，比 OpenAI 给力了。天然开源的 Llama3.1 拓展性会很强，但毕竟它的基础底细其实也莫得跟 ChatGPT4o 拉开太大差距。

而且 Meta 发力的时期东说念主家 OpenAI 确定也没闲着， ChatGPT5 简略率会带来新的最初上风。

说到底，开源和闭源各有上风，但谁一定会颠覆谁那倒真不一定。

从 Llama2 到 3 到 3.1 ，确凿是开源党的节节得手，但后续是不是跟扎克伯格在昨天访谈里说的雷同， Llama 会酿成 AI 期间的 Linux ，目前来说其实很难定论，也有可能会酿成 iOS 之于安卓这种并存的相干。

至于 AGI 之路是不是能靠开源的 LLM 模子走到，扎克伯格是挺看好的，但 AI 圈里的老熟东说念主杨乐坤如故以为犹未可知。

不外关于此次 Llama3.1 获得的跳动，他却暗示：天然成不了 AGI ，但这玩意如实灵验啊。

撰文： 纳西

剪辑： 江江&面线

好意思编： 萱萱

图片、贵寓起头：

Meta，X，Github，Huggingface色狗影视，lmsys，机器之心等