EN
中文
注册 / 登录
产品分类:
加载中...
头条分类:
加载中...
刚刚,Llama 4深夜开源击败DeepSeek V3!2万亿多模态巨兽抢回王座
原生多模态Llama 4终于问世,开源王座一夜易主!首批共有两款模型Scout和Maverick,前者业界首款支持1000万上下文单H100可跑,后者更是一举击败了DeepSeek V3。目前,2万亿参数巨兽还在训练中。 一大早,Llama 4重磅发布了! Meta官宣开源首个原生多模态Llama 4,首次采用的MoE架构,支持12种语言,首批发布一共两款: Llama 4 Scout:共有1090亿参数,17B活跃参数,16个专家,1000万上下Llama 4 Maverick:共有4000亿参数,17B活跃参数,128个专家,100万上下文 另外,2万亿参数Llama 4 Behemoth将在未来几个月面世,288B活跃参数,16个专家。 Llama 4的横空出世,成为迄今为止开源最强,多模态能力最好的模型之一。 在大模型LMSYS排行榜上,Llama 4 Maverick冲上第二( ELO得分1417),仅次于闭源Gemini 2.5 Pro。 更值得一提的是,仅用一半参数,Maverick推理编码能力与DeepSeek-v3-0324实力相当。 Llama 4 Scout最大亮点在于支持1000万上下文,相当于可以处理20+小时的视频,仅在单个H100 GPU(Int4 量化后)上就能跑。 在基准测试中,性能超越Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1。 即将面世的Llama 4 Behemoth(仍在训练中),是Maverick协同蒸馏的教师模型,使用30T多模态token在32K个GPU上进行预训练(FP8)。 目前在STEM基准测试中,超越了GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Pro。 小扎激动地在官宣视频中称,「今天是Llama 4日」! Llama 4开源后,DeepSeek R2还远吗? 此前报道称,DeepSeek R2最晚在5发布,看来可能要提前了... 史上最强Llama 4开源,超越DeepSeek V3 Llama 4模型开源,标志着Llama生态系统进入了一个新纪元。 即日起,所有开发者可以在llama.com和Hugging Face下载这两款最新的模型 在大模型排行榜中,Llama 4 Maverick在硬提示(hard prompt)、编程、数学、创意写作、长查询和多轮对话中,并列第一。 仅在样式控制下,排名第五。 而且,1000万上下文Llama 4 Scout还击败了OpenAI的模型。 每个人还可以在WhatsApp、Messenger、Instagram Direct和网页上体验基于Llama 4的应用。 首次采用MoE,单个H100即可跑 Llama团队设计了两款高效的Llama 4系列模型,只要单个H100 GPU就能运行: 一个是Llama 4 Scout(拥有170亿个活跃参数和16个专家),使用Int4量化可以在单个H100 GPU上运行;另一个是Llama 4 Maverick(拥有170亿个活跃参数和128个专家),可以在单个H100主机上运行。 目前,正在训练的教师模型——Llama 4 Behemoth,它在STEM基准测试(如MATH-500和GPQA Diamond)中,性能优于GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Pro。 在最新博文中,Meta分享了更多的关于Llama 4家族训练的技术细节。 在英伟达B200上,Llama 4可以每秒处理42400个token 预训练 Llama 4模型是Llama系列模型中首批采用混合专家(MoE)架构的模型。 在MoE模型中,单独的token只会激活全部参数中的一小部分。 与传统的稠密模型相比,MoE架构在训练和推理时的计算效率更高,并且在相同的训练FLOPs预算下,能够生成更高质量的结果。 架构概览,右为混合专家(MoE)架构 举个例子,Llama 4 Maverick模型的4000亿个总参数中有170亿个活跃参数。 为了提高推理效率,Meta交替使用了稠密层和专家混合(MoE)层。 MoE层用到了128个路由专家和一个共享专家。每个token都会被送到共享专家,同时也会送到128个路由专家中的一个。 因此,虽然所有参数都存储在内存中,但在运行这些模型时,只有部分参数会被激活。 这样就能提升推理效率,降低模型服务的成本和延迟—— Llama 4 Maverick可以轻松部署在一台NVIDIA H100 DGX主机上运行,或者通过分布式推理来实现最高效率。 原生多模态设计 Llama 4是一个原生多模态模型,采用了早期融合技术,能把文本和视觉token无缝整合到一个统一的模型框架里。 早期融合是个大进步,因为它可以用海量的无标签文本、图片和视频数据一起来预训练模型。 Meta还升级了Llama 4的视觉编码器。这个编码器基于MetaCLIP,但在训练时跟一个冻结的Llama模型分开进行,这样能更好地调整编码器,让它更好地适配大语言模型(LLM)。 模型超参数优化 Meta还开发了一种叫做MetaP的新训练方法,能让他们更靠谱地设置关键的模型超参数,比如每层的学习率和初始化规模。 这些精心挑选的超参数在不同的批大小、模型宽度、深度和训练token量上都能很好地适配。 Llama 4通过在200种语言上预训练实现了对开源微调的支持,其中超过10亿个token的语言有100多种,整体多语言token量比Llama 3多出10倍。 高效的模型训练,解锁1000万输入上下文长度 此外,Meta注重高效的模型训练,采用了FP8精度,既不牺牲质量,又能保证模型的高FLOPs利用率—— 在使用FP8精度和32K个GPU预训练Llama 4 Behemoth模型时,达到了每个GPU 390 TFLOPs的性能。 训练用的整体数据包含了超过30万亿个 token,比Llama 3的预训练数据量翻了一倍还多,涵盖了文本、图片和视频数据集。 Meta用一种叫做「中期训练」的方式来继续训练模型,通过新的训练方法,包括用专门的数据集扩展长上下文,来提升核心能力。 这不仅提高了模型的质量,还为Llama 4 Scout解锁了领先的1000万输入上下文长度。 后训练 最新的模型包含了不同的参数规模,满足各种使用场景和开发者的需求。 Llama 4 Maverick:参数规模较大,主要用于图像理解和创意写作 Llama 4 Scout:参数规模较小,适用多种任务,支持1000万token上下文,全球领先。 为了让不同模型适应不同的任务,针对多模态、超大参数规模等问题,Meta开发了一系列新的后训练方法。 主力模型Llama 4 Maverick 作为产品的核心模型,Llama 4 Maverick在图像精准理解和创意写作方面表现突出,特别适合通用助手、聊天类应用场景。 训练Llama 4 Maverick模型时,最大的挑战是保持多种输入模式、推理能力和对话能力之间的平衡。 后训练流程 为了训练Llama 4,Meta重新设计了后训练流程,采用了全新的方法: 轻量级监督微调(SFT)> 在线强化学习(RL)> 轻量级直接偏好优化(DPO)。 一个关键发现是,SFT和DPO可能会过度限制模型,在在线RL阶段限制了探索,导致推理、编程和数学领域的准确性不理想。 为了解决这个问题,Meta使用Llama模型作为评判者,移除了超过50%的被标记为「简单」的数据,并对剩余的更难数据进行轻量级SFT。 在随后的多模态在线RL阶段,精心选择了更难的提示,成功实现了性能的飞跃。 此外,他们还实施了持续在线RL策略,交替进行模型训练和数据筛选,只保留中等到高难度的提示。这种策略在计算成本和准确性之间取得了很好的平衡。 最后,进行了轻量级的DPO来处理与模型响应质量相关的特殊情况,有效地在模型的智能性和对话能力之间达成了良好的平衡。 新的流程架构加上持续在线RL和自适应数据过滤,最终打造出了一个行业领先的通用聊天模型,拥有顶尖的智能和图像理解能力。 Llama 4 Maverick碾压GPT-4o和Gemini 2.0 作为一款通用的LLM,Llama 4 Maverick包含170亿个活跃参数,128个专家和4000亿个总参数,提供了比Llama 3.3 70B更高质量、更低价格的选择。 Llama 4 Maverick是同类中最佳的多模态模型,在编程、推理、多语言支持、长上下文和图像基准测试中超过了类似的模型,如GPT-4o和Gemini 2.0,甚至能与体量更大的DeepSeek v3.1在编码和推理上竞争。 通用模型Llama 4 Scout:1000万token上下文 规模较小的Llama 4 Scout是一款通用模型,拥有170亿个活跃参数、16个专家和1090亿个总参数,在同类别中性能最好。 Llama 4 Scout 的支持上下文长度从 Llama 3 的12.8万激增到行业领先的1000万token。 这为多种应用打开了无限可能,包括多文档摘要、大规模用户活动解析以进行个性化任务,以及在庞大的代码库中进行推理。 Llama 4 Scout在预训练和后训练时都采用了256K的上下文长度,基础模型具备了先进的长度泛化能力。 它在一些任务中取得了亮眼成果,比如文本检索中的「大海捞针式检索」和在1000万token代码上的累积负对数似然(NLLs)。 Llama 4架构的一个关键创新是使用了交替注意力层,而不依赖于位置嵌入。 此外,在推理时采用了温度缩放注意力,以增强长度泛化能力。Meta将其称为iRoPE架构,其中「i」代表「交替」(interleaved)注意力层,突出了支持「无限」上下文长度的长期目标,而「RoPE」则指的是在大多数层中使用的旋转位置嵌入(Rotary Position Embeddings)。 视觉理解能力 两款模型进行了大规模的图像和视频帧静态图像训练,以赋予它们广泛的视觉理解能力,包括对时间活动和相关图像的理解。 它们能够在多图像输入和文本提示的配合下,轻松进行视觉推理和理解任务。 模型预训练时最多用了48张图像,而在后训练测试中,最多8张图像也能取得不错的效果。 Llama 4 Scout在图像定位方面也是同类最佳,能够将用户的提示与相关的视觉概念对齐,并将模型的响应锚定到图像中的特定区域。 这使得更精确的视觉问答成为可能,帮助LLM更好地理解用户意图并定位感兴趣的对象。 编程、推理、长上下文和图像上,遥遥领先 Llama 4 Scout在编程、推理、长上下文和图像基准测试中超过了类似的模型,并且在所有以前的Llama模型中表现更强。 秉承对开源的承诺,Meta将Llama 4 Maverick和Llama 4 Scout提供给用户下载,用户可以在llama.com和Hugging Face上获取,之后这些模型还将在最广泛使用的云平台、数据平台、边缘硅片以及全球服务集成商上陆续上线。 2万亿巨兽,干掉GPT-4.5 Llama 4 Behemoth是一款「教师模型」,在同级别的模型里,它的智能水平相当高超。 Llama 4 Behemoth同样是一个多模态混合专家模型,拥有2880亿个活跃参数、16个专家以及近2万亿个总参数。 在数学、多语言处理和图像基准测试方面,它为非推理模型提供了最先进的性能,成为训练较小的Llama 4模型的理想选择。 教师模型+全新蒸馏 从Llama 4 Behemoth中蒸馏出来Llama 4 Maverick,在最终任务评估指标上大幅提升了质量。 Meta开发了一种新的蒸馏损失函数,在训练过程中动态地加权软目标和硬目标。 通过从Llama 4 Behemoth进行共同蒸馏,能够在预训练阶段分摊计算资源密集型前向计算的成本,这些前向计算用于计算大多数用于学生模型训练的数据的蒸馏目标。 对于学生训练中包含的额外新数据,会在Behemoth模型上运行前向计算,以生成蒸馏目标。 后训练 对一个拥有两万亿参数的模型进行后训练也是一个巨大的挑战,这必须彻底改进和重新设计训练方案,尤其是在数据规模方面。 为了最大化性能,不得不精简95%的SFT数据,相比之下,较小的模型只精简了50%的数据,目的是确保在质量和效率上的集中关注。 Meta还发现,采用轻量级的SFT后接大规模RL能够显著提高模型的推理和编码能力。Meta的RL方案专注于通过对策略模型进行pass@k分析来采样难度较大的提示,并设计逐渐增加提示难度的训练课程。 在训练过程中动态地过滤掉没有优势的提示,并通过从多个能力中混合提示构建训练批次,对提升数学、推理和编码的性能起到了关键作用。 最后,从多种系统指令中采样对于确保模型保持良好的指令跟随能力,在推理和编码任务中表现出色也至关重要。 扩展RL训练 对于两万亿参数的模型,扩展RL训练也要求重新设计底层的RL基础设施,应对前所未有的规模。 Meta优化了MoE并行化的设计,提高了速度,从而加快了迭代速度。 Llama团队开发了一个完全异步的在线RL训练框架,提升了灵活性。 与现有的分布式训练框架相比,后者为了将所有模型都加载到内存中而牺牲了计算内存,新基础设施能够灵活地将不同的模型分配到不同的GPU上,根据计算速度在多个模型之间平衡资源。 这一创新使得训练效率比之前的版本提升了约10倍。 Llama 4一夜成为开源王者,甚至就连DeepSeek V3最新版也被拉下神坛,接下来就是坐等R2的诞生。
OpenAI遭实锤:研究称其AI模型“记住”了受版权保护的内容
IT之家 4月6日消息,一项新研究似乎为OpenAI至少使用部分受版权保护内容来训练其人工智能模型的指控提供了依据。 IT之家注意到,OpenAI正面临由作家、程序员以及其他版权持有者提起的诉讼,这些原告指责该公司在未经许可的情况下,使用他们的作品——包括书籍、代码库等,来开发其模型。尽管OpenAI一直声称其享有合理使用的抗辩理由,但原告方则认为美国版权法中并无针对训练数据的豁免条款。 该研究由华盛顿大学、哥本哈根大学和斯坦福大学的研究人员共同撰写,提出了一种新方法,用于识别像OpenAI这样通过应用程序接口(API)提供服务的模型所“记忆”的训练数据。 AI模型本质上是预测引擎,通过大量数据训练,它们能够学习各种模式,从而生成文章、照片等。虽然大多数输出并非训练数据的逐字复制,但由于模型的“学习”方式,部分内容不可避免地会被模型记忆下来。此前已有研究发现,图像模型会重复生成其训练数据中电影的截图,而语言模型则被观察到存在剽窃新闻文章的行为。 该研究的核心方法依赖于研究人员提出的“高意外性”词汇,即在大量作品中显得不常见的词汇。例如,在句子“Jack and I sat perfectly still with the radar humming”中,“radar”(雷达)一词被认为是高意外性的,因为从统计学角度来看,它出现在“humming”(嗡嗡作响)之前的可能性比“engine”(引擎)或“radio”(收音机)等词要低。 共同作者对包括GPT-4和GPT-3.5在内的几种OpenAI模型进行了测试,通过从虚构小说片段和《纽约时报》文章中移除高意外性词汇,然后让模型尝试“猜测”被屏蔽的词汇,来寻找记忆迹象。研究人员认为,如果模型能够成功猜出这些词语,则很可能表明该模型在训练过程中记忆了这些片段。 根据测试结果,GPT-4显示出记住了流行小说书籍的部分内容,包括一个包含受版权保护电子书样本的数据集BookMIA中的书籍。结果还表明,该模型记住了《纽约时报》文章的部分内容,尽管比例相对较低。 华盛顿大学的博士生、该研究的共同作者阿比拉沙・拉维奇汉德(Abhilasha Ravichander)对TechCrunch表示,这些发现揭示了模型可能接受训练的“有争议的数据”。 长期以来,OpenAI一直倡导放宽对使用受版权保护数据开发模型的限制。尽管该公司已经达成了一些内容许可协议,并提供了允许版权所有者标记不希望其用于训练的内容的退出机制,但该公司一直在游说多个政府将围绕人工智能训练方法的“合理使用”规则编入法典。
AI健身卷土重来,二次泡沫还是真正的颠覆?
自从去年开始,伴随着宏观经济的恢复,健身行业又一次恢复活力,户外骑行、徒步、登山等运动成为人们追逐的新风尚。日前,随着气温的回升,更多的人开始走出户外,大众对健身和健康生活方式的热情不断攀升。 与此同时,多项政策和单位机构也都鼓励大家开始动起来,去拥抱更健康的生活。日前,国家卫健委就在2025年两会期间提出,要持续推进“体重管理年”计划。清华大学则是拿出一节课的时间,鼓励同学们开展体育锻炼,并提供相应的指导。可以预见的是,随着“体重管理年”的持续推进,体育运动市场将会再次扩容。 市场容量的扩大,给了健身行业更多的增量空间。不仅如此,AI大模型的快速发展,也让AI健身走进更多人的生活。AI健身教练、AI健身智能设备以及借助AI分析身体数据,让用户可以更加自主地去调控运动节奏。在京东等电商平台也可以看到,基于国补的助力,一些AI健身器材也受到了用户的关注。 不过,谈到AI健身,估计不少人还记得多年前的市场泡沫,那时各种智能健身镜以及智能跑步机层出不穷,但基于产品并未能给用户提供真正的价值属性,很快便在市场“销声匿迹”。倒不是说产品不存在了,只是为其买单的人越来越少。 “AI健身不是简单将大模型融入硬件”,一名运动产品研发人员对钛媒体APP作者说道,“现在的大模型能力足够可以提供一个不错的健身计划,但难得是计划执行过程中的调整以及动作和效果的分析,这点对硬件和软件的融合都要求更高。” AI催生下的千亿生意 健康,是一个永远被关注且不断讨论的话题。围绕着健康,衍生出许多的产业。在主张健康生活的时代,运动健身已经成为了一种风尚。为了鼓励大家动起来,在更早之前,国家卫生健康委、国家疾控局等16个部门就联合制定印发了《“体重管理年”活动实施方案》。近几年,诸如马拉松等赛事活动也成为大家推崇的活动以及城市的招牌。 根据国家体育总局的统计,2024年经常参加体育锻炼的人数渗透率达37.2%。不过,对比欧美国家,我国健身行业的相关数据还有一定的差距。但换个角度想,差距意味着增量空间,结合政策以及各种活动的引领,更多的人开始参与进来,更多的企业也瞄准健身市场大力投入。 近段时间,随着大模型的加速发展,尤其是低成本、高性能的DeepSeek,让更多的行业开始在AI上发力,这里就包括健身赛道。据央视此前的报道,越来越多的健身企业开始把AI应用到智能健身领域,为消费者带来全新的运动体验。 “超级猩猩”的一名教练对作者表示,早前借助DeepSeek制定了相关操课,线下执行后发现学员的反馈还不错,整体的效果也很好,目前自己在制课时候都会通过DeepSeek去完善。 日前,山东省体育科学研究中心正式宣布“山东省体卫融合综合服务平台”接入DeepSeek大模型,开启全面试用AI(人工智能)运动指导功能,实现个人体质数据精准匹配、AI自动生成运动处方的功能,在科学健身运动干预领域正式迈入智能化发展新阶段。 今年2月份,运动科技公司Keep创始人王宁更是发布全员信,宣布下一个10年公司要All in AI:“基于十年的运动数据积累与沉淀,让在线健身从推荐走向生成”。这一举动也受到了资本市场的认可,最直接的表现就是Keep股价在单日大涨超30%。 随后在3月底,Keep发布了运动健康垂直领域的模型Kinetic.ai,并基于此模型同步上线了首个通用AI教练体验版——卡卡(Kaka),可基于用户的运动诉求定制训练计划和方案,同时也支持基础问答,还会增加图片的识别、语音互动等新的交互来丰富 AI 教练的服务技能。 除此之外,力盛体育早前也发布了AISports私教产品,可以生成式个性化教学。舒华体育推出了带有“AI智能跑步教练”的跑步机。国泰君安此前发布的报告指出,AI健身风口已至,AI健身App和健身器材正逐渐普及,AI健身器械和健身房迎发展契机,有望辐射多产业链。 AI在健身领域的渗透,也进一步催生了行业的创新点。业内人士预计,2025年,中国智能运动健身市场规模将达到820亿元。而在全球市场方面,智能健身器材规模预计在今年会突破1000亿美元,涵盖硬件、软件及服务全产业链等。 在央视的报道中,清华大学体育产业发展研究中心主任王雪莉表示,智能科技和人工智能技术进入体育教育、体育健身、体育赛事等领域,使健身的科学性、趣味性、互动性,包括体育教育的精准性、公平性和统一性都得到了非常好的提升。 可以确定的是,AI在健身行业的系统性落地,正在推动整个行业的革新,不仅仅是效率的提升,更是对健身人群的一次刺激和拓展,从而产生更多的需求。 “塌方”场景还在目,这次能成吗? 每一个产业,在与AI搭边之后,其市场估值都会在短时间内迎来暴涨。随之带来的,还有一些新产业和新产品。对于健身或者说是延伸到健康场景,包括苹果等头部科技巨头一直在投入。 众所周知,在智能手表品类中,即便是价格很贵,但Apple Watch的销量和市占率仍是独一档的,购买者看上的就是苹果的健康监测和数据处理能力。之前,也有报道称,苹果计划将健康应用扩展为一个智能健康助手,继续收集用户设备提供的数据,并通过AI教练根据这些数据提出个性化健康改善建议。 不仅如此,还有消息称,苹果计划在更多的智能设备上加入摄像头,比如智能手表,这样就可以很好地分析用户的健身动作,从而提供更系统化的建议。“苹果在健身达人里几乎是人手必备,不仅仅是品牌和时尚属性,其对健身效果的监测也更好”,上述健身教练表示,“如果苹果能够提供更多的AI健身指导,想必会引导更多人的关注。” 从行业的动作以及厂商的布局来看,AI健身这次有了巨头的牵引,看似是一片前景光明。但不能忘记的是,在多年前,尤其是疫情期间,AI健身就曾是多家创业公司追逐的风口,但最终走向“塌方”。 回过头来看,失败的原因很简单,一个是运营模式单一,硬件+软件会员订阅的方式,找不到持续为其买单的用户。二则是技术层面,当时的AI技术还处于1.0阶段,并不主动,并没有让用户感觉到物超所值。 其实,这一次的AI健身在模式上并没有太大的区别,也都是运用在硬件和软件端。从硬件层面去看,越来越多的智能健身设备有了摄像头,可以在用户健身期间去监测动作是否标准,并为其打分以及提供相关的建议。至于准确性,相关行业从业者对我们透露,目前大概有90%以上的水平。 从市场反馈的数据来看,在国补的推动下,更多的带有健身监测的产品在终端正在加速增长。1月线上监测智能手表手环市场销量达204.2万台,同比增长31.6%,环比增长23.5%。销售额达18.1亿元,同比增长50.9%,环比增长41.7%。Keep的2024年财报数据也显示,运动产品是其三大业务中收入占比最高的。 Keep财报数据 “不过,AI健身并不是简单将大模型融入硬件”,Keep相关负责人在谈及相关话题时,给出了同样的看法,他认为,从产品角度来看,是将AI融入产品,做运动健康领域的AI应用。 对于AI健身来说,硬件只是前菜,更为关键的则是软件层面的能力,比如对用户健身数据的实时处理,之后给出类似于专业私教一样的建议,并对健身计划进行实时的调整,这也是区别于过往单一智能健身定义的最大差异之处,而不仅仅是单一的数据记录以及评分。 Keep相关负责人进一步指出,模型开源,对垂直领域企业而言具有可得性。在运动健身这一细分方向上,在AI的帮助下,可以以极低的边际成本扩大个性化运动内容、课程、计划的供给。在这一交互场景下,平台不是单纯的展示知识,而是有着更复杂的场景,而这些场景将是运动科技类企业下一步可重点挖掘的领域。 “具体来说,在与模型企业达成合作后,外部模型的深度思考与推理能力可直接助力平台生成运动解决方案,给到用户更加适配的课程调整建议,甚至预判运动损伤风险并提供预防,实现‘千人千面’的精准指导。同时,平台可基于其高复合性、完整性的海量数据,对模型进行持续训练和优化。在此基础上,还可整合更多用户信息,实时优化运动方案,调整课程甚至调整卡路里目标,并通过智能硬件设备实现用户反馈与交互,形成‘评估-执行-反馈’闭环。” 诚如上文所说,从硬件到软件应用层面的融合,是这一次AI健身能否不重蹈覆辙的关键,也是平台之间竞争的最大壁垒。但仍有一个关键的问题是,DeepSeek这样的大模型解决了低成本的入门后,平台各参与方如何能让用户为相应更高端的服务付费,才是更大的挑战,尤其是在中国市场。 换句话说,当下谈AI取代私教还为时过早,毕竟实时上手教学指导是机器做不到的,私教所能提供的一些情绪价值也是AI所欠缺的。对于AI健身来说,无论是智能硬件产品还是线下健身房和线上平台应用,这次要真正的颠覆行业,不仅仅是要有更准确的监测和分析能力,更重要是提供系统化、全流程的运动方案,这是大众所需要的,也是付费的前提。 “AI健身目前应该只是解决了基础性问题,我们目前更多还在观望,不会盲目去投初期项目,成本太高。若要颠覆,必须要进化成‘专业’水平,这也是决定市场上限的关键。”某投资人对作者说道。
3799元起!苹果中国官网上架M4款MacBook Pro/Mac mini翻新版
快科技4月6日消息,苹果中国官网最新上架了M4芯片款MacBook Pro和Mac mini翻新机型,相比全新机基本都提供了85折优惠,仅需3799元起。 其中,Mac mini起售价3799元,全新原价则是4499元,14英寸MacBook Pro起售价10999元。 值得注意的是,这两款产品目前在电商平台都支持国补,其中Mac mini全新到手价只要3599元,最近一段时间也被奉为性价比神机。 目前来看,官翻机价格显然不如国补全新机,如果苹果能够将官翻机上架电商,叠加国补后才是性价比最高的方案,甚至秒杀一切迷你主机。 新款Mac mini有两种处理器配置,M4芯片款配备10核中央处理器和10核图形处理器;M4 Pro芯片款集成最多达20颗核心,性能最高可达到M4芯片图形处理器的2倍。 除了性能大幅升级之外,新款Mac mini外观也终于调整,仅仅只有手掌大小,可以直接托在手心,是苹果史上最小尺寸的电脑。 14英寸MacBook Pro则是提供有M4、M4 Pro和M4 Max三种芯片配置。 其中M4 Max则是由MacBook Pro首发搭载,这是M4系列最强悍的PC芯片,拥有14核中央处理器以及32核图形处理器,配备16核神经网络引擎,支持Apple智能。 对比上代M3 Max,M4 Max在Redshift中的渲染性能提速64.9倍,性能极为强悍。 接口方面,搭载M4 Pro和M4 Max芯片的MacBook Pro配备雷雳5,可提供最高达120Gb/s的数据传输速度,方便你连接高速外设、驱动高分辨率显示器,或直接读取SDXC卡的数据。
Llama 4开源空降!1000万超长上下文、单GPU可跑,还有近2万亿参数巨模型
编译 | ZeR0 编辑 | 漠影 智东西4月6日报道,今日,Meta发布Llama 4系列首批模型,包括两款高效模型Llama 4 Scout、Llama 4 Maverick。这是Meta首款采用混合专家(MoE)架构构建的原生多模态模型,其中Scout更是首度支持超长10M上下文窗口。Meta还预览了其迄今最强大的新教师模型——Llama 4 Behemoth。 “小杯”Llama 4 Scout拥有16位专家、170亿个活跃参数、1090亿个总参数,被称作“同类产品中全球最好的多模态模型”,提供1000万tokens上下文窗口(对应多达500万个单词的文本),适用于单张NVIDIA H100 GPU(具有Int4量化),并在广泛基准测试中分数超过Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1。 “中杯”Llama 4 Maverick拥有128位专家、170亿个活跃参数、4000亿个总参数,也是“同类中最好的多模态模型”,适用于单台H100主机,在广泛基准测试中击败了GPT-4o和Gemini 2.0 Flash,同时在推理和编程方面取得了与新DeepSeek-v3相当的结果,活跃参数不到后者的一半。 Llama 4 Maverick主打性价比,其实验性聊天版本在LMArena上的ELO得分为1417,每1M tokens输入和输出推理成本区间(0.19-0.49美元)也做到接近甚至低于DeepSeek v3.1(0.48美元)。 这些成绩归功于从Meta迄今最强大的模型“巨杯”Llama 4 Behemoth的提炼。Llama 4 Behemoth拥有16位专家、2880亿个活跃参数、近2万亿个总参数,在多个STEM基准测试中的表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。 Llama 4 Behemoth仍在训练中,尚未正式发布,但Meta先分享了一些技术细节。 从llama.com和Hugging Face可下载Llama 4 Scout和Llama 4 Maverick模型。这些模型很快将在主流云和数据平台、边缘芯片和全球服务集成商上提供。 模型下载地址: llama.com/llama-downloads/ huggingface.co/meta-llama 即日起,用户在WhatsApp、Messenger、Instagram Direct和Meta.AI网站上可试用使用Llama 4构建的Meta AI。 Meta还预告将在4月29日的LlamaCon上分享更多关于其愿景的内容。 一、MoE架构+多种预训练新方法,提高算力利用率 构建下一代Llama模型在预训练期间采用了多种新方法。 新Llama 4模型是Meta首批使用混合专家(MoE)架构的模型。在MoE模型中,单个token仅激活总参数的一小部分。MoE架构在训练和推理方面具有更高的计算效率,并且在给定固定训练FLOP预算的情况下,与密集模型相比,可提供更高的质量。 例如,Llama 4 Maverick模型有17B个活跃参数和400B个总参数。Meta使用交替的密集和混合专家(MoE)层来提高推理效率。 MoE层使用128位路由专家和一位共享专家。每个token都会发送给共享专家以及128位路由专家之一。因此,虽然所有参数都存储在内存中,但在为这些模型提供服务时,只有总参数的子集被激活。 这通过降低模型服务成本和延迟来提高推理效率。Llama 4 Maverick可在单台NVIDIA H100 DGX主机上运行,​​以便于部署,也可以通过分布式推理实现最高效率。 Llama 4模型采用原生多模态设计,结合早期融合,将文本和视觉token无缝集成到统一的模型主干中。早期融合是向前迈出的重要一步,因为它使Meta能够使用大量未标记的文本、图像和视频数据联合预训练模型。 Meta还改进了Llama 4中的视觉编码器。它基于MetaCLIP,但与冻结的Llama模型一起单独训练,以便更好地使编码器适应大语言模型。 Meta开发了一种新的训练技术MetaP,能可靠地设置关键模型超参数,例如每层的学习率和初始化尺度。该团队发现所选的超参数在不同的batch处理大小、模型宽度、深度和训练token值之间具有良好的迁移性。 Llama 4通过对200种语言进行预训练来实现开源微调工作,其中包括100多种语言,每种语言都有超过10亿个token,总体而言,多语言tokens比Llama 3多10倍。 此外,Meta专注于使用FP8精度进行高效的模型训练,而不会牺牲质量并确保较高的模型FLOP利用率。在使用FP8和32K GPU预训练Llama 4 Behemoth模型时,Meta实现了390 TFLOPs/GPU。用于训练的整体数据组合由超过30万亿个token组成,是Llama 3预训练组合的2倍多,包括各种文本、图像和视频数据集。 Meta继续在所谓的“中期训练”阶段训练模型,以使用新的训练方案(包括使用专门的数据集进行长上下文扩展)来提高核心功能。这使其能够提高模型质量,同时为Llama 4 Scout解锁超长的10M输入上下文长度。 二、改进后训练流程,权衡计算和准确性 新Llama 4模型有不同大小。Llama 4 Maverick在图像和文本理解方面提供行业领先性能,支持创建复杂的AI应用程序以跨越语言障碍。作为Meta针对通用助手和聊天用例的产品主力模型,Llama 4 Maverick非常适合精确的图像理解和创意写作。 在对Llama 4 Maverick模型进行后训练时,最大的挑战是在多种输入模式、推理和对话能力之间保持平衡。对于混合模式,Meta提出了一个精心策划的课程策略,与单个模式专家模型相比,该策略不会牺牲性能。 借助Llama 4,Meta通过采用不同的方法改进了后训练流程:轻量级监督微调(SFT)> 在线强化学习(RL)> 轻量级直接偏好优化 (DPO)。 一个关键的学习是,SFT和DPO可能会过度约束模型,限制在线强化学习阶段的探索并导致准确性不理想,特别是在推理、编程和数学领域。 为了解决这个问题,Meta使用Llama模型作为判断标准,删除了50%以上标记为简单的数据,并对剩余的较难数据集进行了轻量级SFT。 在随后的多模态在线强化学习阶段,通过仔细选择更难的提示,Meta能够实现性能的阶跃变化。 此外,Meta实施了持续在线RL策略,交替训练模型,然后使用它来持续过滤并仅保留中等难度到困难难度的提示。事实证明,这种策略在计算和准确性权衡方面非常有益。 然后,Meta做了一个轻量级DPO来处理与模型响应质量相关的极端情况,有效地在模型的智能和对话能力之间实现了良好的平衡。管道架构和具有自适应数据过滤的持续在线RL策略最终形成了业界领先的通用聊天模型,具有先进的智能和图像理解能力。 作为通用大语言模型,Llama 4 Maverick包含170亿个活跃参数、128位专家和4000亿个总参数,与Llama 3.3 70B相比,它以更低的价格提供高质量。 Llama 4 Maverick是同类最佳的多模态模型,在编程、推理、多语言、长上下文和图像基准测试中超越了GPT-4o和Gemini 2.0等同类模型,并且在编程和推理方面可与活跃参数规模大得多的DeepSeek v3.1相媲美。 小型模型Llama 4 Scout是一个通用模型,拥有170亿个活动参数、16位专家和1090亿个总参数,可提供同类中一流的性能。Llama 4 Scout将支持的上下文长度从Llama 3中的128K大幅增加到行业领先的1000万个token,适用于多文档摘要、解析大量用户活动以执行个性化任务以及对庞大的代码库进行推理。 Llama 4 Scout经过了预训练和后训练,上下文长度为256K,这为基础模型提供了高级长度泛化能力。 Meta在诸如对文本进行“大海捞针”式检索以及对1000万个代码token进行累积负对数似然(NLL)等任务中展示了令人信服的结果。 Llama 4架构的一个关键创新是使用没有位置嵌入的交错注意层。此外,Meta采用注意力的推理时间温度缩放来增强长度泛化,并称之为iRoPE架构。其中“i”代表“交错”注意层,突出了支持“无限”上下文长度的长期目标,“RoPE”指的是大多数层中使用的旋转位置嵌入。 Meta用各种图像和视频帧静态图像训练了两个模型,以便让它们具有广泛的视觉理解能力,包括时间活动和相关图像。这使得多图像输入以及用于视觉推理和理解任务的文本提示能够轻松交互。这些模型在多达48张图像上进行了预训练,在训练后测试了多达8张图像,取得了良好的效果。 Llama 4 Scout在图像基础方面也性能出色,能够将用户提示与相关的视觉概念对齐,并将模型响应锚定到图像中的区域。这使得大语言模型能够更精确地回答视觉问题,从而更好地理解用户意图并定位感兴趣的对象。 该模型在编程、推理、长上下文和图像基准方面也超越了同类模型,并比所有以前的Llama模型都具有更强大的性能。 三、Llama 4 Behemoth预览:近2万亿总参数,改造底层基础设施 Llama 4 Behemoth一个教师模型,也是一个多模态专家混合模型,拥有2880亿个活跃参数、16个专家、近2万亿个总参数,在数学、多语言和图像基准测试中为非推理模型提供了先进性能。 Meta开发了一种新颖的提炼损失函数,可通过训练动态加权软目标和硬目标。在预训练期间从Llama 4 Behemoth进行共同提炼,可摊销计算学生训练中使用的大多数训练数据的提炼目标所需的资源密集型前向传递的计算成本。为了在学生训练中加入更多新数据,Meta对Behemoth模型进行了前向传递,以创建提炼目标。 对具有2万亿个参数的模型进行后期训练也是一项重大挑战,这需要从数据规模开始彻底改革和改进配方。为了最大限度地提高性能,必须修剪95%的SFT数据,而对于较小的模型则需要修剪50%,以实现对质量和效率的必要关注。 Meta还发现,进行轻量级SFT后进行大规模强化学习(RL)可以更显著地提高模型的推理和编程能力。其RL配方专注于通过使用策略模型进行pass@k分析来采样硬提示,并制定增加提示难度的训练课程。 Meta还发现,在训练期间动态过滤掉没有优势的提示,并使用来自多种功能的混合提示构建训练批次,有助于提高数学、推理和编程的性能。 最后,从各种系统指令中采样对于确保模型保留其推理和编程的指令遵循能力并能够在各种任务中表现良好至关重要。 由于RL的规模空前巨大,因此将其扩展到2万亿参数模型也需要改造底层RL基础设施。 Meta优化了MoE并行化的设计以提高速度,从而实现了更快的迭代。该团队开发了一个完全异步的在线RL训练框架,提高了灵活性。与现有的分布式训练框架相比,后者牺牲了计算内存来将所有模型堆叠在内存中,而其新基础设施能够灵活地将不同的模型分配到单独的GPU上,根据计算速度在多个模型之间平衡资源。与前几代相比,这项创新使训练效率提高了约10倍。 结语:开源多种保护措施,改进消除偏见能力 Meta称其目标是开发最有帮助和实用的模型,同时防范和缓解最严重的风险,根据《开发人员使用指南:AI保护》中概述的最佳实践构建了Llama 4,使开发人员能够为其Llama支持的应用程序创建有用、安全且适应性强的体验。 Meta在预训练方面,结合使用数据过滤和其他数据缓解措施来保护模型;对于后训练,应用了一系列技术来确保模型符合对用户和开发者有益的政策,包括在每个阶段提供适当级别的安全数据。 在系统层面,Meta开源了几种保护措施,可帮助识别和防范潜在的有害输入和输出。这些工具(Llama Guard、Prompt Guard、Cyber​​SecEval)可以集成到Llama模型中,也可以与其他第三方工具集成。 Meta以可控且可重复的方式对各种场景和用例中的模型进行系统测试,并将产生的数据整合到训练后的结果中。该团队还利用自动和手动测试对一系列主题的对抗性动态探测对模型进行压力测试,在理解和评估潜在模型风险方面取得了进展。 为消除AI模型的偏见,Meta将继续提高Llama的响应能力,以便它能够回答问题,能够对各种不同的观点做出回应而不作任何评判,并且不会偏袒某些观点。经改进,Llama 4的性能明显优于Llama 3,并且可与Grok相媲美: Llama 4对有争议的政治和社会话题的拒绝较少(从Llama 3.3中的7%降至不到2%)。 Llama 4在拒绝回答提示方面明显更加平衡(在一系列有争议的热门问题中,不平等回答拒绝的比例现在不到1%)。 Meta还致力于让模型能够以像人类一样的速度、以个性化的方式做出回复。Llama 4 经过了优化以满足这些需求。
RTX 50/40系用户崩溃!NVIDIA新驱动易致Win10/11设备黑屏
快科技4月6日消息,NVIDIA在上个月发布了572.83新版显卡驱动程序,不过根据最新消息,该驱动程序容易导致Windows 10和Windows 11系统设备出现黑屏问题。 在更新日志中,官方称其修复了RTX 5080/5090在超频时无法发挥最大性能的漏洞,并声称解决了部分黑屏问题。 然而,事实却恰恰相反,该驱动程序不仅没有解决黑屏问题,反而导致了更多用户遇到黑屏的情况。 在Reddit等论坛上,许多用户反馈在安装该驱动程序时,电脑突然黑屏,只能通过强制重启来解决,还有用户表示,在安装完成后重启电脑时,也出现了黑屏问题。 受影响的显卡型号包括RTX 50系列的5070 Ti、5080、5090以及RTX 40系列的4060 Ti、4070 Ti、4080、4090等,甚至还有一些更老的RTX 30系列。 除了黑屏问题外,还有少数用户报告在安装该驱动程序后出现了蓝屏死机(BSOD)的情况,错误代码为“DRIVER_IRQL_NOT_LESS_OR_EQUAL”,指向NVIDIA驱动文件nvlddmkm.sys。 目前,NVIDIA尚未承认该驱动程序存在问题,对于尚未安装该驱动程序的用户,建议暂时不要升级,等待NVIDIA发布官方声明或修复版本。 对于已经安装该驱动程序并遇到黑屏问题的用户,可以尝试回退到旧版本驱动程序,如566.36版本,或者尝试关闭G-Sync、降低刷新率等方法来缓解问题。
直降1200元!标配价格买顶配!等等党又赢了
都说“早买早享受,晚买享折扣”,等等党终于又等到旗舰降价了。 4月3日,小米官方宣布小米15系列全系降价,最高降幅达到500元,叠完国补和平台优惠后甚至能直降1000. 此次降价涵盖了小米15标准版和Pro版的所有存储版本。标准版首发价为4499元起,降价后叠加国补3699就能入手,而且再叠加部分电商平台的优惠券后,价格还能压缩到3499元,比首发价低了1000元。 曾经12+256GB版本的首发价,如今竟能拿下16GB+1TB的顶配机型。就连备受追捧的亮银配色也取消加价政策,相当于变相再省1200元。 Pro版本的表现同样凶悍,16GB+1TB顶配机型从6499元降至5499元,曾经需要6699元的亮银顶配版更是直降1200元完成"价格瘦身"。 主流配置的12+256GB和16+512GB版本在国补后分别锁定4499元与4999元价位,电商平台叠加优惠后还能再砍200元门槛,将旗舰性能装进4299元的亲民价格。 3499就能入手骁龙8至尊版+超声波指纹的小屏旗舰,性价比还是相当高的,让不少网友不再纠结换机,但对于那些刚以原价购买的用户来说,这次降价无疑是“错过了一个亿”。 降价只是吸引消费者的一个方面,小米15系列本身的配置同样不容小觑。作为2025年的旗舰机型,小米15系列全系搭载骁龙8至尊版处理器(3nm工艺),预装新一代澎湃OS 2.0系统,性能强劲,操作流畅。 小米15标准版搭载6.36英寸1.5K直屏,屏幕边框极窄,支持超声波指纹识别,采用定制M9发光材料,显示效果出色。内置5400mAh金沙江电池,支持90W有线充电、50W无线充电,续航和充电速度都令人满意。 小米15 Pro则更加豪华,搭载一体航空铝边框、一体陶瓷Deco,配备6.73英寸2K全等深微曲屏,峰值亮度高达3200nit,覆盖小米龙晶玻璃2.0,同样支持超声波指纹识别。内置6100mAh金沙江电池,支持90W有线快充、50W小米无线快充,无论是屏幕素质还是电池续航都达到了顶级水平。 此外,主打性价比的K80系列近期在价格上做出了显著调整。虽然其降价幅度相较于某些旗舰机型动辄上千元的降幅来说并不算大,但在同价位机型中,这样的降价力度依然很强。 具体来看,K80标准版原价2499元起,如今已降至1954元。这一价格下,用户能够享受到骁龙8 Gen 3处理器、2K直屏、超声波指纹识别、IP68级防水防尘以及6500mAh大容量电池等顶级配置,性价比极高。 对于追求大内存和存储空间的用户来说,K80的大内存版本(16GB+1TB)同样具有吸引力。该版本价格从原先的3599元降至2899元,几乎与去年双11期间K70至尊版的价格持平,性价比进一步提升。 此外,K80 Pro也加入了降价行列。作为K80系列的高端机型,K80 Pro发布时起步价高达3699元。如今已经降到了2800元左右,有着很强的吸引力。 大家觉得这波降价值得冲吗?
司机仍是责任人 安徽高速回应提醒慎用辅助驾驶:安全第一
快科技4月6日消息,近日,有网友在社交媒体分享称,途经安徽高速时发现道路警示牌显示“慎用辅助驾驶”。 从网传内容看,安徽段高速公路的警示标改为了“高速路况复杂,慎用辅助驾驶”,此外还有“勿用智能辅助驾驶”、“高速上有些施工路段已经明确要求关闭智能驾驶了”、“前方占道施工,关闭辅助驾驶”等标语。 针对此事,南方都市报咨询安徽高速公路服务电话核实情况,池州市公安局交警支队称,“能不用智能辅助驾驶就尽量不用吧,按照国家规定,在确保自身安全的情况下驾驶车辆。” 德上高速池州路段高速大队称确实有发布相关警示,“只是提示车主最好不要使用智能驾驶,毕竟现在是节假日,安全还是第一位的。” 至于会不会禁止车主使用智驾功能、会不会抓拍,工作人员称“具体不太清楚”。 目前各家新势力品牌包括传统车企都在推广智能辅助驾驶系统,在高速和城区道路下,车辆拥有一定的自动驾驶能力。 不过辅助驾驶能力有强有弱,即便是宣称第一梯队,也存在较大差异,如果车主过于信赖,就会存在一定的安全隐患。 并且需要提醒的是,当前辅助驾驶第一责任人依旧是驾驶员本人,用户在使用智驾时,需要实时关注路况,并随时接管。 责任编辑:落木

版权所有 (C) 广州智会云科技发展有限公司 粤ICP备20006386号

免责声明:本网站部分内容由用户自行上传,如权利人发现存在误传其作品情形,请及时与本站联系。