EN
中文
注册 / 登录
产品分类:
加载中...
头条分类:
加载中...
韩国平台公司投资欧洲人工智能公司,拓展全球业务
据消息人士透露,韩国平台巨头Naver Corp.已投资MistralAI,后者是一家欧洲领先的AI 独角兽,由前谷歌DeepMind员工于2023年5月创立。 据悉,Naver通过K-Fund 2获得了MistralAI的股权,K-Fund 2是Naver投资的Corellia Capital旗下的欧洲专项基金。 虽然投资金额尚未披露,但考虑到K-Fund 2的规模为2.7亿欧元,业内估计Naver的投资额将在数百亿韩元左右。借助这笔投资,Naver正在寻求将其 AI 模型出口到海外的机会。此举意味着其已为其主权AI战略获得了强大的盟友。 MistralAI 被认为是全球人工智能市场最强劲的竞争者之一,该市场由 OpenAI 和谷歌等美国公司主导。在投资谈判中,MistralAI高度评价Naver保护其国内搜索市场的能力,这几乎是独一无二的。 在Sovereign AI的总体指导下,Naver正在利用自己的大规模语言模型技术,加速其构建针对全球不同地区特定文化和语言进行优化的AI模型的战略。它还旨在基于这些模型提供各种解决方案和服务。 值得关注的进展是 Naver 创始人Lee Hae-jin重新活跃起来。他目前担任该公司的全球投资官 (GIO),在五年中断后恢复了公共活动,并倡导主权人工智能。 自主人工智能是指利用自己的基础设施和数据来构建人工智能能力,不依赖大型科技公司。 在 2024 年5月举行的AI峰会上,李开复强调了少数 AI 实体控制历史和文化观念从而影响未来的风险。他建议需要多种能够理解不同文化和环境背景的 AI 模型。 据称,MistralAI 也持有这种认识。这家总部位于巴黎的公司估值 58 亿欧元,诞生于欧洲缺乏像美国和中国那样的合适 AI 公司的危机时期。它得到了包括总统埃马纽埃尔·马克龙在内的法国政府官员的全力支持。 有猜测称李开复可能会与 MistralAI 创始人Arthur Mensch会面,讨论对Sovereign AI的看法。 GIO 最近在会见英伟达公司首席执行官黄仁勋时强调了具有 AI 能力的公司之间密切合作的必要性。 Corellia Capital首席执行官 Fleur Pellerin 在争取此项投资中发挥了关键作用,她提到,自 Corellia 成立以来,她就一直与李开复讨论在人工智能等独特领域取得优势对国家优势的重要性。她希望欧洲和法国能够通过与韩国的合作来增加选择多样化。
转折在2018:从五洲宾馆到黄浦江畔
2018年,人工智能上升为国家战略。这一年,上海筹办了首届世界人工智能大会,北京成立了智源人工智能研究院,互联网的热潮正在退去,人工智能的热闹才刚刚开始。 文|游勇 编|周路平 01 2009年,首届IT领袖峰会在深圳开幕,它的前身叫数字中国高峰闭门论坛,在北京和旧金山轮流举办,虽然参会的都是大佬,但因为是闭门会议,所以影响力有限。2009年移师深圳之后,更名为IT领袖峰会,当时的目的也很纯粹,仅仅是想着抱团取暖探讨未来IT产业的发展方向。 当时金融海啸的余波还在肆虐,全球IT产业遭遇严重挑战。所以第一年的主题,就叫“金融海啸后的中国高科技产业”。 大会地点选在了五洲宾馆,后来几届会场基本都固定在这里。这里曾诞生过很多故事。2000年,华为在这里搞了一个2000名研发将士出征仪式,鼓励员工奔赴海外,开疆扩土,当时打出的口号是“雄赳赳,气昂昂,跨过太平洋”。从此之后,华为从一家全国性企业变成了一家全球性企业。 IT领袖峰会选深圳是有原因的,除了深圳本身的产业和地理优势外,跟当时的许市长也有很大关系。许市长在来深圳任职前,是发改委高技术产业司司长,与IT产业天然走得很近。 而且,当时的深圳面临着产业转型升级的压力,引入科技行业的盛会,对深圳的IT氛围无疑起到了非常积极的作用,包括百度华南总部和国际总部以及阿里的国际运营总部落户深圳湾的总部基地,都是通过IT领袖峰会促成。 搭台的是深圳,组局的是吴鹰。吴鹰在人群中很好辨认,他的络腮胡子非常惹眼。他也是高考恢复后的第一批考生,上的是北工大的无线电通信专业,后来去美国深造,进入了著名的贝尔实验室工作。 2000年前后的吴鹰是国内IT通信圈叱咤风云的人物,他靠着小灵通一战成名,创立UT斯达康,赚得盆满钵满,被称为中国的小灵通之父。坊间传闻,孙正义因为投资过吴鹰的UT斯达康,吴鹰后来把孙正义介绍给了马云,促成了软银对阿里巴巴的投资。从这个角度来看,吴鹰也算是马云的伯乐。 当时还很有号召力的吴鹰,给IT领袖峰会拉了一个数十人的名单,几乎囊括了当时国内最顶尖的IT企业、金融资本、创投机构和媒体,包括马化腾、李彦宏、曹国伟、熊晓鸽等等,江湖上有头有脸的人物都邀请来了。 首届IT峰会后,二十几位IT业界领袖还专门发布了一份《深圳宣言》,比如“争当经济复苏先锋队”,“加强自主创新”。这份宣言,现在看来部分依然适用。 这被外界认为是深圳建市以来举办层次最高的行业会议。用李彦宏的话说,“IT领袖峰会记录着IT行业的众多前沿思考,也见证了中国IT产业的飞速发展。” 02 互联网时代的三巨头——百度、阿里、腾讯(BAT)一直是IT领袖峰会的主角,每年媒体都在关注谁去了谁没去,以及谁说了什么。热闹的场面和当年的乌镇峰会很像,既没有政经宏观论坛这么严肃,但来的嘉宾都是行业翘楚。 马云马化腾和李彦宏三人同时参会是在2010年,马云是首次参加,第一个出场,单独发言,李彦宏和马化腾则被安排到后面的高端论坛上。当时交流的主题是云计算,尽管现在云已经成为公认的基础设施,但在当年还有不小的争议。 李彦宏或许会后悔他当时说过的一个观点,他说的“云计算是新瓶装旧酒”这句话,每隔几年就要被翻出来,尤其是百度在2015年成立百度智能云后。好在这几年风水轮流转,百度作为国内最早布局人工智能的大厂之一,李彦宏成了各大会议的座上宾。 而三人真正同台其实是在2011年,大家当年的关系还相当和谐,三个人在台上忆苦思甜,追忆创业的美好时光。马化腾甚至自我调侃,“论口才不如马云,论帅气不如李彦宏”。 尽管也有唇枪舌剑,但外界看到的更多是互联网经济蓬勃发展下的意气风发,他们敢于发表自己的观点,也不怕得罪同行。 有一张互联网流传非常广的图片也是发生在这个阶段,大胡子的吴鹰站在马云和马化腾身后,手搭在两人的肩膀上,两人的表情颇为复杂,像是在生闷气的两口子,而旁边坐着的李彦宏侧着头,像极了瓜田下的猹。这张图就是在IT领袖峰会的晚宴上。 马化腾和李彦宏出现的次数最多,几乎每一届都有他们的面孔。尤其是马化腾,因为每年都是深圳主场,近在咫尺,不去都不合适。但只有2014年是个例外,原因无他,纯粹是腰疼。马化腾不仅缺席了当年的IT领袖峰会,甚至还因为腰疼缺席了两会。 在腰椎病面前,无论富有还是贫穷,人人平等。 马化腾爱来,也不纯粹是离家近或者跟吴鹰关系熟。用他自己的话说,每年参加IT峰会都非常有意思,因为从来不沟通背台词。虽然没有马云的口才和李彦宏的帅气,但马化腾主打的就是真诚。 而且,吴鹰很会来事,他不仅跟这些企业家私交甚笃,关键是什么问题都敢问,比现场媒体还希望搞个大新闻。 比如他问马化腾,如果阿里有一天是你的,你会做得比马云更好吗?马化腾被问得大脑一片空白,全程顾左右而言他。 他还问杨元庆和贾跃亭,如果两人联手能不能挑战马化腾和李彦宏?抓住机会的贾跃亭一如既往地自信,他甚至同时向BAT开炮,抨击BAT三座大山让中国互联网创新暗无天日,“中国互联网创新有三个命运,被BAT复制、被BAT并购、或者BAT参股皈依。中国互联网创新未来走向哪里?”尽管贾跃亭后来失败了,但他这些话放在当年的背景下,并没有太大的问题。 2017年,是BAT掌门人最后一次在峰会上同台,当时马云被安排单独发言,没有和马化腾、李彦宏出现在同一个主题论坛上,三人的关系其实已经有些微妙,各自在往对方的边界上扩张。 但吴鹰眼疾手快,拉着正要往台下走的马云,和往台上走的李彦宏、马化腾一起合影,留下了三人在公开场合的最后一张合影。 峰会也见证了IT领袖们的沉浮。比如2016年,为梦想窒息的贾跃亭首次出现在了峰会现场,靠着生态化反的贾跃亭待遇很高,首次出场就和马化腾、杨元庆同台。而此后,乐视的故事大家也知晓,贾跃亭别说来参会,甚至再也没回来过。 2015年则是余承东第一次参会,尽管华为Mate7已经发布,但华为手机当时还是低端形象,余承东的发言没有掀起太多波澜,大嘴的形象也没有那么深入人心。但在四年后,余承东第二次参会时,华为的营收突破千亿美元,华为手机卖出了创纪录的2.4亿部,遥遥领先的余承东已经是全场的焦点,媒体还拍到他专门跑去给马化腾推销华为的首款折叠屏手机Mate X。 03 早年间,吴鹰还一度担心乌镇互联网大会会分流一些重量级嘉宾,但好在互联网大会基本都在秋冬季节举办,而IT领袖峰会每年都在夏季,互相影响不大,每年依旧有很多大佬去深圳参会,有大佬自然有话题度。 最近一届IT领袖峰会是在2019年,主角是马化腾和余承东。 刚刚经历“930变革”的腾讯开启了产业互联网的征程,成立CSIG事业群,正式进入了ToB赛道。四年后,腾讯ToB业务的营收首次成为了腾讯收入最大的板块。 而这一年的华为虽然遭到了美国打压,但营收创下了历史新高,余承东所在的消费者BG更是搞得风生水起,首次占据华为的半壁江山,手机销量突破2.4亿部。 但也是从这一年开始,互联网经济遇到了麻烦,IT领袖峰会也遭遇了不少挫折。2020年至今没有举办过,前几年都是因为疫情推迟,官方预告都出了,时间也定了,但最终还是不得不取消。 而组局者吴鹰也遇到了一些麻烦。吴鹰从UT斯达康出局后,便投身了资本市场,但并没有投出太多出色的项目,大部分集中在通信产业,反而错过了互联网的风口。 2023年5月,吴鹰还因为旗下上市公司中嘉博创未按规定履行生效的法律文书义务,一度被限制高消费。而中嘉博创也已经被戴上了ST的帽子。 但IT领袖峰会停办的背后,是时代的潮水正在发生转向,人工智能的时代在加速到来。最早一批的IT领袖们从商海中逐渐隐居二线,BAT的锋芒已不如往日,马斯克甚至还在问,Jack马去哪儿了?而张一鸣、王兴、黄峥等移动互联网的新贵向来不太喜欢抛头露面,很少参加这些活动。这也注定了IT领袖峰会很难维持早年间的辉煌和热度。 04 东风吹向了千里之外的黄浦江畔。 2024年7月4日,上海38度,正值中午,但黄浦江畔的世博中心依然人潮汹涌。为了给场馆降温,最先进的人工智能也离不开最原始的冰块。过去两年,以大模型为代表的人工智能比上海的天气还要燥热。热闹的场面一度让人们感慨,当年移动互联网的创新创业热潮又回来了。 前两年还是WAIC大会主角的元宇宙已经被挪到了偏僻的二楼,一楼的黄金地段几乎都是大模型的海洋。但也有不走运的,Minimax是国内一家大模型明星创业公司,本来想占据展厅入口的C位,结果据说赌错了位置,大门开在了另外一边,Minimax反而在角落里。 这些年,已经很少有行业会议有如此的热度。今年的WAIC热度比往年都要高,以前免费进入的今年开始收门票了,路边甚至出现倒票的黄牛。 这一切,与其说是魔都的魅力,不如说是大模型的魅力。 与去年大家争相发大模型不同,今年大家都不约而同地在寻找落地和应用场景,强调Agent,强调要赚钱,很少人再去说自己的模型参数大小。 对大模型探讨的话题正在变得越深入,包括Scaling Law是否继续有效、商业模式是2B还是2C、选择开源还是闭源、模型和数据如何治理,每一个话题都在激烈交锋。 属于互联网的激情燃烧岁月已经过去,但没有人希望失去在AI时代的话语权。那些IT领袖峰会的熟面孔,频繁出现在了WAIC上。万众期待的名场面,开始向北迁移。 李彦宏依然是WAIC的常客,除了2023年因为身在国外未能参会,每一届他都来,努力巩固着AI布道师的形象。今年李彦宏还因为说开源模型是智商税,引起了不少开源模型厂商的不满。傅盛甚至公开回击说,付费的闭源大模型才是智商税。 当话语体系超出互联网范畴之后,大家的认知似乎更难以达成共识。2019年,老马家的两位大佬在WAIC上进行了一场45分钟的对话。当时,马斯克的上海超级工厂已经在动工建设,中国速度让马斯克大开眼界。而上海作为大会主场,马斯克一直表现得非常积极。马云也已在此前一年正式从阿里巴巴退休,当时出席的身份还是联合国数字合作高级别小组联合主席。 其实,两个人都在尬聊,一个人对火星感兴趣,一个人对地球感兴趣。杰克马认为,机器不可能比人更聪明,因为机器是人类发明的。但埃隆马觉得,我们可以创造比我们更聪明的东西,他们并不一定要是人。 这场对话,马云的表现遭到了不少人诟病。但抛开历史的局限,风口却正在酝酿。 产业的潮水正在快速向人工智能汹涌而去。人工智能的发展史其实比互联网的发展史更早,但过去几个AI发展阶段,大家的印象还停留在下象棋和下围棋的阶段。 ChatGPT的出现打破了平静,展现了什么叫做AI速度。卖铲子的英伟达从2万亿美元市值到3万亿美元仅仅用了不到4个月,英伟达的增速超过了所有上一代的互联网企业。ChatGPT从0到1亿用户仅用了两个月时间,而整个互联网的用户数达到1亿花了七年时间。 与IT领袖峰会属于IT大佬的舞台不同,AI时代的明星创业者同样吸引着无数目光。被誉为“AI界春晚”的北京智源大会,年仅31岁的杨植麟享受到了创业明星的待遇,被现场观众层层围堵,最后还是在工作人员的协助下才得以脱身。 杨植麟是汕头人,当地热衷做生意,但杨植麟学习很好,他是汕头市的高考理科状元,也是当年汕头唯一一位考入清华的学生。不得不感慨,在重商轻文的汕头,教育上确实是个短板。同样是经济特区的珠海,这一年光珠海一中就有6人被清华录取。 知名的AI青年学者谢赛宁也是被围堵的对象,他在之前被谣传是Sora的发明者之一,但海外大厂的经历和多篇高质量论文,让其在圈内已经小有名气。在智源大会上,他还与Sora负责人进行了一场对话。 而月之暗面、智谱、Minimax、百川智能、阶跃星辰和零一万物成为了当下最炙手可热的大模型创业公司。钱拿到手软,除了智谱和Minimax,其他四家都是2023年上半年才成立,但都拿到了数亿甚至十几亿美元的投资,迅速成长为独角兽。几乎所有VC都害怕错失这一轮风口,除了朱啸虎。 清华大学信息科学技术学院院长戴琼海说过一句话,“大家一提互联网就是阿里腾讯百度,以后不是这样的模式了,跟不上的就倒下,大模型时代到来了。” 从金融到工业,从教育到医疗,从办公到生活娱乐,AI正在重构一切想象。正如当年移动互联网大潮到来时,所有人都想要拥有一张船票,现在大家也同样希望拥有一张AI的船票。 阿里云创始人王坚说得很实在,颠覆性的技术一定会诞生巨头,同时也会有原来的大公司烈火重生。大家在关注大公司如何涅槃重生的同时,更关注哪家创业公司会在新的时代用革命的工具,成长为巨头。 05 城市和企业一样,在时代的大潮面前,一切都会在短时间内发生剧烈变化。当其他城市举办的各种峰会已经没有了往日的热闹,各类AI峰会开始异军突起。 2018年,北京和上海几乎同时在人工智能领域发力,城市之间的竞争已经开始。 这一年,首届世界人工智能大会(WAIC)在上海举办,规格很高,上海市政府和多个部委联合主办。上海办会的一大背景是,首部国家级人工智能发展规划出台,人工智能也首次被写入政府工作报告,成了国家战略。 其实也是在这一年,一向紧跟趋势的IT领袖峰会的主题也是“人工智能:中国机遇与挑战”。只是当时还是在阿尔法狗战胜围棋冠军李世石的大背景下,掀起的一轮人工智能热潮,技术路线和当下火热的大模型并不是一回事。 错失了互联网浪潮的上海,对人工智能表现得非常积极,不仅将人工智能与集成电路、生物医药并列为上海的三大新兴产业,打造新的上海高地,誓要把魔都变成“模都”;而且年年搞人工智能战略咨询专家会,主持的不是市委就是市政府的一把手,请全国学术界和产业界的大佬过来献智献策,比如2023年定的主题叫“通用人工智能的上海作为”。 国际大都市办事就是底气足。各项政策法规和行业标准在全国范围内率先出台,上海专门划了包括浦东在内的三个人工智能应用试验区,给钱给地给高级专家职称,还组织领导干部学习如何推动人工智能高质量发展。2019年,商汤还将总部从北京迁到了上海。 千里之外的北京也同时在发力,喊出的口号是打造AI第一城。北京有这个底气,根据网信办备案的117个大模型,北京占了51个;6个大模型独角兽,5个在北京。 也是在2018年,北京发布了北京智源行动计划,依托北京的高校、科研院所和科技大厂,成立智源人工智能研究院。用微软总裁史密斯的话说,目前在人工智能领域,世界上三家公司处于绝对前列,一个是OpenAI,第二个是谷歌,第三个就是北京智源人工智能研究院。评价非常高。王小川则将其称为大模型的黄埔军校,很多大模型项目的骨干都与这个机构有关联。 但在京沪努力争抢人工智能先机时,一些微妙的情况也正在发生。中国人民的老朋友马斯克在今年的WAIC上没有出现,去年的WAIC他通过视频方式亮相,还说很期待下一届来现场参会,但到现场的只有一辆造型前卫的特斯拉皮卡和被玻璃柜罩着的人形机器人Optimus。海外知名的AI企业和知名AI创业者也未能出现。科技无国界正在遭到越来越多的现实挑战。 AI时代的威力可能比之前任何一个时代都更加凶猛,但这已经不仅仅是企业之间、资本之间的较量,也是城市甚至国家之间的较量。
破解ChatGPT惊人耗电!DeepMind新算法训练提效13倍,能耗暴降10倍
ChatGPT能耗惊人,该怎么解?谷歌DeepMind新算法JEST问世,让LLM训练的迭代次数降低13倍,计算量减少10倍,或将重塑AI未来。 ChatGPT早已成为世界耗能大户:一天用掉超50万度电,相当于1.7万个美国家庭的用电量! 然而,大模型对能源的吞噬,远不仅如此。 国际能源署(IEA)预测,从2022年到2026年,数据中心的用电量将翻一番。 随着AI计算需求的膨胀,还需要用水来冷却计算系统。研究称,微软用水量从2021年到22年飙升了34%,ChatGPT每处理5-50个提示就会消耗接近半升水。 针对这种现状,我们有更好的解决策略吗? 最近,谷歌DeepMind研究团队提出了一种加快AI训练的新方法——多模态对比学习与联合示例选择(JEST),大大减少了所需的计算资源和时间。 JEST以13倍更少的迭代次数,以及10倍更少的计算量,超越了最先进的模型! 预训练的参考模型,已经学习了什么样的数据是有「优质的」或「有用的」。然后通过模型,来引导数据选择那些精心筛选过的小型数据集。 这一发现揭示了,数据筛选水平可以作为评判Scaling Law的一个新维度。 网友激动表示,「我没想到这么快就会发生。模型能够自主选择训练数据的能力是巨大的,因为它使训练变得显著更容易,你不再需要猜测什么是高质量的训练数据,你有一个能够『理解』什么样的数据对自身学习最有价值的模型」。 前谷歌、苹果软件工程师称赞道,这项研究非常令人印象深刻。 从「超级batch」中筛选数据 无论是语言、视觉还是多模态模型,数据质量是预训练性能的重要驱动因素。比如Phi-3、Gemma 2等模型的成功让我们看到了,更少、更高质量的数据有可能实现更强大的性能。 要筛选出高质量的数据,数据管道的建立就成为重要的工作。现有的方法大体可以分为两种:1)手动管理 2)基于模型的数据管理,用正在训练模型的特征选择高质量数据。 前者成本高昂且难以扩展,后者则有望为多模态LLM实现Scaling Law。 然而,现有方法忽略了一个事实。 如果仅在单个数据点的层面进行筛选,就没有考虑到数据集以及batch的总体组成。毕竟,训练数据是以batch为单位,数据点之间的依赖性不可忽视。 许多计算机视觉的研究都曾表明,hard negatives(表达空间中相近但标签不同的样本)相比可被平凡解的数据簇,能提供更有效的学习信号。 那么如何让模型以batch为单位筛选数据呢? 论文提出的JEST算法正是要解决这个问题,原理很好理解:就是直接从「超级batch」中筛选出「子batch」。 技术介绍 用数学语言来描述这个问题,就是从大小为B的「超级batch」中提取出与学习最相关的子batch ℬ={,∈[1,…,]}⊂,过滤比率可以写作=1−/。 之前的优先采样(prioritized sampling)会使用基于模型的评分函数对每个数据点打分,再按比例采样。JEST则直接对整个子batch评分,再按照batch级别的分数采样。 一种最直观的启发式方法就是在现有模型参数 : hard⁢(ℬ|)=ℓ⁢(ℬ|) 中,直接选择损失值最高的batch,这种方法可被称之为「硬学习」(hard learner)。 这种方法具有丢弃琐碎数据的理想属性,已被证明适用于小型、干净的数据集;然而对于较大、较少管理的数据集往往弊大于利,因为它依旧会采样到噪声数据。 另一种方法常用于多模态,使用具有参数 ∗:^easy⁢(ℬ|∗)=−ℓ⁢(ℬ|∗) 的参考模型为预训练模型采样数据。但作者依旧否定了这个方案,因为它无法直接反映模型当前的状态,可能过度依赖参考模型的选择,而且不易于扩展。 最后,论文选择借鉴ICML 2022年的一篇论文中提到的方法,将上述两方面的评分结合起来:^learn⁢(ℬ|,∗)=hard⁢(ℬ|)+^easy⁢(ℬ|∗)=ℓ⁢(ℬ|)−ℓ⁢(ℬ|∗),并将这种启发式方法称为「可学习性评分」(learnability score)。 其中,batch上的损失值ℓ⁢(ℬ|)是各数据点之和,使用sigmoid对比损失函数计算(sigmoid-contrastive loss),因为相比softmax对比损失而言,它的扩展性更强。 由于batch上的对比损失可以分解为每个样本的条件损失之和,因此可学习性评分可被分解为单个样本可学习性评分⁢(|,∗,ℬ)之和,写作: 使用的顺序采样方法则受到了block Gibbs采样的启发。在第n次迭代、对第B_n个batch进行采样时,依据如下概率公式对块{X_k}进行无替换采样: 将X_k块添加到B_n中来更新当前采样的batch,直至迭代数n=N时终止。算法的总体流程如下图所示: 实验中发现,使用迭代数N=16且每次迭代时独立采样b/N=2048个样本时,就足以恢复出学习性非常高的batch。 可学习性评分中涉及到使用参考模型为数据点打分,之前的方法惯常使用额外的小型模型,但这会增加每次迭代的计算成本,降低总体FLOP效率增益。 因此论文使用了在线模型近似的方法以及效率较高的FlexiViT架构,只使用降低分辨率的32×32的patch来评估「超级batch」,与全分辨率、patch大小为16×16的方法相比减少了72%的FLOP,以及67%的挂钟时间(wall-clock time)。 此外,论文还提出了进行多分辨率训练的技巧。将每个batch随机分成两半,使用不同分辨率编码后再拼接起来,提升了评分过程和训练的效率。 下图详细描述了全分辨率JEST和多分辨率Flexi-JEST方法的伪代码实现。 所有JEST实验都在WebLI数据集上运行,包含经过宽松过滤的十亿规模的英语图像-文本对,参考模型的训练则使用其中经过高质量过滤100M大小的子集(被称为WebLI-curated)。 在WebLI的基础上,作者还额外从网络上抓取了6亿个文本-图像对并经过同样强度的过滤,组成WebLI-curated++数据集训练参考模型,拓展出JEST++/FlexiJEST++方法,来探索对数据管理的扩展。 论文所报告的平均性能包括4个多模态规范基准:ImageNet 0-Shot和10-Shot 分类以及COCO图像到文本和文本到图像的top-1检索。 实验结果 图1中可以看到,使用JEST或FlexiJEST方法的最明显优势就是效率提升。 左图中,相比原有的SigLIP基线模型,JEST++可以在训练数据量减少13.1×的情况下达到相同准确率。即使考虑到额外引入的打分成本,也有近10×的FLOP效率提升(中图)。 右图展现了JEST++/FlexiJEST++(绿色)与先前方法(灰色)的比较,相比CLIP、EVA-CLIP经典模型实现了计算成本和性能的双重提升。 左图和中图的平均准确率由8个下游任务得出,右图性能由ImageNet和COCO基准测试得出 产生可学习batch 研究人员首先评估了JEST在选择可学习batch方面的效果。 为了直观地理解这一方法,作者们先将可学习性矩阵进行可视化,即学习模型和参考模型之间,对batch中所有示例对的损失差异。 JEST就是按照示例子矩阵的可学习性总和比例进行采样。 由于矩阵明显非对角关系(图2,左),独立选择显然是次优的。 经过少量迭代(对应于用N=16个块填充batch),作者发现子batch的可学习性快速增加,达到了需要数千次迭代的暴力吉布斯采样(Gibbs sampling )所提取batch的可学习性(图2,中)。 对于0.5、0.8和0.9的过滤比例,他们从大小分别为65,536、163,840和327,680的超级batch中选择32,768个示例的子batch。 在图2右侧,研究者还发现子batch的可学习性随着更大的过滤比例而增加。 总之,JEST算法是在训练过程中选择高度可学习batch的有效,且高效的方法。 加速多模态学习 接下来,研究人员使用JEST算法选择的可学习batch,检验训练模型的效果。 所有实验都使用在WebLI-curated上训练的参考模型,这是一个ViT-B/16和Bert-B图像-文本双编码器,30亿训练样本,采用sigmoid对比损失函数。 图3(左)显示了在训练过程中多个下游任务(ImageNet 0-Shot/10-Shot准确率和COCO图像到文本/文本到图像检索)的平均性能。 结果还发现,JEST显著加速了学习过程。 在使用50%、80%和90%的过滤比例时,分别只需20亿、10亿和6.7亿训练样本就达到了30亿均匀基准的最终性能。 在更大的过滤比例下,坐着观察到类似于更大batch size时的训练不稳定性,需要修改Adam优化器(β2 = 0.95)以稳定训练,这表明JEST的数据筛选可以被视为增加了有效batch size。 在最终性能方面,当过滤90%的数据时,JEST也带来了高达6%的显著提升(图3,中间,蓝色曲线)。 值得注意的是,这种scaling行为这种性能提升在独立样本选择方法中,并没有观察到。(图3,中间,橙色曲线)。 最后,研究者还评估JEST是否也改善了,除可学习性之外的其他优先标准。 图3右侧显示了使用easy-reference优先选择的模型在不同过滤比例下的性能。 与基于可学习性的优先选择一致,JEST仍优于独立样本选择,特别是在高过滤比例下(在这种情况下,独立样本选择导致性能下降)。 优先选择具有最高损失的数据产生了较小的收益,并且随着过滤更多数据而更快地退化(图10)。 由于基于可学习性的JEST产生了最佳的scaling行为,研究人员在后续实验中保留了这一标准。 多分辨率训练和在线batch选择之间的协同效应 随着数据batch中被过滤的比例增加,基于可学习性评分的JEST变得更加高效。 然而,评分的成本会带来显著的提升:过滤超级batch 80%的数据会导致每次迭代的浮点运算量是IID训练的4倍,或者在缓存参考模型得分时是2.3倍。 尽管JEST在训练迭代次数方面(以下简称「训练效率」)显著提高了效率,但额外的评分浮点运算降低了其相对于IID基准的计算效率(图1,左vs右)。 因此,作者还研究了一种计算效率更高的变体,称为Flexi-JEST,它使用多分辨率训练和低分辨率评分,将总开销降低到仅比基准高10%(图4,左)。 这些近似方法对性能有什么影响? 正如预期的那样,Flexi-JEST的每次迭代性能相对于JEST有所下降,但仍然比IID有显著的加速(图1,左;图4,中)。 然而,考虑到总浮点运算量的减少,每次迭代性能的下降是非常有利的:最好的Flexi-JEST模型与40B Siglip运行产生相同的平均性能,但浮点运算量减少了9.9倍,比全分辨率JEST少2倍(图1,右;图4,中)。 这些实验表明了多分辨率训练和联合示例选择之间的协同效应,前者为加速后者提供了高效和准确的评分能力。 实验结果,还指出了数据策划策略的帕累托前沿(pareto front)。 如果以计算为代价来最大化训练速度或训练效率,全分辨率JEST方法相对于可比的IID训练运行,可以产生高达13倍的加速。 实现强大数据质量引导 可学习性评分的核心是,一个在人类选择的小型、精心筛选的数据集上,训练的参考模型。 JEST的性能如何随不同的筛选策略(在质量和数量之间权衡)而变化? 此外,JEST训练的改进是否与参考模型的性能相关,还是这些指标是分离的? 理解质量与数量的权衡 研究人员探索了三种规模的数据筛选,每种都是原始WebLI数据集的一个子集: - 弱筛选(十亿级规模):使用图像-文本对齐(ITA)过滤器。 - 中度筛选(3亿级规模):使用ITA过滤器或文本质量(TQ)过滤器。 - 强筛选(1亿级规模):结合使用TQ、ITA和额外的图像质量(aesthetic)过滤器。 在整个过程中,作者将这个强筛选子集称为「WebLI-curated」。 然后,他们在这四个WebLI子集上,各训练10个epoch的标准SigLIP编码器,并将它们用作在全WebLI数据集上进行JEST训练的参考模型。 在不同的数据筛选方法中,参考模型的性能和JEST的性能似乎是解耦的(甚至可能是反相关的;图5,左)。 虽然增加筛选(和减少数据集大小)会产生较弱的模型,但当它们被用作JEST预训练的参考模型时,却产生了相反的效果: 使用强筛选参考模型的JEST获得了2.7%的改进,中度筛选获得了1.5%的改进,弱筛选获得了0.3%的改进。 扩展数据筛选 假设参考模型性能与JEST性能之间的普遍解耦,可能仅仅是由数据筛选所施加的数据集大小限制造成的。 为了理解这种效果,研究人员在WebLI-curated上训练了5个参考模型,同时改变所见的总样本数(从2.5亿到30亿)。 在这种情况下,图5(右)显示了改进的参考模型与更好的JEST预训练之间存在着显著的相关性。 这表明「解耦」现象主要可以归因于参考模型因筛选后数据集大小减少而导致的饱和。 此外,研究人员还注意到,当数据集达到饱和时,图5(右)中的相关性开始崩解,即在10个epoch或者看到10亿个样本之后。 这些结果表明,JEST可能会从进一步扩大参考数据集的数据筛选中获益。 鉴于使用WebLI-curated++对数据进行扩展整理能显著提高参考模型的性能,作者提出了是否有必要在原始WebLI数据集上进行预训练的问题。 然而,在评估参考模型在不同数据集上的性能时,却发现:虽然它在2个下游任务上的性能优于WebLI预训练,但在其他6个任务上的性能,以及平均性能都明显低于WebLI预训练(表 5)。 与现有数据比较 最后,论文应用JEST++在公开的LAION-2B数据集上进行预训练,删除了其中不安全的图像-文本对,但没有进行其他的预先过滤。 这个数据规模相比的SOTA方法DBP减少了4×,但JEST++依旧远远超过了所有之前的离线数据管理方法。 简化数据管理 之前提到过,用于预训练的WebLI-curated是原始数据集WebLI过滤后得到的,以求筛选出高质量的图像-文本对齐的数据。 如表3所示,这种离线数据管理流程对IID(独立同分布)训练方法的性能至关重要,但JEST++则表现出了对预过滤流程的鲁棒性。即使没有过滤,JEST++的性能也没有出现明显下滑,降低了模型对基础数据集的要求。 结论和局限性 总体来说,JEST方法展现出了「数据质量引导」(data quality bootstrapping)方法的巨大潜力,即使用小规模精选数据集来指导对更大的、未经管理的数据集的学习。 最近的研究表明,在下游任务未知时,静态数据集的过滤会限制模型性能。这篇论文的结果则表明,相比单独选择样本的方法,在线构建batch能提高预训练的效率。 无论是使用JEST参考模型对数据集进行预评分,还是通过可学习性评分来根据模型需求进行动态调整,都可以成为通用基础数据集的更有效率的替代方案。 论文的最后,作者也提出了该方法的局限性。虽然JEST同时实现了性能增益和训练成本降低,但依旧依赖于小型、精心管理的参考数据集,它指定了未经管理的更大数据集中优先考虑的分布。 因此,未来的工作可以探索一种方法,从指定的下游任务中如何推断出参考数据集的组成和分布。
AI帮忙填高考志愿靠谱吗?实测百度、腾讯、阿里、智谱等9款产品
21世纪经济报道记者 王俊 王峰 实习生 刘欣、朱奕潼 北京报道 高考志愿填报还在火热进行中。今年,AI大模型志愿填报成为亮点。 志愿填报是高考后的关键环节,像山东、贵州等省份实施新高考后需要填写 96个志愿,提高了信息获取的要求和难度。 AI具有推理优势,近年来已经有不少公司在推出AI填报志愿。尤其是随着大模型的崛起,不少大模型产品也相继入局。 但是,这些产品性能如何,给出的志愿推荐是否具有参考性,误差有多大? 21世纪经济报道记者测评了夸克、文心一言、百度AI志愿助手、腾讯元宝、天工AI、通义千问、智谱清言、靠谱AI、作业帮9款产品,结果发现均存在一定问题,尤其是文心一言、腾讯元宝、天工AI、通义千问、智谱清言等大模型产品,误差率高。 测评发现问题包括: 1、上述提及的大模型产品推荐误差率高。志愿推荐的“冲、稳、保”三个档次准确率低,存在“冲”的学校历年分数线低于“保”底学校。通义千问、智谱清言甚至出现给黑龙江省内排名4000左右的学生推荐冲刺清华、北大的建议,给山东排名64000名的学生推荐冲刺北京航空航天大学的建议。 2、底层数据缺失,即时数据更新不及时,一些推荐学校在该省份并无招生计划。 3、个性化推荐不够智能,选择志愿目标城市为北京,但文心一言、智谱清言等产品中出现多个学校并非北京高校。 根据艾媒咨询数据,2023年中国高考志愿填报市场付费规模为9.5亿元,近九成高考生愿意选择高考志愿填报服务,市场规模持续增加。AI产品想要吃下市场红利,目前的产品能力仍有较大不足。 大模型产品误差率过大 排名4千名考生推荐冲击清北 此次测评的产品分别为:夸克、百度文心一言、百度AI志愿助手、腾讯元宝、天工AI、通义千问、智谱清言、靠谱AI、作业帮。上述测评产品主要是在应用商店、网页、小程序等搜索AI志愿,弹出的排名靠前的产品。 为了客观、准确反应AI产品志愿填报的能力与精准度,21世纪经济报道记者分别用不同省份、高分段与中分段进行了测评,并且进行了二轮交叉检验。 测评首先设计了两个测评人设: 1)黑龙江考生,628分,排名,选科为物理、化学、生物,目标城市北京,想选择人工智能相关领域专业。 2)山东考生,考分558分,排名约64000,对城市与学校没有相关要求,专业覆盖人工智能、航空航天。 在一款产品的“智能填报”页面上,输入高考总分、选科等基本信息,系统会推荐“冲、稳、保”三种不同风险类型的志愿和录取概率预测。 进一步按照院校优先、专业优先、职业优先等筛选条件来缩小选择范围。 高分段实际测评情况: 测评的9款AI志愿填报产品中,主要分为两种类型:一种为在线“志愿一键填报”,主要应用是大数据技术,考生输入相关信息,系统根据各院校专业往年的录取分数、位次进行匹配,自动生成填报建议,包括按照“冲”“稳”“保”给出不同层次的推荐结果,包括各专业最近几年的录取最低分、最低位次、招生计划,以及预估的录取概率等。夸克、作业帮主要是这一类型。 另外一种则为大模型产品,用户与大模型对话,得到更充分的填报建议,也有志愿表格推荐等形式,文心一言、腾讯元宝、通义千问、天工AI等属于该类型。靠谱AI两种形式皆有。 记者根据历年分数线、排名、招生计划,对上述9款产品所推荐的结果进行判断,整体来看,AI大模型给出的推荐结果靠谱程度低于传统AI的志愿填报系统。 以黑龙江高分段考生为例,测评结果显示,百度的文心一言,它推荐的冲刺类型学校为上海交通大学和中国科学院大学,上海交通大学是上海的学校,其不符合测评考生的目标城市北京,并且,根据2024年中国科学院大学的本科招生分省分专业计划表中,中国科学院大学没有黑龙江招生计划。推荐的“稳”学校为北航、北邮和华科往年录取学生排名大概在1000、2000以内,而测评考生排名4千名左右,“稳”和“保”难度较大。 通义千问和智谱清言则将清华和北大作为测评考生的冲刺学校,作为排名4千多名的考生,这两所学校冲刺的可能性极低,误差较大。 夸克、靠谱AI和作业帮这四款产品也存在一定误差,比如夸克推荐保底的学校北京师范大学,历年在黑龙江的录取排名大概在三千名,也并非完全可以“保”的学校。不过整体来看,传统AI志愿填报产品误差率小于大模型产品。 再来看中分段的推荐结果,大模型产品误差仍较大。 文心一言推荐结果不稳定,用同样的考生条件多次提问,给出的答案大有不同,甚至会出现同样的学校专业推荐出现在不同档次的填报中的情况。 同时,文心一言、腾讯元宝、天工AI、通义千问给出的志愿填报推荐参考价值不高,对于排名64000名的考生却推荐要求排名在5000名及以内的学校,出现了985院校作为保底志愿填报进行推荐的情况,比如文心一言和智谱清言推荐排名64000名的考生冲刺北京航空航天大学,通义千问则在“保”的推荐中出现了北京航空航天大学。 大模型产品往往给出的推荐建议没有以往名次与分数线提供参考,而是与提问中的专业等关键词更加贴近,这也与大模型的属性有关。 AI志愿填报 仍有较大不足 在互动性方面, AI大模型产品的互动性更强,不仅局限于简单的一问一答模式,还会根据用户的指令智能调节后续问题的深度和广度,比如在高考志愿填报的背景下,它们一般会就模型推荐的填报志愿学校、专业的具体情况和就业前景等提供进一步的咨询服务,文心一言、腾讯元宝、天工AI、通义千问和智谱清言都会在回复下面提示,“你可以继续问我:上海交通大学近几年的分数线是多少呢,北京有哪些好大学等问题”。夸克、靠谱AI和作业帮等传统AI的志愿填报系统互动性不够,与产品定位重点不同有关。 测评的志愿填报产品中,大部分没有广告与后续付费要求。夸克、文心一言、AI志愿助手、通义千问、智谱测评中未发现广告与后续付费情况。天工AI需要分享才能查看志愿详情,靠谱AI则会限制每个用户免费使用的次数,同时,若想进一步获得更多消息也需要付费升级会员。 2014年以来,全国共有29个省份分五批启动了高考改革。新高考模式下,报志愿的难度提升,高考志愿填报成了一门热门生意,“钱景”广阔。 AI志愿填报近年来“水涨船高”,大模型的快速迭代,性能提升,成为今年志愿填报市场一股新增量。 大模型产品互动性更强,人机对话形式降低了志愿填报产品的使用门槛,可以用聊天的方式获取信息和建议。并且测评显示,互动过程中,不少产品也能抓取更有针对性的资料给到用户。 但是,大模型产品对数据有强依赖性,底层数据的缺失或是测评中大模型产品志愿推荐不靠谱的主因之一。 中国教育科学研究院研究员储朝晖在此前接受21世纪经济报道采访时表示,目前考生填报志愿存在几个难点,第一个是高校的招生简章当中没有准确表述招生诉求,第二个是高校公开的数据的质量、标准不一样,比如不同学校的同一个专业,内涵是有差异的。 此外,最关键的是,有些院校专业并未及时公布最近的录取分数线、录取位次等数据。 一位高考志愿填报产品负责人告诉21世纪经济报道,基础数据的准确和全面,是他们每年花最多精力来打造的事情,要动用上百人的人工标注团队来处理数据。 缺乏对院校专业权威的评估体系和评估数据,大模型志愿填报精确性难以提升。从测评结果来看,想要真正在志愿填报的红海中立足,大模型还有一段距离要走。
一加Pad 2将于7月16日全球发布 骁龙8G3+9510mAh电池
【CNMO科技消息】OnePlus(一加)已正式确认将于7月16日在意大利米兰举办新品发布会,届时将发布包括一加Nord 4手机、一加Pad 2平板电脑、一加Watch 2R智能手表以及一加Nord Buds 3真无线耳机在内的多款新品。亚马逊印度新上线的微型网站显示,这些产品也将在印度同步上市。 在发布会前夕,关于这些产品的详细规格信息不断泄露。知名爆料人伊尚·阿加瓦尔(Ishan Agarwal)最新透露,一加Pad 2将配备一块12.1英寸的IPS LCD显示屏,支持144Hz高刷新率,分辨率为3000×2120,同时支持杜比视界(Dolby Vision)技术,峰值亮度可达900尼特。该平板将搭载高通骁龙8 Gen3移动平台,提供8GB+128GB和12GB+256GB两种存储配置。 续航方面,一加Pad 2内置9510mAh大容量电池,支持67W SUPERVOOC超级闪充技术。影像系统上,该平板配备了一颗1300万像素的后置主摄和一颗800万像素的前置摄像头。此外,为了提升音频体验,一加Pad 2还内置了六个扬声器,带来沉浸式的音效享受。 值得一提的是,一加Pad 2在印度上市时,还将与一加Stylo 2触控笔、智能键盘以及Folio保护套一同推出。 其他几款新品:一加Nord 4将采用全金属机身设计;一加Watch 2R将运行Wear OS操作系统;而一加Nord Buds 3则有望以亲民的价格提供丰富的功能,定位低于现有的OnePlus Buds 3。 7月16日上午9点(印度标准时间下午6点30分),一加夏季新品发布会将通过公司官方YouTube频道进行全球直播。
499元,刚发布的这鸿蒙新机,有点骚啊
最近关于华为Mate 70系列的爆料,是越来越多了。 虽然外观设计这块,仍无渲染图或机模泄露。 但基本可以确认,华为Mate 70系列会搭载纯血鸿蒙、全新迭代的麒麟9000系芯片和豪威超大底主摄。 属于是软硬件全线高度国产化了。 但尽管咱们知道的消息很多。 也还是得等到10月份,才能知道华子还藏着什么终极大招。 So,今天机哥就先带机友们看点新鲜的——纯血鸿蒙智能手表 大家都知道,鸿蒙OS最大的特点就是“全场景。 所以不仅仅是手机啊。 后面呢,像是车机、PC、电视和智能手表等设备,都能基于OpenHarmony来运行。 比如今天的主角,499元的诺希开源鸿蒙手表。 别看它价格不贵,实际上该有的功能都有。 首先这手表用的,就是海思最新的W610智能穿戴解决方案。 像是CPU、GPU和DSP等架构都配备齐全了。 也支持视频播放、5星座联合定位和NFC等扩展能力。 至于手表本身的硬数值嘛,机哥是觉得中规中矩。 1.43英寸AMOLED屏幕、466×466分辨率、600nit亮度。 不超模,但对得起价格。 手表所搭载的,则是OpenHarmony 3.2操作系统。 和华为Mate 60这种,搭载OpenHarmony 4.1的相比,在功能性和特性上肯定有差距。 但你想想,它只是一块智能手表啊。 只要具备智能手表该有的防尘防水、联网定位、App安装和使用等功能。 然后再整点鸿蒙专属的互联特性。 机哥觉得就齐活了。 从官方宣传图也能看到。 这手表确实能在应用商店自由下载安装、升级卸载App。 微信、支付宝和百度地图等主流App也赫然在列。 就官方宣传的配置和应用生态来看,499元还性价比挺高的。 就看正式上市后,它的实际表现如何了。
曝Redmi K80系列质感提升明显,新亮面材质+复合玻璃
【CNMO科技消息】尽管Redmi K70系列的最后一款机型——K70至尊版尚未正式发布,但网络上关于其继任者——Redmi K80系列的热议已悄然兴起。近期,有数码博主爆料称,Redmi K80系列在外观设计上将迎来显著提升,预计将采用全新的亮面材质与复合玻璃设计,甚至可能探索陶瓷材质的应用。同时,其中一款设计方案的摄像头模组将移至左上角,展现出更为精致的视觉效果,值得期待。 Redmi K70系列 在核心性能方面,Redmi K80系列将搭载高通将于10于份推出的骁龙8 Gen4移动平台,预示着其将拥有极为强悍的性能表现。据悉,骁龙8 Gen4不仅采用了高通自研的Nuvia架构,更创造性地融合了2个Nuvia Phoenix高性能核心与6个Nuvia Phoenix M核心,构建出前所未有的双集群八核心CPU架构。 此外,骁龙8 Gen4将采用台积电3nm工艺(N3E)制造,不仅在性能上实现飞跃,更在功耗控制上取得了显著进步。 然而,值得注意的是,由于骁龙8 Gen4采用了成本更高的台积电第二代3nm工艺,以及全球范围内存储芯片价格的上涨趋势,据分析师郭明錤预测,该芯片的价格将上涨25%至30%。这一变化无疑将影响到搭载骁龙8 Gen4的旗舰机型,包括Redmi K80系列,其市场定价相较于前代K70系列或将有所调整。
预售45-55万元!华为享界S9将首次亮相门店:余承东当店长讲解
快科技7月7日消息,外观、内饰细节公布之后,华为和北汽合作打造的全景智慧旗舰轿车——享界S9将首次亮相门店。 余承东在个人微博透露,享界S9的展车将陆续进店,自己也将尝试当一天华为旗舰店店长,给大家好好介绍这款新车的奢华设计。 “@说车的小宇 将和我一起,共同揭晓享界S9的更多‘秘密’!7月8日上午10点,欢迎大家来见证! ” 据悉,享界S9长宽高为5160*1987*1486mm,轴距达到了3050mm,通过全新车身比例,实现驾乘空间最大化,舱内可用空间高达3460mm。 值得一提的是,享界S9继承了“9系旗舰”的中正结构,展现全新的寰宇座舱,首发星河画卷,搭配璀璨水晶设计。 在乘坐体验上,享界S9也带来了更多突破性的创新成果,首发轿车后排零重力座椅,配备总裁级扶手屏。 “每个细节都带来超越豪车的国宾级奢华舒适体验!展车很快进店,敬请期待!”余承东说。 科技加持方面,享界S9将首发HUAWEI ADS 3.0高阶智驾,再度刷新智驾天花板。这套系统率先应用端到端全新架构,并基于超强云端算力持续高速迭代升级,可实现智能驾驶、智能泊车和主动安全能力全面提升。 底盘动力上,享界S9搭载华为途灵底盘,配备华为数字能源技术有限公司提供的电动机,将提供单电机和双电机两种版本,其中单电机版的电机峰值功率为227kW,双电机版的电机峰值功率分别为158kW和227kW。 目前,新车已经开启预售,售价45-55万元,将于8月正式上市。上市后,将对标奔驰迈巴赫S级、宝马7系、奥迪A8等传统豪华旗舰轿车。

版权所有 (C) 广州智会云科技发展有限公司 粤ICP备20006386号

免责声明:本网站部分内容由用户自行上传,如权利人发现存在误传其作品情形,请及时与本站联系。