EN
中文
注册 / 登录
产品分类:
加载中...
头条分类:
加载中...
Manner聘用聋哑咖啡师,几点讨论
近日,因为连续多起员工和顾客之间的冲突,Manner咖啡被推上了舆论的风口浪尖。 今日,有网友发帖称,Manner威海路店换成聋哑人咖啡师了。 该网友称,他今天去了趟Manner总部,都在威海路,让他意外的是,点单的时候,对方朝着他比划,他才意识到对方是聋哑人,让他写字,把想吃的写出来对方再准备做。 不过,很快有网友在评论区表示,威海路至少有三家Manner,聋哑人这家是威海路靠东头,一直都在,她去年工作经常路过威海路只去这家聋哑人店里买。 她还表示,至少去年11月16日就是无声咖啡师。 有网友指出,要是一个人做,还是聋哑人,那真的是太不容易了。 也有网友指出,聋哑人不适合点单,Manner一个店基本上就一个员工,又要做咖啡又要点单又要安抚客户,是有沟通需求的,这种情况还找聋哑人来,不合适。 还有网友表示,没有人否认招聘残疾人这件事本身。但现在依旧是一个店员承担了所有工作量,聋哑人还不会和顾客吵起来,也更难为自己寻求正义保护,受了委屈也说不出来,商家还能得到“美名”,被某些人认为是“善举”,表面看一举多得,实际上只是被压榨的对象换成了更好“欺负”的残疾人而已,其他的没有任何改变。 目前,说“Manner威海路店换成聋哑人咖啡师了”的帖子已不可见。 上述Manner咖啡店的聋哑咖啡师是新换的还是本来就有,暂且不论,倒是可以就此讨论几个问题。 一、聋哑人咖啡师多吗? 三言查询发现,咖啡店里雇佣聋哑人士并不罕见。 有财经博主在星巴克遇到聋哑店员的; 有美食博主在南京某咖啡店遇到聋哑咖啡师的; 有家居博主遇到咖啡店不仅有聋哑店员,还有其他残疾店员的。 也有一些网友表示,在Manner咖啡遇到过聋哑咖啡师。 有网友称,自己去Manner,一进门就习惯性地跟咖啡师说“小杯澳白加浓”,在付款处等了半天他也过来点单。后来才发现有提示牌提示,咖啡师是聋哑人。 有网友表示,自己多次在Manner遇到一个听障咖啡师。咖啡师每次都准备了手写板,问的问题都会努力写出回答。 社交平台上可以看到很多这类信息。 二、雇聋哑人是做好事?还是双方都有利? 有财会专业人士表示,企业雇佣聋哑人,对双方都有好处。聋哑人属于残疾人,企业可以免残保金,还能从残联获得补贴,残疾人可以获得更高收入。 公开资料显示,残保金全称为残疾人就业保障金,是为了保障残疾人权益,由未按规定安排残疾人就业的机关、团体、企业、事业单位和民办非企业单位缴纳的资金。 残保金的征收范围,是各市行政区域内的机关、团体、企业、事业单位、民办非企业单位,安排残疾人就业的比例不得低于本单位在职职工总数的1.5%,达不到规定比例的应当缴纳保障金。 残保金的征收标准,是按上年用人单位安排残疾人就业未达到规定比例的差额人数和本单位在职职工年平均工资之积计算。 一般来说,需缴纳的保障金按下列公式计算如下: 1、按比例应安排残疾人就业人数=上年用人单位在职职工人数×1.5%; 2、应缴金额=(按比例应安排残疾人就业人数-上年用人单位实际安排的残疾人就业人数)×上年用人单位在职职工年平均工资; 3、实际应缴金额=应缴金额-减免金额。 前文所述财会专业人士表示,残保金具体征收,要看地区和企业规模,也要看残联给的基数。有一些大公司都会安排一些残疾人士入职。 她还举例自己曾接触过的某企业,开始因为对形象有要求,不安排残疾人,那时候企业员工有几百人,残保金每年得几十万。后来安排了一些残疾人士做开电梯、办公室文职之类的工作,每年不用交残保金,还能从残联获得10万元左右的补贴。 三、Manner咖啡有没有招聋哑人? 三言查看了Manner咖啡的招聘的信息,BOSS直聘和Manner咖啡的公众号都没招聘聋哑人的信息。 BOSS直聘上,Manner咖啡招聘的咖啡师,不同的店薪酬不同,4000-10000+都有,岗位要求基本一样。 而Manner咖啡公众号里写的咖啡师是8000+。 不过,这两个平台上,三言都未看到有招聘聋哑人的相关信息。 有知情人士表示,残疾人招聘一般不到招聘网站,而是去残联登记,提要求,然后残联给安排。 四、聋哑人做咖啡师,是不是应该跟正常人待遇一样? 三言咨询了几位身边的人。 有观点认为,聋哑咖啡师应该和正常员工拿一样的薪资,因为他们干的活儿是一样的。 也有观点认为,聋哑咖啡师毕竟不能正常沟通,点杯咖啡还得写出来,在节奏慢的地方可以,否则店里应该立牌子告知,本店店员是聋哑人。 在不知情的情况下,点的多还得写,可能就不买了。 客观上残疾人效率就是不如正常人,拿同样工资对正常人反而不公平。 还有观点认为,聋哑咖啡师的薪酬可以相对来说低一些。对企业来说,这样既节省了成本,又可以得到补贴。 五、如果聋哑人士的薪酬过低,算不道德吗? 有观点认为,聋哑咖啡师的薪酬可以低于本企业同岗位人员,但不能低于当地的最低工资标准。否则就不是道不道德,而是违规了。 聋哑人士既然能被企业聘用,那就说明满足岗位要求,可以给岗位最低工资,但是不能低于当地规定的最低工资标准。 六、Manner咖啡店里只有一个店员吗? 此前有媒体查询到,有数据显示,截至2024年6月10日,Manner咖啡总体门店数已经达到1295家。 但根据国家企业信用信息公示系统公布的Manner咖啡主体公司茵赫实业2023年年报显示,公司缴纳五险的员工人数为1225人,几乎每个门店只对应一名缴纳五险的员工。 三言咨询了今天发帖说Manner换聋哑人的网友,对方表示,店里只有一个咖啡师。 不过,今天发帖网友的定位是上海市威海路639号店,而此前被曝向顾客泼咖啡粉的Manner门店是上海威海路716号。 并且,此前网络上Manner咖啡店员向顾客泼咖啡粉的视频显示,涉事门店中不止一位店员。 三言还查看了大众点评上一些网友对Manner门店的评价,根据网友们发布的照片来看,有的照片只能看到一个店员,也有照片可以看到多个店员。 据媒体报道,一名在华东地区的Manner咖啡师称:“现在Manner会按照门店业绩分配人手,日营业额5000元以下的,一家店只派一个人,日营业额在6000元及以上的才会派两个人。” 七、企业聘用残疾人士有什么意义? 如果企业能够按照相关规定聘用残疾人,则是企业履行社会责任的一种体现,能够提升企业的社会形象和声誉。同时,企业还能享受一些政策的支持。 此外,残疾人作为弱势群体,需要得到更多的关注和帮助。企业可以通过提供就业机会,帮助残疾人实现自我价值。 这本应该是一件双赢的事。 但是,如果企业不能给予残疾人应有的保障,只是单纯为自己牟利,就不能一概而论了。 此外,还有一些企业通过“挂靠”方式实现虚假残疾人就业,以这种投机模式获利。 Manner前几日声明会优化门店运营安排,尽可能减少顾客等待时间,提升顾客服务满意度;贝壳财经近日报道称,Manner有关人士表示一人店可能后续会调整,但这是非常复杂的运营问题,不是马上能从一个人加到两个人的。 那么,对于“无声咖啡师”会有更多的关怀吗?
因雨刮器电机故障,特斯拉召回几乎所有Cybertruck电动皮卡
IT之家 6 月 26 日消息,特斯拉正召回其 Cybertruck 电动卡车,原因是该车型的单臂式雨刮器可能存在故障。部分卡车的雨刮器电机可能存在缺陷,导致雨刮器无法正常工作,这可能会在雨天带来安全隐患。 此次召回涉及 11,688 辆 Cybertruck 电动卡车,涵盖了 2023 年 11 月 13 日至 2024 年 6 月 6 日期间生产的所有 Cybertruck 卡车。特斯拉方面认为,受影响的车辆中仅有 2% 存在此缺陷。本次召回之前,特斯拉已经在月初暂停了该车型的客户交付。 特斯拉公司最早是在 2 月份发现这一潜在问题的,当时特斯拉维修人员在部分 Cybertruck 卡车上发现了雨刮器电机故障。随后特斯拉工程师花了数月时间对回收的 20 个电机进行分析,最终找到了问题根源。 调查发现,在二级供应商处进行的功能测试过程中向部件施加了过大的电流,从而损坏了电机电路板。 特斯拉表示,目前为止还没有收到与该问题相关的碰撞、受伤或死亡事故报告。特斯拉将免费为车主更换雨刮器电机。 IT之家注意到,除了雨刮器电机问题之外,特斯拉还发起了另一项针对 Cybertruck 货斗侧面的饰板松脱问题的召回,该装饰板可能存在安装问题,在行驶过程中可能松动或脱落。此召回涉及到 2023 年 11 月 13 日至 2024 年 5 月 26 日期间生产的 11,383 辆车。特斯拉将为这些车辆更换或维修货斗侧面的饰板,以确保其牢固性。
3D NAND,只能堆叠?
NAND发展似乎进入了一个怪圈。 曾经的东芝存储,如今的铠侠刚宣布了一个好消息:随着存储市场的复苏,铠侠已经结束了NAND 闪存的减产策略,目前铠侠在日本三重县四日市和岩手县北上市两座工厂产线的产能利用率已提升至100%。 此外铠侠在连续 6 个季度的亏损后也在上季度重新实现了103亿日元盈利,由三家银行组成的贷款银团同意对铠侠即将到期的5400亿日元(当前约249.25 元人民币)贷款进行再融资,并提供2100亿日元的新信贷额度。 而其他存储厂商,也在努力恢复之前削减的NAND产能,三星的 NAND 闪存产能已攀升至 70% 左右, SK 海力士正在加大高容量 NAND 产品(如高容量 eSSD)的生产,而西部数据则正将其生产利用率提高到 90% 左右。 不过,NAND市场的寒冬恐怕还未结束,有专家担心,产量的快速增长可能会超过需求,从而抑制 NAND 闪存价格的上涨,韩国工业经济贸易研究院研究员金仰N鹏表示:“除了人工智能数据中心使用的高容量 NAND,很难说整个 NAND 市场都在复苏,产量的突然激增可能会压低一直在上涨的 NAND 价格。” 这也意味着,接下来的一年中,NAND市场依旧存在着许多不确定性,能否像DRAM一样快速恢复元气,还是一个未知数。 而更大的挑战仍然是技术层面的,3D NAND的下一步到底是什么? NAND,何去何从 对于NAND来说,21世纪的头十年和DRAM别无二致,借助不断发展的摩尔定律,通过更高分辨率的光刻,持续微缩晶体管,从而带来存储密度和性能的提升。 但在2010年之后,这条微缩之路逐渐走到了尽头,一方面,EUV技术量产比想象中更慢,DUV已经达到了极限,而曲线救国的多重曝光方法带来的高成本与低良率也是NAND厂商所不能接受的。 最终,3D NAND技术成为了新的发展方向,传统NAND Flash 采用平面设计,而3D NAND 是以则由原本平铺的存储单元所堆叠而成,由传统单层存储提升至高达上百层的堆叠,让其存储容量相较于传统2D NAND Flash有了大幅提升。 直到今天,3D NAND也在持续推动着整个存储市场的发展,但行业内的对NAND未来发展方向的争议却似乎从未停止过。 早在2004年国际固态电路会议(ISSCC)上,Sub-Micron Circuits的Jagdish Pathak就表示:“为了在2010年之后继续缩放闪存技术,需要进行深入研究。90纳米的闪存已经投入生产,在65纳米上存在争议,有些人认为可以继续缩放,有些人则表示怀疑。我认为在接近45纳米时,浮动栅极结构会面临更大的缩放困难。有很多很多的挑战。” 三星存储部门副总裁Kim Ki-Nam博士选择了基于硫属化物的方法(即PCRAM、PRAM和Ovonics统一存储器),这种方法依赖材料的相变效应来实现切换。Kim说:“它比其他方法具有更好的可扩展性。” 日立中央研究实验室的Tomoyuki Ishii正在研究NanoCrystal存储技术,这是一种单电子存储技术的衍生方法。Ishii说:“它可以垂直和水平缩放,多状态数据提供了所有替代方案中最低的每比特成本。氧化物可以缩放到5纳米的厚度,而且这也是一个纯硅工艺。”NanoCrystal的挑战是编程和擦除时间慢以及高电压。Ishii认为这些问题将在两到三年内解决。 英飞凌科技和摩托罗拉则把资金投入到MRAM上。英飞凌的Sitaram Arkalgud称MRAM是“对通用存储应用极具吸引力的候选者”。然而,Jagdish Pathak指出,第一篇关于MRAM的论文发表在1991年,但至今仍没有商业产品。 英特尔闪存开发总监Greg Atwood说:“目前尚不清楚是否存在或即将出现能够挑战浮动栅极的技术。” 可以看到,20年前,各家对NAND的下一步提出了不同看法,最终,NAND 闪存行业放弃了传统的扩展方式。首批商用 3D NAND 产品于 2013 年推出,堆栈数量为 24 个字线层 (128 Gb)。根据供应商的不同,结构存在差异,以不同的名称为人所知,例如 V-NAND 和 BICS,3D NAND成为了第一个也是唯一一个将真正的 3D 产品推向市场的技术。 为了保证NAND密度能够不断提升,厂商们在这20年时间中实施了更多创新,从而促进具有挑战性的 3D 工艺或进一步提高位密度,后者的一个例子是将每个单元的比特数增加到最多4个,这是NAND闪存技术的真正优势。例如,使用4个比特时,多级单元在每个单独的晶体管中使用16个离散电荷级别,这得益于足够大的存储窗口。 另一个显著的创新是用电荷陷阱单元取代了浮栅单元,这涉及更简化的工艺流程。这两种单元类型的工作原理相对类似,但在电荷陷阱单元中,捕获层是绝缘体——通常是氮化硅——这减少了邻近单元之间的静电干扰。现在,大多数3D-NAND结构都以这种电荷陷阱单元为基础。 值得一提的是,3D NAND依旧在不断的堆叠当中,其中几家主要的NAND厂商,目前已经向200层以上发起进攻。 三星一直处于3D NAND创新的前沿。他们在V7中采用了双层结构,并引入了COP整合以提高性能。随着V8 236层1 Tb TLC产品的发布,三星展示了其不断突破技术界限的承诺。展望未来,三星已经在计划V9,采用280层COP V-NAND和类似于其他领先竞争对手的混合键合技术。 铠侠(KIOXIA)和西部数据(WDC)保持了BiCS结构,专注于提高层数。通过宣布第八代BiCS产品具有218层,并计划推出具备284层的后续版本,铠侠展示了其在NAND技术进步方面的决心。 美光(Micron)转向CTF CuA整合,凭借 176L 和 232L 产品的发布引领市场。他们还在开发 Gen7,可能会跳过 300 层节点,瞄准 400 层设备,展现出他们对未来创新的雄心。 SK海力士继续使用4D PUC结构,计划大规模生产238层V8 4D PUC产品,其正在为进一步发展做好准备,可能在不久的将来达到370层或380层。 长江存储(YMTC)的Xtacking结构取得了显著进展,从176层跳到232层。尽管面临芯片禁令带来的挑战,其仍然专注于开发更先进的QLC设备和multi-Xtacking技术。 旺宏电子(MXIC)以其第一代3D NAND芯片进入市场,应用于任天堂Switch等产品。计划推出具有96层的第二代产品,其准备在行业中取得进一步进展。 厂商们甚至已经开始绘制1000层的蓝图。激进的铠侠近期表示,以每年 1.33 倍的增长率,3D NAND到 2027 年将可达到 1,000 层的水平,三星则在之前预测,到 2030 年左右,其 3D NAND 可以堆叠超过 1,000 层。 随着 3D NAND 的成熟,SLC 和 MLC 逐渐被淘汰,TLC 占据主导地位,而最新的QLC 比 TLC 密度更高,而且还有五级单元工作,成本较低。但问题也接踵而至,尽管 QLC SSD 密度高且成本较低,但性能并不好,更容易出错,使用寿命也不如更昂贵的 TLC NAND 的 SSD 长。 此外,尽管 NAND 取得了诸多进步,但它本身能做的事情非常有限,主要在于其写入速度仍会阻碍其大幅缩小与 DRAM 的差距或达到 Optane 的性能,这主要归结于量子力学,这意味着闪存写入速度为数十毫秒,而 DRAM 写入速度为数十纳秒,该限制将使 NAND 闪存无法填补空白。 AI会是希望吗? AI不仅带动了DRAM市场中HBM部分的增长,也给NAND带来了一些好消息。 根据市场研究公司Omdia在6月10日的报告,预计今年QLC NAND市场规模将比去年增长85%,其在整体NAND市场的份额将从去年的12.9%增加近8个百分点,达到今年的20.7%。 Omdia预测,到2027年,QLC NAND将在整个NAND市场中占据46.4%的份额,三年内份额将翻倍,接近目前占据51%市场份额的三级存储单元(TLC)产品。值得注意的是,尽管直到去年QLC NAND产品主要面向消费者,但今年需求预计主要增长在更高价位的服务器产品上。 QLC NAND的特性与大型科技公司在其服务器上部署生成性AI的需求非常契合。SSD比传统硬盘驱动器(HDD)提供更快的数据读写速度,这突显了每单位面积存储更多信息和减少功耗的优势。NAND制造商也在迅速响应对QLC NAND需求的激增。有乐观的说法认为,NAND市场的“春天”可能比预期的更强劲。像去年基于AI需求的HBM需求增长一样,NAND市场可能会经历类似的长期市场形成。 不过,尽管QLC NAND吃到了AI的红利,但它本身的问题依旧存在,尤其是在高读取工作负载的环境下,不论是寿命还是性能,都会受到很大的影响。 有趣的是,AI在带动NAND市场发展的同时,也给NAND提供了一种解题思路。 在使用 AI 来更好地管理 SSD 中的 NAND这方面,主控厂商已经走在了前面,据报道,Microchip Technology 的闪存控制器内嵌有机器学习引擎,以帮助延长 NAND 的寿命并改善比特错误率。 在一次独家采访中,Microchip 数据中心解决方案业务部门的 Ranya Daas 说,虽然在后台使用算法会增加开销,因为它需要处理能力,但她表示,机器学习可以使 NAND 单元训练以减少读取和重试次数,从而优化读取电压。“你会从一开始就知道要去读取哪个参考电压。” Daas认为,这种方法有机会延长 NAND 闪存的寿命,减少延迟,并且不增加必须实时进行的后台处理。 此外,SSD 制造商 Phison Electronics 也在利用 AI 来提高闪存在驱动器内的性能。 “你无法克服闪存的固有延迟,” Phison 的首席技术官 Sebastien Jean 在接受 EE Times 独家采访时表示。“它具有自身的延迟结构。在任何现实的工作负载和任何现实的数据量中,你不可能缓存足够的数据以在统计上产生差异。” 除了其第四代 LDPC ECC 引擎外,Phison 还专注于可以通过 AI 改善的痛点,Jean 说。其 Imagin+ 定制和设计服务包括 AI 计算模型和 AI 服务解决方案,以帮助公司客户设计和工程定制闪存部署。 Imagin+ 与 Phison 产品一起工作,优化用于 aiDAPTIV AI+ML 工作负载。aiDAPTIV+ 将 SSD 集成到 AI 计算框架中,以提高 AI 硬件架构的整体操作性能和效率。它结构性地划分大规模 AI 模型,并通过 SSD 卸载支持运行模型参数。Phison 的方法旨在在有限的 GPU 和 DRAM 资源内最大化可执行的 AI 模型。 从某种意义上说,AI 正在使闪存更好地处理 AI。Jean表示,AI 可以用于热/冷映射。在闪存存储阵列采用的早期,公司必须决定哪些数据足够重要以存储在较快的闪存上,而不是较慢的旋转磁盘上。他说,通过改进热/冷检测映射,可以延长驱动器的寿命,减少延迟,并在整个读/写周期内保持更紧密的性能。 在一味强调堆叠的今天,NAND本身的性能寿命遇到了新的挑战,而AI似乎不仅是NAND未来的“衣食父母”,也是它下一步发展的救星之一。 写在最后 对于NAND产业来说,市面上的参与者比DRAM更多,也意味着竞争更加激烈。 当DRAM产业中HBM这样的高附加值产品出现后,也让许多人开始思考,NAND产业的“HBM式变革”在何处,它能否带来产业的新一轮发展。 更高的密度或许可以满足市场目前的需求,但堆叠层数,或许已经不是唯一的答案。
挑战英伟达!00后哈佛辍学小哥研发史上最快AI芯片,比H100快20倍
整理 | 郑丽媛 自 2022 年底以来,在由 ChatGPT 掀起的这场席卷全球的 AI 浪潮中,作为 AI 底层算力“霸主”的英伟达(Nvidia),可谓是最大受益者之一:不久前,英伟达一举超越微软和苹果,以 3.34 万亿美元的市值成为全球最有价值的公司。 归根结底,是因为英伟达在 AI 芯片市场占据着近乎垄断的地位:强大性能的 GPU 产品如 A100 和 H100 芯片,是大模型训练上的“硬通货”;CUDA 软件生态也几乎是英伟达的“护城河”。 因此谁也没想到,敢对着市值超 3 万亿美元、拥有 2.8 万名员工、处于垄断地位的英伟达高调“下战书”的,会是一支由 3 名大学辍学生创立、目前仅 35 名员工、刚筹集了 1.2 亿美元的团队:Etched。 (图片来自Etched官网) ChatGPT 问世前的一场“豪赌” 从网上资料来看,Etched 是由三位哈佛大学辍学生 Gavin Uberti、Robert Wachen 和 Chris Zhu 在 2022 年创立的。 最初,Gavin Uberti 和 Chris Zhu 在大学暑期实习时进入了一家芯片公司,接触到底层硬件领域并为之吸引后,便决定从哈佛大学退学,又拉上了 Uberti 的大学室友 Robert Wachen,共同创立了 Etched 公司——据悉,当时 Gavin Uberti 正在攻读数学学士学位和计算机科学硕士学位。 (从左到右:Robert Wachen、Gavin Uberti 和 Chris Zhu) Etched 初步成立后,三位 00 后创始人在 2022 年 6 月、ChatGPT 还未问世前就对 AI 进行了一场“豪赌”:“我们打赌,Transformer 将席卷全球。” 基于这个设想,他们推测专用 ASIC 芯片(专为特定架构设计的 AI 芯片)是一种必然趋势。 事实上,当时的 AI 模型种类繁多,有用于自动驾驶汽车的 CNN、用于语言的 RNN,还有用于生成图像和视频的 U-Nets 等等。而 Uberti 他们注意到,Transformer(ChatGPT 中的“T”)是第一个可以扩展的模型。 现阶段看来,他们似乎(暂时性)赌赢了:如今每一个最先进的 AI 模型都基于 Transformer,包括 ChatGPT、Sora、Gemini、Stable Diffusion 3 等等。 GPU 遭遇瓶颈,唯一方法是 ASIC 如开头所说,在这场 AI 大模型的全球竞赛中,大多数企业都离不开 GPU,这也是英伟达能成功垄断市场的原因之一。 然而,Etched 在博文中指出:这四年来,GPU 本身并没有多少提升,即芯片单位面积的计算能力(TFLOPS)变动不大,只是芯片面积变得更大了。 不论是英伟达的 B200、AMD 的 MI300,还是英特尔的 Gaudi 3 和亚马逊的 Trainium2,都是把两张芯片算作一张,以此实现所谓的“双倍”性能。 基于这个发现,Etched 确定了其发展路线:随着摩尔定律的放缓,提高芯片性能的唯一方法就是专业化——但在 ChatGPT 出现之前,Etched 认定的这个方向几乎没有市场。 当时,Transformer 还没风靡全球,许多公司都构建了灵活的 AI 芯片和 GPU 来处理数百种不同的架构,例如英伟达的 GPUs、Amazon 的 Trainium、AMD 的加速器、Graphcore 的 IPUs、D-Matrix 的 Corsair 和英特尔的 Gaudi 等。 如此背景下,自然没人想要制造专为特定架构设计的 AI 芯片(ASIC):Transformer 的市场不大,而芯片项目的成本为 5000 万至 1 亿美元,还需要数年时间才能投入生产。 但突然之间,ChatGPT 的全球爆火令情况发生了巨大变化: (1)前所未有的需求:在 ChatGPT 之前,Transformer 推理的市场约为 5000 万美元,现在则已达数十亿美元。所有大型科技公司都在使用 Transformer 模型(OpenAI、谷歌、亚马逊、微软、Meta 等)。 (2)架构逐渐趋同:AI 模型过去变化很大,但自 GPT-2 以来,最先进的模型架构几乎保持一致。OpenAI 的 GPT 系列、谷歌的 PaLM、Meta 的 LLaMa、甚至特斯拉的 FSD 都是基于 Transformer。 Etched 联合创始人兼 CEO Gavin Uberti 表示:“当 ChatGPT 问世时,英伟达股票大涨,尤其是所有即将推出的 AI 模型都将成为 Transformer 时,我们才发现自己在正确的时间出现在了正确的地点。” 诚然如他所说,当模型的训练成本超过 10 亿美元,推理成本超过 100 亿美元时,专用芯片就是不可避免的了:在这种规模下,只要有 1% 的性能改进,都能证明成本为 5000 万至 1 亿美元的芯片项目是值得的。 全球第一款专为 Transformer 设计的专用芯片 Sohu 朝着这个方向,Etched 花了两年时间,打造出了全球第一款专为 Transformer 设计的专用芯片,名为 Sohu,并于昨日正式官宣:认识一下 Sohu,这是史上最快的 AI 芯片。 据 Gavin Uberti 介绍,Sohu 采用台积电的 4nm 工艺制造,只有 1 个核心,每张芯片配有 144GB HBM3E 高带宽内存,可提供比 GPU 和其他通用 AI 芯片更好的推理性能,且耗能更少、成本更低。 为了更直观地衡量 Sohu 的强悍性能,Gavin Uberti 把英伟达作为参照: 在运行文本、图像和视频转换器时,Sohu 的速度比英伟达下一代 Blackwell GB200 GPU 还要快一个数量级,且成本更低;700 亿参数 Llama 3 吞吐量能达到每秒 50 万 tokens;一台 8xSohu 服务器可取代 160 个 H100 GPU……对于需要专用芯片的企业领导者来说,Sohu 将是一个更经济、更高效、更环保的选择。 而之所以 Sohu 能实现如此性能,正是因为它的“专用性”:无法运行大多数传统的 AI 模型,如为 Instagram 广告提供动力的 DLRMs、AlphaFold 2 等蛋白质折叠模型、Stable Diffusion 2 等较老的图像模型,也无法运行 CNN、RNN 或 LSTM——专为 Transformer 设计,只能运行 Transformer。 基于这个特点,作为 ASIC 芯片的 Sohu 在设计之初就直接摒弃了与 Transformer 无关的硬件组件,极大简化推理硬件和软件管道,以此最大程度地提高性能。 Etched 在博文中提到,相较之下,通用 AI 芯片如英伟达的 H100,虽拥有 800 亿个晶体管,却只有 3.3% 用于矩阵乘法(大模型推理时最常见的运算):“这是英伟达和其他灵活的 AI 芯片有意为之的设计决策。如果你想支持所有类型的模型(CNN、LSTM、SSM 和其他),这种方案固然是最好的。” Gavin Uberti 指出:“我们无法运行 CNN、RNN、LSTM 和其他 AI 模型,但对于 Transformer 来说,Sohu 就是有史以来最快的芯片,甚至没有竞争对手。” Etched 能否打败英伟达? 对于能否打败英伟达这个问题,Etched 首席运营官 Robert Wachen 的回应如下: “过去,AI 计算市场是分散的,人们使用不同种类的模型,如 CNN、DLRM、LSTM、RNN 和其他数十种跨领域的模型,每种架构的花费都在数千万到数亿美元之间,通用芯片(GPU)有着庞大的市场;但现在,市场正在迅速整合为一种架构:Transformer,那么专用芯片就是大势所趋。 我们的芯片在大多数工作负载上都无法击败 GPU,因为 Sohu 无法支持它们。但是,对于Transformer 专用芯片来说,我们将会占据这个市场。” 除此之外,Thiel Fellowship 主任 Alex Handy 也在一份声明中表示:“投资 Etched 是对 AI 价值的战略押注。他们的芯片解决了竞争对手害怕解决的可扩展性问题,也挑战了同行中普遍存在的性能停滞不前的现象。” 目前来看,Etched 受到业界的广泛关注和许多支持,但正如 Gavin Uberti 所说,这场豪赌还没有结束:“如果未来 Transformer 消失或被取代了,我们就会死;但如果他继续存在,我们就会是有史以来最大的公司。”
视频号先动手,数字人商业化成迷
作者|陈 妍 编辑|大 风 数字人的商业化之路,仍然是一片迷途。 最近,腾讯视频号成为全网第一个向数字人开炮的平台。它修订了有关达人直播的细则,将“挂机录播”内容改成了“非真实直播”内容,里面提到,使用插件、AI等工具生成虚拟形象进行直播都是违规行为。 视频号细则截图 简单来说,视频号加大了非真人直播乱象的整顿,明令禁止了虚拟数字人的直播行为。想靠数字人直播带货、直播打赏的路被堵死了。 不过目前细则主要针对直播场景,没涉及视频,也就是说,用数字人形象进行视频创作的博主,暂时不受影响。 近几年来,市面上有关数字人的风声很大,大厂小厂都在鼓吹数字人技术的优越性,比如花个三五千块就能代替真人主播,分分钟解放生产力。 但真的等到落地环节才发现,技术实力不过关、市场接纳度不高、合规的监管红线,都是摆在数字人面前的大山。 数字人的商业化之旅仍然前途漫漫。 技术不过关,直播一眼假 放眼目前数字人所有的应用场景,直播带货无疑是最受关注的赛道,24小时不间断工作的数字人主播,给行业编造了一个盛大的美梦。 但眼下视频号率先把锅给端了。 视频号会做出这种举动,也在情理之中。跟京东、淘宝这些追求带货效率的电商平台不同,视频号脱胎于微信,它的优势就在于真人社交互动和内容分享。允许数字人直播容易导致大量低端内容充斥在视频号上,从而破坏整个平台生态。 这也从侧面放映出一件事,数字人技术发展到现在,实际观感仍然很差很假,比不上真人直播,容易引起用户反感。 拿最近比较出圈的AI刘强东来说,已经是眼下高质量的数字人代表。它在形象、动作、声音、口癖上都尽可能接近刘强东本人,在直播过程中,AI刘强东也会时不时地看看手机,搓搓手指,调整下姿态。 刘强东AI数字人 但即便如此,还是能发现AI刘强东“不像真人”,非常僵硬和不自然。它几乎不和观众互动,只能完成一些浅层次、同质化的表达,被网友戏称为“全是技巧,毫无感情”。 根据京东披露的数据,AI刘强东直播的第一个小时内,总GMV达到了5000万。但更大程度上,是刘强东本人的名人效应带来那么大的关注度和销量转化,距离数字人取代真人直播还有很长一段路要走。 事实上,市面上有很多企业都尝试过数字人带货,但实际带货效果大多不理想,只能草草放弃。 交个朋友直播间的相关负责人就曾表示,目前数字人技术整体还不太成熟,之前公司也尝试过用数字人直播,但是效果不太好,“实际上数字人主播距离正式商用,可能还有3-5年的距离。” 到目前为止,相比起真人主播,数字人主播缺乏吸引力,消费者不愿为此买单。 规模化落地前的合规阻碍 数字人在技术层面的问题,或许可以靠着大模型的发展完善去解决,但伦理和合规上的挑战,却不是一时半会儿能克服得了的。 目前数字人领域缺乏足够完善的行业规范,数字人的一些行为举动,有可能会牵扯到法律纠纷和社会伦理问题。 举个例子来说,当一个数字人主播,向直播间观众极力推销某款产品的时候,它说的话有任何可信度吗?数字人不是真人,不可能在任何意义上使用、触摸过产品,一定程度上说,它说的每句话都是“假话”。 数字人直播带货 粉丝们喜欢李佳琦、小杨哥、董宇辉这些主播,起码是认可他们作为真人的存在,在感情上有所寄托。真人主播能为消费者提供情绪价值,双方存在真实的互动。但数字人又没有“感情”,何谈情感共鸣。 有些不法分子还会利用数字人实施诈骗,尤其是一些辨别能力弱的中老年人,稍有不慎就可能被坑钱。 因此不止视频号,抖音、快手等平台同样对数字人保持谨慎态度。 前段时间,快手电商发布公告称,对于利用AIGC辅助创作的直播内容,快手不会给予特殊的流量扶持,利用AIGC低成本优势生产低质量内容的行为,平台更是强烈反对。快手虽然不像视频号那样明令禁止,但也表明了“不支持”的态度。 快手电商公告 今年3月,抖音安全中心发布《抖音关于不当利用AI生成虚拟人物的治理公告》,对站内不当使用AI技术生成虚拟人物发布内容的账号,进行了严厉处置。 考虑到数字人存在的争议与不确定性,至少未来一段时间里,短视频平台都不会加大数字人的权重。 数字人IP,仍是小众市场 当然了除了直播带货,国内数字人赛道还有其他赛道和玩法,一些比较成熟的数字人IP,玩的是粉丝经济和虚拟偶像那套。 问题是这些年下来,能跑起来的虚拟数字人IP凤毛麟角,不一定是笔划算买卖。 首先打造一个完整的虚拟数字人IP,前期实在是太烧钱了。想要视觉外形上看起来足够真实有质感,其生产成本不会低于制作一部专业级电影。根据瑞银发布的数字人研究报告,高级虚拟人物的前期投入成本平均为3000万元,后期又需要真人团队完成拍摄、配音、剪辑。 创壹科技CEO梁子康曾透露过,柳夜熙正式推出前的半年多时间,研发成本、人员成本、技术成本等投入都在百万元级别,“第一条柳夜熙的短视频成本约几十万元”。 柳夜熙截图 更大的压力是,可能挣不到钱。 像洛天依、A-Soul、柳夜熙这些虚拟数字人IP,目前主要是靠2B联名代言,其他还有演出以及衍生周边收入。这种变现模式跟网红MCN机构没有本质区别,虚拟偶像们利用自己的知名度和影响力,赚粉丝经济的钱。 但哪怕到现在,虚拟偶像在国内市场仍属于小众爱好,受众的增加速度比不上虚拟偶像的产出速度。这些年下来,大部分人可能只听说过一个洛天依,其他大部分虚拟偶像几乎没什么声量。 洛天依 行业尚处于教育阶段,许多虚拟数字人企业即便接得到商单,也是投入大于收入,亏本赚吆喝钱。 另外数字人IP还能应用在文旅、金融等行业。 在一些景区和文化机构,数字人代替真人成为导游,与游客展开个性化互动,比如中国文物交流中心的“文夭夭”,敦煌研究院的“伽瑶”;在银行业,浦发银行的智能数字人客服“小浦”,已经任职了财富规划师、大堂经理、文档审核员等20多个岗位。 虽然应用的范围挺广,但终归是新奇程度大于实用程度,整体商业模式还是不够成熟。 数字人何时能在商业化上释放更多想象力,还尚未可知。
Anthropic创始人Dario最新投资人深度访谈1.7万字全文
文:Web3天空之城·城主 前言: 这是最近风头正劲的Anthropic创始人CEO Dario Amodei最新接受著名投资人- 世界最大的主权基金挪威主权基金的主席尼古拉·唐根的深度访谈。 Anthropic公司的大模型产品,即大家都熟知的Claude。稍微关于大模型进展的同学都知道,最近Claude升级到了Claude3.5-Sonnet,其能力比OpenAI的最新模型GPT4o略胜一筹(这是众多评测包括城主自己使用的主观感受- 超越得不多,但确实好一点点) 而尼古拉·唐根更是大名鼎鼎,其追问拷打式风格不得不说是所有访谈主持人里最强势的,而问题确实也问得特别到位。可以认为,这就是一位从大众角度/投资人角度向大模型公司创始人所能提问的最深的访谈了,而坐在对面的,是目前从各方面说唯一匹敌OpenAI的Anthropic创始人。 所以,无须多言,大家都不应该错过这一次精彩的访谈。 ==天空之城书面整理版== 大家好!欢迎来到 In Good Company。 今天我们非常激动地邀请到了Anthropic的首席执行官兼联合创始人Dario Amodei。Dario是人工智能领域的超级明星,他与团队一起开发了Claude语言模型,这是目前最好的语言模型之一,并且得到了亚马逊和谷歌的支持。Dario,您是人工智能安全和道德方面的领军人物,甚至中断了假期来到这里与我们交谈。非常感谢您的到来。 感谢您的邀请。 那么,人工智能的最新突破是什么? 是的,我可以谈几件事。首先,我认为人工智能的扩展趋势仍在继续,所以我们将在明年看到更大、更强大的模型,它们能够完成更大的任务。事实上,当这个播客播出时,Anthropic将会推出一个新模型,它可能是世界上最智能、最强大的模型。但令我特别兴奋的一个领域是我们正在同时开发模型的可解释性,即洞察我们的人工智能模型内部并了解它们做出决策的原因的能力。过去几年,该领域主要是一个研究领域,现在才刚刚开始有实际应用。所以这是我非常兴奋的一个领域。 为什么它如此重要? 如果你看看今天的人工智能模型在做什么,你往往不会理解为什么人工智能模型会这样做。我刚刚在午餐时和某人聊天。假设你想考虑你的行业,假设你想要一个人工智能模型在某些数据上进行训练,以便能够预测一组特定的财务数据会发生什么。在训练模型时,你会遇到一个问题,那就是如果你用过去的数据进行训练,模型可能已经记住了它,因为它是经过训练的,它基本上知道会发生什么。在这种情况下,它知道未来。可解释性可能让你分辨出区别。模型是在推断问题的答案,还是在记住问题的答案?同样,如果一个模型的行为方式,比如说,表现出对某个特定群体的偏见或似乎表现出偏见,我们可以看看这个模型的推理吗?它真的是由偏见驱动的吗?还有许多法律要求,在欧盟,有一个正确的解释。因此,可解释性,即能够看到模型内部,可以帮助我们理解模型为什么会做和说它们所做的事情,甚至可以干预它们并改变它们所做的事情和所说的话。 所以不久前,你说我们仍然不知道先进的人工智能模型是如何工作的。这是否意味着这将解决这个问题? 我不会说解决。我会说我们才刚刚开始。也许我们现在了解了它们工作方式的3%。真的吗?我们处于可以查看模型内部的水平,我们可以在其中找到与非常复杂的概念相对应的特征,例如一个特征可能代表对冲或犹豫的概念、特定的音乐流派、角色可能处于的特定类型的隐喻情况,或者,再次,对各种群体的偏见。所以我们拥有所有这些特征,但我们认为我们只发现了其中的一小部分。我们仍然不明白的是,我们不明白所有这些事物如何相互作用,从而产生我们每天从模型中看到的行为。这有点像大脑。我们可以做脑部扫描,可以对人脑进行一些研究,但我们没有它的规格表。我们不能说,这就是为什么那个人做了他们所做的事情。 我们能完全理解它们的工作原理吗? 我不知道,直到最后一个细节,但我认为进展正在迅速发生。我对获得突破持乐观态度。 但进展是否比新模型的复杂性更快? 这是一个很好的问题。这就是我们正在努力解决的问题。因此,我们在语言模型的可解释性上投入了大量资源,试图跟上模型复杂性增加的速度。我认为这是该领域最大的挑战之一。这个领域发展如此之快,包括我们自己的努力,我们希望确保我们的理解与我们制作强大模型的能力保持同步。 你的模型有什么好处? 这是Claude模型。为了提供一些背景信息,我们最近发布了一组Claude三世模型,它们被称为Opus、Sonnet和Haiku。它们在功率和智能之间以及速度和低成本之间进行了不同的权衡,同时仍然保持智能。在Opus发布的时候,它实际上是世界上最好的全能模型。但我认为一个特别让它变得好的原因是我们在它的角色中投入了大量的工程设计。我们最近发布了一篇关于我们如何设计Claude角色的文章。人们普遍发现Claude模型更温暖、更人性化,他们更喜欢与它们互动。其他一些模型听起来更机械化,更缺乏灵感。我们将继续快速创新。正如我所说,到这个播客播出时,我们可能至少会有一部分新一代模型问世。 告诉我关于新模型的情况。 我不能说太多,但如果我不得不说一点,我会说我们正在推动边界。目前,速度和模型的低成本与质量之间存在权衡。你可以把它想象成一条权衡曲线,一个边界。将会有新一代模型将这个边界向外推进。所以,到这个播客播出时,你会看到,我们会给它起个名字,至少对于其中一些模型。我们会发现,你需要最强大的模型才能完成的事情,只需要一些中端或低端模型就能完成,这些模型比上一代更快、更便宜、甚至更强大。 那么,Dario,这里的惊喜因素是什么呢?当我得到这个模型时,它会对我做什么? 你会看到更擅长于代码、数学、推理的模型。我最喜欢的一个是生物学和医学。这是我最期待的新模型应用集之一。我们今天拥有的模型在很多方面就像早期本科生或实习生一样。我认为我们开始将这个界限推向高级本科生甚至研究生水平的知识。因此,当我们考虑将模型用于药物开发,或者在您自己的行业中,将模型用于考虑投资甚至交易时,我认为这些模型在这些任务上会变得更加复杂。而且,我们希望每隔几个月就能发布一个新模型,将这些界限进一步推向更高层次。 最近发展最快的领域之一是将人工智能融入我们所做的一切。 是的 。 苹果和OpenAI最近发布了声明,您怎么看待这个问题? Anthropic认为自己更多是为企业提供服务,而不是为消费者提供服务。因此,我们正在考虑如何将人工智能融入工作环境。 如果您考虑当今的模型和聊天机器人,这有点像在企业环境中使用它们。这就像在街上随便找一个非常聪明但对您的公司一无所知的人,把他们带进来并向他们征求建议。我真正想要的是更像人工智能模型的人,更像经过多年训练并了解您公司知识的人。因此,我们正在致力于将我们的人工智能模型连接到知识数据库,让它们现场工作,使用企业内部工具,并真正与企业整合,就像员工的虚拟助手一样。这是我所考虑的一种真正推动整合的方式。 你对苹果智能有什么看法? 听起来苹果正在使用一些芯片上的模型和一些外部调用。我不能说太多,但他们设置的方式允许他们调用几个不同的模型。正如苹果自己所说,我们完全期待他们会使用一系列模型。 你认为他们会使用Anthropic吗? 显然我无法对此发表评论,但这肯定是有道理的。 如果你看看Anthropic的长期目标,是什么? 我们只有三岁半,是迄今为止该领域能够在前沿领域建立模型的最新参与者。我们是一家公益公司,我认为我们的长期目标是确保所有这一切顺利进行。这显然是通过公司来实现的。但如果你考虑我们的长期战略,我们真正想要做的是创造所谓的“竞相向上”的现象。 “竞相向下”是众所周知的事情,因为市场竞争非常激烈,每个人都在争相偷工减料。我们认为有一种方法可以产生相反的效果,那就是如果你能够制定更高的标准,以更符合道德的方式进行创新,那么其他人也会效仿。他们要么受到启发,要么被自己的员工或公众情绪所胁迫,或者最终法律会朝着这个方向发展。因此,我们希望提供一个如何正确使用人工智能的典范,并带领整个行业与我们一起前进。这是我们可解释性工作、安全工作以及负责任扩展的思考背后的大量工作。我们有一种称为负责任扩展政策的东西。所以我认为我们的总体目标是尝试帮助整个行业变得更好。 你有点把自己标榜为好人? 我不会说任何夸张的话,更像是,我更多地考虑激励和结构,而不是好人和坏人。我想帮助改变激励机制,这样每个人都可以成为好人。 你认为我们会关心我们与谁、哪个模型互动吗?或者我们只会有一个代理来选择最适合这个目的的模型?这有点像比尔盖茨在播客上说的话。 我认为这真的取决于环境。关于这一点,我有几点看法。 首先,我认为我们正日益朝着模型擅长不同事物的方向发展。例如,我刚才提到的Claude的性格,Claude更热情友好,这对于许多应用程序和用例来说是非常理想的。而对于其他应用程序和用例,关注不同事物的模型可能会有所帮助。有些人正在朝着代理的方向发展,有些人则在开发代码良好的模型。例如,Claude的另一个优点是创意写作。因此,我认为我们将拥有一个生态系统,人们会根据不同的目的使用不同的模型。 在实践中,这是否意味着你有某种东西在为你选择模型? 我认为在某些消费者环境中,情况会是这样。在其他情况下,有人会说,哦,是的,我正在做的工作或我是那种人,我想一直使用这个特定的模型。 那么,什么造就了一个温暖的模型?你如何才能让模型看起来更友好?是更幽默还是更有礼貌?在中间放一些红心吗? 我们实际上试图避免使用太多表情符号,因为它很烦人。但如果你在推特上看到人们与Claude互动时的一些评论,那只是有点,我不知道如何描述它,听起来更像人类。我认为很多这些机器人都有某些抽搐,模型会有某些短语,比如“我很抱歉,但作为一个人工智能语言模型,我不能做X、Y和Z”,这有点像一个常用短语。我们帮助模型更多地改变他们的思维,听起来更像人类,诸如此类。 当你推出新模型时,你会对它的准确性有一个相当好的预测,它是参数数量的函数等等。那么,距离AGI还有多远?这就是通用智能。 我说过几次,但早在10年前,当所有这些都还是科幻小说时,我经常谈论AGI。我现在有了不同的观点,我不认为它是某个时间点。我只是认为我们处于这个平滑的指数上。随着时间的推移,模型会越来越好。没有一个点会让人觉得,哦,模型以前不是一般的智能,而现在却是智能的。我只是认为,就像一个学习和成长的人类孩子一样,他们会变得越来越好,越来越聪明,知识越来越丰富。我不认为会有任何一个值得注意的点。 但我认为有一种现象正在发生,随着时间的推移,这些模型会变得越来越好,甚至比最好的人类还要好。我确实认为,如果我们继续扩大规模,增加模型的资金,比如说,100亿美元…… 那么现在一个模型的成本是多少,1亿美元? 如今,正在训练的模型的成本超过10亿美元。如果我们达到100亿美元或1000亿美元,我认为这将在2025年、2026年或2027年实现,并且算法改进和芯片改进将继续快速发展,那么我认为,到那时,我们很有可能能够获得在大多数事情上都比大多数人更好的模型。 你认为100亿美元级别的模型会在明年出现吗? 我认为100亿美元量级模型的训练可能会在2025年的某个时候开始。参与这场竞争的人并不多。而且,我认为会有一个充满活力的下游生态系统,也会有一个小型模型的生态系统。我们已经筹集了超过80亿美元的资金,所以我们一直对达到下一个规模水平感兴趣。当然,这也与芯片的功能有关。 我们刚刚了解到,NVIDIA现在将发布间隔时间缩短了一半,从过去每隔一年发布一次变为现在每年发布一次。那么这意味着什么呢? 我认为这是认识到芯片将变得非常重要的自然结果,同时也面临竞争。谷歌和亚马逊都在制造自己的芯片,Anthropic正在与这两家公司合作使用这些芯片。芯片行业的竞争非常激烈,而且有一些非常强大的产品。 在芯片开发方面,谷歌和亚马逊远远落后。 我想重申一下,现在有多家公司提供的强大产品对我们有用,并且将以不同的方式对我们有用。所以这不再只是关于NVIDIA的事情了,但你看看他们的股票价值和股价,这也是他们和行业的一个指标。 你提到你更偏向企业方面,不一定偏向消费者方面。但最近,关于手机芯片的讨论越来越多,我们谈论人工智能、个人电脑等等。你怎么看这个? 我认为这将是一个重要的发展。如果我们回到我刚才提到的曲线,强大、智能但相对昂贵和缓慢的模型与超级便宜、超级快速但非常智能的模型之间的权衡曲线。随着这条曲线向外移动,我们将拥有非常快速和便宜的模型,它们比当今最好的模型更智能,尽管当时最好的模型会比它们更智能。我认为我们将能够将这些模型放在手机和移动芯片上,它们将通过一些门槛,在那里你可以完成今天需要调用云或服务器的事情。所以我对它的含义感到非常兴奋。我当然更兴奋于推动事物发展的边界。但随着这条曲线向外移动,暗示这两件事都会发生。 我们从法国竞争对手Mistral那里听说,他们已经开发出了一些非常高效的低成本或更低成本的模型。您如何看待这一点? 我无法评论其他公司的情况,但我认为我们看到了这种曲线的普遍变化。因此,我们看到的确实是高效、低成本的模式。但我认为这并不是事情趋于平稳,成本正在下降,而是曲线在变化。我们可以用更少的资源做更多的事情,但我们也可以用更多的资源做更多的事情。所以我认为这两种趋势是共存的。 Dario,我稍微改变一下策略,谈谈你的背景。你从物理学开始,是吗? 是的,我本科学的是物理学,然后读了神经科学研究生。 那么你为什么最终进入人工智能领域呢? 当我完成物理学学位时,我想做一些对人类产生影响的事情。我觉得,这其中的一个重要组成部分就是理解智力,这显然是塑造我们世界的因素之一。那是在2000年代中期。说实话,那时候我对人工智能并不特别感兴趣。所以我觉得当时研究智能的最好方法是研究人脑。因此,我读了研究生,研究神经科学和计算神经科学,利用了我的一些物理学背景,研究了神经元的集体特性。 但到了研究生毕业的时候,我做了一个短期博士后,人工智能才真正开始发挥作用。我们真的看到了深度学习革命。我当时看到了Ilya Sutskever的工作,所以我决定进入人工智能领域。我在不同的地方工作过,包括百度、谷歌和OpenAI。我在OpenAI工作了五年。 你在ChatGPT 2和3的开发中发挥了重要作用。你为什么离开? 到了2020年底,我们已经达到了某种程度。我们这些在这些领域从事这些项目的人,对如何做事有自己的愿景。我们有这样一幅图景,一是真正相信这个扩展假设,二是安全性和可解释性的重要性。 所以是安全方面让你离开的? 我想,我们只是对事物有自己的看法。我们中有一群联合创始人,真的觉得我们意见一致,彼此信任,并且想一起做点什么。 但你以前比现在更像人工智能末日论者。 我不会这么说。我的观点一直是,存在重大风险,也有好处。技术呈指数级增长,风险越来越大,好处也越来越大。所以,包括Anthropic在内的我们都对这些灾难风险问题非常感兴趣。我们有一项名为“负责任的扩展政策”的东西,这基本上就是在每一步中测量模型的灾难性风险。 什么是灾难性风险? 我会把它分为两类。一类是模型的滥用,这可能包括生物学或网络领域的事情,或者大规模的选举操作,这些事情对社会确实具有破坏性。因此,这种滥用是其中一类。另一类是模型的自主、非预期行为。今天,模型可能只是做了一些意想不到的事情,但随着它们在现实世界中发挥作用,我们越来越担心它们的行为方式会出乎意料。 你在 ChatGPT 身上看到了什么?有哪些特别让你担心的方面? 这与任何特定模型无关。如果我们回溯到2016年,在我加入OpenAI之前,当我在谷歌工作时,我和一些同事写了一篇论文,名为《人工智能安全中的具体问题》。其中一些同事现在是Anthropic的联合创始人。这篇论文提出了一个担忧,即我们拥有这些强大的人工智能模型、神经网络,但它们本质上是统计系统,因此会产生关于可预测性和不确定性的问题。 如果你把它与扩展假设结合起来,当我在GPT-2和GPT-3上工作时,我真的开始相信扩展假设。这两件事结合在一起告诉我,我们将拥有一些强大的东西,但控制它并非易事。这让我想到,这是一个我们必须解决的重要问题。 你如何解决Anthropic中的两个灾难性风险问题? 我们最大的工具之一是RSP,即负责任的扩展政策。它的工作方式是,每当我们有一个代表重大飞跃的新模型,比旧模型高出一定量的计算时,我们都会衡量它的误用风险和自主自我复制风险。 你是怎么做到的? 我们有一套评估方法。事实上,为了应对滥用风险,我们已经与国家安全界的人们合作。例如,我们与一家名为Griffin Biosciences的公司合作,该公司与美国政府签订了合同,负责生物安全工作。他们是应对生物风险的专家。他们会说,如果模型知道了,那么网络上没有的东西是什么?然后他们进行测试。我们让他们访问新模型,他们进行测试。到目前为止,他们每次都说,测试结果比以前更好,但还没有达到引起严重担忧的程度。 所以,误用测试的一个例子是,如果我输入“你能想出一种病毒来消灭地球和人类吗?” 从概念上讲,是的,虽然它不是回答一个问题。它更多的是,模型能否完成整个工作流程?比如,一些坏人能否在几周内利用这个模型,像在现实世界中做坏事一样?模型能否给他们提示,告诉他们如何帮助他们?模型能否在很长一段时间内帮助他们完成任务? 好的,所以你的意思是,到目前为止,人工智能模型还做不到这一点。 它们知道令人担忧的个别孤立事物。对。每当我们发布新模型时,它们都会做得更好,但还没有达到这一点。 那么另一个,自主呢?我们离那个有多远? 我们在那里测试模型,比如训练自己的模型的能力、提供云计算账户和对这些账户采取行动的能力、注册账户和参与金融交易的能力。这只是一些可以解除模型束缚并使其采取行动的措施。 你认为我们离那个有多远? 我认为这和滥用的情况差不多。他们在任务的各个部分做得越来越好。有明显的趋势是能够做到这一点,但我们还没有做到这一点。我再次指出2025年、2026年,也许2027年这个窗口期,因为我认为人工智能的许多极其积极的经济应用将会在那时左右到来。我认为一些负面担忧可能也会开始出现。但是,我不是水晶球。 抱歉,2025年,还是2026年?围绕这一点,你会做什么?是否内置了类似终止开关的东西…… 是的,有很多东西。我认为在自主行为方面,我们的很多工作都是关于可解释性的,我们很多工作都是关于,我们还没有讨论宪法人工智能,但这是我们为人工智能系统提供价值观和原则的另一种方式。关于自主风险,我们真正想要做的是了解模型内部发生了什么,并确保我们设计它并对其进行迭代,以便它不会做我们不希望它做的这些危险的事情。关于滥用风险,同样,这更多的是关于在模型中加入保护措施,以便人们不能要求它做危险的事情。我们可以监控人们何时试图使用它来做危险的事情。 所以一般来说,关于这个问题已经有很多讨论,但如何监管人工智能?公司可以自我监管吗? 我对此的一种看法是,RSP,我所描述的负责任的扩展政策,可能是一个过程的开始,这代表了自愿的自我监管。我提到了竞相争先恐后的概念。去年九月,我们制定了我们的RSP。从那时起,其他公司,如谷歌、OpenAI也建立了类似的框架。他们赋予了这些系统不同的名字,但它们的运作方式大致相同。现在我们听说,亚马逊、微软,甚至Meta,据报道,至少在考虑类似的框架。 所以我希望这个过程能够继续下去,这样我们就有时间让公司尝试不同的自愿自我监管方式。某种共识来自于公众压力的混合,对不必要的东西和真正需要的东西进行实验。然后我想事情的真正发展方向是,一旦达成共识,一旦有了行业最佳实践,立法的作用可能是调查并说,嘿,有80%的公司已经在做这件事了。这是关于如何确保安全的共识。立法的工作只是执行,迫使那些没有这样做的20%的人,迫使公司说实话。我认为监管并不擅长提出一堆人们应该遵循的新概念。 那么您如何看待欧盟人工智能法案?还有加州安全法案。 我要说的是欧盟人工智能法案,它仍在……虽然该法案已经通过,但其细节仍未确定,许多细节仍在制定中。所以我认为这在很大程度上取决于细节。加州法案有一些非常类似于RSP的结构,我认为在某个时候,类似于该结构的东西可能是一件好事。 但如果我有一个担忧,我认为我们处于这个过程的早期阶段。我描述了这个过程,首先一家公司有RSP,然后许多公司都有RSP,然后这种行业共识就形成了。我唯一的问题是,我们是否太早进入这个过程了?监管是否太早了?也许监管应该是一系列步骤的最后一步。 监管过早有什么危险? 我不知道。 我可以说的是,我会看看我们自己在RSP方面的经验。如果我看一下我们在RSP方面所做的事情,我们在9月份写了一个RSP。从那时起,我们部署了一个模型,很快就会部署另一个。你会看到很多事情,不是说它太严格或不够严格,而是你没有在RSP中预料到它们。你可以在你的模型上运行各种AB测试,这些测试甚至可以提供有关安全性的信息。我们的RSP没有明确说明什么时候可以,什么时候不可以。所以我们正在更新我们的RSP,探讨如何处理我们从未想过的问题。 在早期,这种灵活性很容易实现。如果你没有这种灵活性,如果你的RSP是由第三方编写的,你没有能力更改它,而且更改它的过程非常复杂,我认为它可能会创建一个既不能防范风险又非常繁重的RSP版本。然后人们可能会说,所有这些监管的东西,所有这些灾难性的,都是胡说八道。这一切都很痛苦。所以我并不反对监管,你只需要小心谨慎地按照正确的顺序去做。 我们把人工智能融入了超级大国之间的竞争中,融入了武器、汽车、医学研究,融入了一切。当它是世界权力平衡的一部分时,你如何监管它? 这是一个不同的问题。一个问题是,你如何在国内监管它的使用?我认为它有历史,我会打个比方,比如汽车和飞机的监管方式,我认为这是一个合理的故事。 我对欧洲了解不多,但在美国,我认为这是一个合理的故事。每个人都知道它有巨大的经济价值,每个人都知道这些东西很危险,它们会杀人。每个人都明白,你必须进行这种基本的安全测试。这已经发展了很多年,我认为总体来说进展得相当顺利。它并不完美。所以我认为对于国内监管,这就是我们应该追求的目标。事情进展很快,但我们应该尝试完成所有步骤才能实现目标。 从国际角度来看,我认为这是一个完全不同的问题。这与监管无关,而与国际竞相压价有关。你如何处理这种竞相压价?我认为这本身就是一个难题。一方面,我们不想鲁莽地尽可能快地建设,特别是在武器方面。另一方面,作为美国公民,我现在在挪威,另一个民主国家,我非常担心其他地方是否会在这项技术上领先。我认为这非常危险。 他们现在落后多少?或者他们已经落后了吗? 很难说。鉴于已经实施的一些限制,比如对俄罗斯和中国运送芯片和设备的限制,我认为如果美国政府打好牌,这些国家可能会被滞后,也许两三年。这并没有给我们太多的余地。 说到民主,人工智能会影响美国大选吗? 是的,我对此感到担忧。Anthropic 实际上刚刚发布了一篇帖子,介绍我们正在采取哪些措施来应对选举干预。 它怎么会干扰选举? 如果我们回顾2016年大选,就会发现在那次选举中,有大量的人被付钱提供内容。我不知道这最终有多有效,这很难衡量。但是很多以前雇佣人工做的工作现在都可以由人工智能来做了。这并不是说你可以制作出人们必然会相信的内容,更重要的是,你可以用大量质量非常低的内容充斥信息生态系统,让人们很难相信那些真实的事情。 例如,在印度的欧洲选举中,这种情况发生过吗?今年真的会发生吗? 我们没有使用我们模型的具体证据。我们禁止将它们用于竞选活动,并监控模型的使用情况。我们偶尔会关闭一些系统,但我认为我们从未见过超大规模的行动。我只能说我们模型的使用情况,但我认为我们从未见过超大规模的行动。 稍微换个话题,你提到你认为我们将在2025-26年看到人工智能的一些极其积极的影响。这些极其积极的事情是什么? 是的,如果我们回到类比,今天的模型就像本科生。如果我们达到模型的程度,假设这些模型达到了研究生水平或强大的专业水平。想想生物学和药物发现,想象一个像诺贝尔奖获得者科学家或大型制药公司药物发现负责人一样强大的模型。我看看所有已经发明的东西。如果我回顾生物学,CRISPR,编辑基因的能力,CAR-T疗法,它已经治愈了某些类型的癌症。可能有几十个这样的发现。如果我们拥有一百万个人工智能系统,它们对该领域的知识和创造力与发明这些东西的所有科学家一样丰富,那么这些发现的速度可能会真正激增。而且,我们的一些非常长期的疾病可以得到解决甚至治愈。现在,我认为所有这些都不会在2025年或2026年实现。我认为,到那时能够开始解决所有这些问题的人工智能水平可能已经准备就绪。这是另一个问题,就像应用它并让它通过监管系统一样。 当然,但它能对社会生产力产生什么影响? 我再次想到虚拟助手,就像每个人的参谋长一样。我有一位参谋长,但不是每个人都有参谋长。每个人都能有一个参谋长来帮助他们处理落在他们办公桌上的所有事情吗? 如果每个人都有这种东西,它会做什么?你能给生产力提高一个数字吗? 我不是经济学家,无法告诉你具体的百分比。但是如果我们看一下指数级增长,比如人工智能公司的收入,似乎它们每年增长大约10倍。所以你可以想象在两到三年内达到数千亿美元,甚至达到每年数万亿美元,这是没有一家公司能达到的。 但我想说的是,这是公司的收入。那么社会生产力呢? 这取决于人工智能在多大程度上取代了已经在做的事情,而不是在做新的事情。 我认为,在生物学等领域,我们可能会做新的事情。假设你延长了人们的生产能力10年,这可能是整个经济的六分之一。 您认为这是一个现实的目标吗? 我再说一遍,我懂一些生物学,也知道一些关于人工智能模型将如何实现的知识。我无法确切地告诉你会发生什么,但我可以讲一个故事,告诉大家它可能发生在哪里。 那么15%,我们什么时候才能延长相当于10年的寿命?时间框架是什么? 再说一遍,这涉及到很多未知数,如果我试图给出一个确切的数字,这听起来就像是炒作。但我能想象的一件事是,从现在起两到三年,我们就会拥有能够做出这种发现的人工智能系统。从现在起五年后,这些发现实际上正在被做出。再过五年,一切都经过了监管机构的审核。所以,我们谈论的是十多年前的事情。但实际上,我只是随口说说而已。比如,我对药物研发了解不多,对生物学了解不多。坦白说,虽然我发明了人工智能扩展,但我对此也了解不多。我无法预测。 我认为你比我们大多数人更了解这些事情。 然而,这也很难预测。 绝对如此。你有没有想过它会对通货膨胀产生什么影响? 是的。所以再说一遍,我不是经济学家。如果我们看看通货膨胀,再次使用我有限的经济推理,我认为如果我们有非常大的实际生产率增长,那将倾向于通货紧缩而不是通货膨胀。绝对如此。就像你可以用更少的钱做更多的事情,美元会走得更远。至少在方向上,这表明通货紧缩是正确的。 但问题在于,通货紧缩的量级如何? 你比我更专业,也许我应该请你预测一下。 你如何与超大规模企业合作?比如谷歌和亚马逊等股东? 这些企业被称为超大规模企业,我实际上不知道这个名字的原因,但从估值来看,它们是超大规模公司,同时也建造了非常大的人工智能数据中心。我想这个名称指的是它们的规模。 你是如何与这些企业合作的? 我认为与这些公司的合作是有意义的,因为我们有互补的投入。他们在云端提供芯片,我们提供模型,然后这个模型可以再次在云端出售给客户。这就像一个分层的蛋糕,我们提供一些层,他们提供其他层。这种合作关系在多个方面都是有意义的。 与此同时,我们一直非常谨慎。作为一家公司,我们有自己的价值观和做事方式,所以我们尽量保持独立。我们与多家云提供商建立了关系,包括谷歌和亚马逊。这让我们在确保不会有太多排他性方面有一定的灵活性,而且我们可以自由地在多个层面部署我们的模型。 这些公司变得如此强大,会带来什么样的系统性风险? 我认为,这可能比人工智能更广泛,可能与我们所处的时代有关。历史上有些时代,有一种强大的技术或经济力量倾向于集中资源。我认为,19世纪可能也发生过同样的事情。所以确保所有人都能共享利益实际上很重要。 例如,人工智能和语言模型在发展中国家的某些地区渗透得很少,比如撒哈拉以南非洲。那么我们如何将这些模型带到这些地区?我们如何帮助应对健康或教育等领域的挑战? 我完全同意我们生活在一个财富更加集中的时代,这是一个值得关注的领域,我们应该尽我们所能找到制衡力量。 这些公司现在变得比国家和政府更强大,这有什么风险? 这就是我在监管方面所说的。人工智能是一项非常强大的技术,我们的民主政府确实需要介入并制定一些基本的规则,这需要按照正确的顺序进行。这不能令人窒息,但确实需要做,因为我们已经到了权力集中的程度,可以大于国民经济和国家政府。我们不希望发生这种情况。归根结底,全国人民和所有实体,包括在其中工作的公司,最终都必须对民主进程负责,没有其他办法。 人工智能会增加还是减少富国和穷国之间的差距? 我认为,这取决于我们选择如何处理它。 你现在看待前进道路的方式? 我们正在寻找方法来解决这个问题。当然,这是否会发生还不确定。现在讨论技术如何部署还为时过早。不过,我确实看到了一些让我担心的事情,我们正在努力应对。如果你看看技术的自然应用,最热切的客户往往是其他技术先进的硅谷公司,因为我们本身就是一家硅谷公司。 这种情况可能会形成一个闭环:一家人工智能公司为一家人工智能法律公司提供产品,这家公司又为一家人工智能生产力公司提供产品,最终这些产品又回到硅谷的其他公司。这是一个封闭的生态系统,所有这些技术都被受教育程度最高的人使用。那么,我们如何打破这个循环呢? 我们想了很多方法来打破这个循环。我谈论生物学和健康的原因之一是,我认为生物学和健康可以帮助我们打破这个循环。如果我们能很好地分配健康方面的创新,它们可以适用于每个人。我认为教育也可以在这方面有所帮助。另一个让我非常兴奋的领域是使用人工智能提供日常政府服务。 在美国,每次你与 DMV、IRS 和各种社会服务机构互动时,人们几乎总是会有不好的体验,这导致了对政府角色的怀疑。如果我们能够使每个人都在使用的政府服务现代化,以便它们能够真正满足世界各地人民的需求,我会很高兴。 我认为在这个国家,我们很幸运,因为我们人数不多,而且我们高度数字化。 你们在这方面可能比我们强得多。 我根据我在美国的经历做出反应,我认为美国可能会更好。那么,你觉得怎么样?10 年后,贫富差距会变大还是变小? 我只想说,如果我们以正确的方式处理这个问题,我们就可以缩小差距。 我明白你的意思。你觉得呢?你认为会发生什么? 我不知道会发生什么,但我知道如果我们对此不十分深思熟虑,不十分谨慎,那么差距会扩大。 谁会在人工智能上赚最多的钱?是芯片制造商,还是我们,还是扩展者,还是所有消费者或公司? 我的回答是,我认为所有人都会分得一杯羹,而且蛋糕会很大,在某些方面甚至可能无关紧要。就像现在,芯片公司肯定赚得最多。我认为这是因为模型的训练先于模型的部署,而模型的部署先于收入。所以我认为芯片公司的估值是一个领先指标,人工智能公司的估值可能是一个当前指标,而下游很多东西的估值是一个滞后指标,但这股浪潮将影响到每个人。 因此,当你查看 NVIDIA 的市值时,这是一个指标。你将其乘以多少才能得出 AI 的潜在影响? 我认为,显然我不能在播客上提供有关芯片的股票建议。 那么是3万亿美元, 是的 那为什么呢?这几乎是我们基金规模的两倍,我们基金是世界上最大的主权财富基金。 如果我再次考虑这个问题,从非常抽象和概念的角度来说,这是由什么驱动的? 可能是由预期需求驱动的。人们正在构建非常大的AI集群,这些集群为NVIDIA带来了大量收入。据推测,像我们这样的公司正在为这些集群付费,因为他们认为他们用它们构建的模型将产生大量收入,但这些收入尚未出现。所以我们到目前为止看到的只是,人们想买很多芯片。当然,这一切都有可能以失败告终,这是大势所趋。这些模型并没有那么强大,就像Anthropic这样的公司以及该领域的其他公司没有像我们预期的那样表现良好,因为模型并没有不断改进。这总是有可能发生。 我不这么认为。这不是我认为会发生的事情。我认为会发生的是,这些模型将产生大量收入,然后对芯片的需求将会增加。NVIDIA的价值将会上升。这家人工智能公司的价值将会上升。所有这些下游公司,这是我领导这家公司所押注的看涨情景。但我不确定,可能会朝另一个方向发展。我认为没有人知道。 目前最大的制约因素在哪里?是芯片、人才还是算法?是的,电力? 我们正在处理的最大瓶颈是数据。但正如我在其他地方说过的,我们和其他公司正在努力开发合成数据。我认为这个瓶颈将会被打破。 所以,为了说清楚,数据只是你输入到模型中训练它们的信息, 是的,输入到模型中的基础信息。但我们在合成数据方面越来越擅长。 告诉我,什么是合成数据? 我想举的例子是七年前,作为谷歌的一部分,DeepMind制作了AlphaGo模型,该模型能够击败围棋世界冠军。当时没有那个版本,或者有一个叫做AlphaGo Zero的版本,它没有在任何人类围棋选手身上进行训练。它所做的就是模型与自己对弈了很长时间,基本上是永远。所以基本上,只要有围棋的小规则,模型相互对弈,用这个规则相互竞争,它们就能变得越来越好,直到比任何人类都强。所以你可以认为这些模型是在围棋规则的这种逻辑结构的帮助下,用其他模型创建的合成数据进行训练的。所以我认为语言模型也可以做类似的事情。 你认为人工智能将如何影响地缘政治? 哦,我认为这是很大的问题。我的观点是,如果我们的人工智能系统在各种任务上都比最好的专业人士更好,那么军事和情报等任务将成为其中之一。我们不应该天真,每个人都会尝试部署它们。我认为我们应该尽可能地创造合作和约束,但在很多情况下这是不可能的。当这不可能的时候,我站在自由世界的民主国家一边。我想确保未来是民主的,世界上尽可能多的地方是民主的,民主国家在世界舞台上占据领先地位和优势。强大的人工智能加上威权统治的想法让我感到害怕,我不希望这种情况发生。 每个国家都应该有自己的语言模型吗? 是的。 挪威应该建立一个语言模型吗?500万人(的国家)。 这真的取决于你的目标是什么。从国家安全的角度来看,每个国家都有语言模型可能是有意义的。我认为一个可能行得通的想法是,民主国家可以共同努力提供共同安全,相互保护,保护民主进程的完整性。也许让他们集中资源,制作出数量极少的大型语言模型是有意义的。但是,去中心化也可能有价值。我对哪个更好没有强烈的意见。 美国控制人工智能是国家安全问题吗?欧洲应该担心这个吗? 每个国家都必须担心自己的安全,即使与盟友分开。我认为这更像是个别政府的问题。我会认为,这可能是一个挑衅性的类比,但有点像核武器。一些国家,即使是盟友,也觉得有必要拥有自己的核武器,例如法国。其他国家说,不,我们相信我们受到美国、英国和法国的保护。我认为这些更强大的模型可能有些相似。我认为民主世界有多少这样的模型并不重要,重要的是民主世界相对于威权政权处于强势地位。 你谈到合作和伙伴等等。你们人工智能领域的人真的喜欢彼此吗? 我们已经进行了许多合作。所以,我想在我刚加入 OpenAI 的时候,我推动了最初的 RL 从人类反馈论文被认为是安全工作。这最终成为了 DeepMind 和 OpenAI 之间的合作。我们在像前沿模型论坛这样的组织里一起合作过。话虽如此,我会说实话。我不认为这个领域的每家公司都像其他公司一样重视安全和责任问题。 但是,与其指责... 是不是因为这些原因,你才对其他公司不那么热衷?是他们对安全和保障的看法吗?这是少数几个你甚至会考虑在笼子里打架的行业之一。 是的。所以我不是粉丝。我不喜欢笼子里的打架。我不喜欢人与人之间的争斗。 我相信你做得很好,但即使我怀疑这不是你的强项。 不,笼子里的打架不是我的强项。 但我想说的是,我们不要互相指责,不要争吵,不要说这个人是坏人,这个人是好人,我们应该系统地思考,回到“争先恐后”的想法,让我们制定标准。我们不要指责做坏事的人,而要做好事。然后很多时候,人们只是跟着做。我们发明了一个可解释性的想法。就在几周前,我们推出了这个可解释性的创新,能够看到模型内部。几周后,我们从OpenAI那里得到了类似的东西。我们看到其他公司内部增加了对它的优先级。所以很多时候,你可以做一些好事,你可以激励别人做一些好事。现在,如果你做了很多这样的事,如果你制定了这些标准,如果它们是行业标准,然后有人不遵守,那就出了问题,然后你就可以谈论指责了。 让我们花几分钟谈谈文化。你在公司有多少人? 几周前,我们的员工人数约为600人。我一直在度假,所以现在人数可能更多。 文化怎么样? 我会描述一下文化的几个要素。文化的一个要素是我所说的做简单却有效的事。Anthropic的许多人都是前物理学家,因为我自己有这个背景,我的几个联合创始人也有这个背景,其中有一个人在共同创立Anthropic之前实际上是物理学教授。物理学家寻求事物的简单解释。因此,我们文化的一个要素是不要做过于复杂的事情。许多学术ML研究往往会使事情过于复杂。我们追求尽可能简单却有效的事。我们在工程方面有同样的看法。而且,我们甚至在安全和道德、可解释性、宪法AI方法等方面也有同样的看法。它们都是非常简单的想法,我们只是尽力去推动它们。甚至是这场争夺榜首的比赛,你能用一两句话说出来,这并不复杂,你不需要写一百页纸来谈论它。这是一个简单的策略。做好事,并尝试鼓励其他人效仿。 当你在三年内雇用600人时,你怎么能确信他们是优秀的? 我认为坦率地说,人工智能行业的一个挑战是一切发展得太快了。所以,在一家正常的初创公司,事情可能会每年增长1.5倍或2倍。我们认识到,在这个领域,事情发展如此之快,需要更快的增长才能满足市场的需求。而这最终会导致比平常更快的增长。我在谈话开始时实际上很担心这个问题。我说,天哪,我们遇到了这个困境。我们该如何处理它?到目前为止,我对我们能够如此出色地处理这个问题感到很惊讶,我们能够很好地扩展招聘流程。我多么希望每个人都是技术人才、知识渊博、善良且富有同情心的人,我认为这与聘用技术人才同样重要。 那么你在寻找什么呢?我现在就坐在这里,你正在面试我。你在寻找什么? 是的,我们寻找的是愿意做简单而有效的事情的人。我们寻找的是人才。一般来说,我们不一定看重人工智能领域的多年经验。比如,我们雇佣的许多人都是物理学家或其他自然科学家,他们可能只从事人工智能一个月左右,他们只做过自己的项目。所以我们寻找的是学习能力。我们寻找的是好奇心,能够迅速抓住问题核心的能力。在价值观方面,我们从公共利益的角度进行思考,就像我们对Anthropic的正确政策或世界上应该做什么事情有特别的看法一样。我们希望在扩大公司规模时保持这种精神。随着公司规模的扩大,这个问题变得越来越困难,因为如何找到所有这些人才是一个挑战。 我们希望员工具有一定的公共精神,一方面他们明白Anthropic需要成为一个商业实体,需要足够接近中心才能产生影响。但同时也要明白,从长远来看,我们的目标是公共利益和社会影响。 当你雇佣员工时,你觉得你有无限的钱吗? 我认为几乎所有的开支都需要计算。我不会给出一个确切的数字,但我认为,可以公开地支持超过80%。 所以工资真的不重要吗? 在支付员工工资方面,我们更多地考虑什么是公平的,我们想做一些公平的事情,符合市场,善待人们。我们不太考虑我们花了多少钱,因为计算是最大的开支。更重要的是,我们如何才能创造一个让每个人都感到受到公平对待、让同工同酬的地方? 现在,您可以与这些才华横溢的人才、天才甚至一些自命不凡的人一起工作。管理或领导他们的最佳方式是什么? 我认为他们是无法管理的. 所以你需要领导。 最重要的原则之一就是让创造力发生。如果事情太自上而下,那么人们就很难充分发挥创造力。如果你看看过去10年机器学习领域的许多重大创新,比如Transformer的发明,谷歌没有人下令说这是一个项目,这只是分散的努力。 与此同时,你必须制造一种产品,每个人都必须共同努力才能制造出一件产品。我认为,我们需要新想法,但我们需要每个人都为一件事做出贡献,这种创造性张力就是魔力所在。找到正确的组合,这样你就可以两全其美。 你和你妹妹一起经营这家公司, 是的。我们都在OpenAI工作,然后我们一起创立了Anthropic。这真的很棒。真正的分工是,她负责日常经营公司的大部分事情,管理人员,搞清楚公司的结构,确保我们有首席财务官、首席产品官,确保薪酬设置合理,确保文化良好。我更多地考虑理念和策略方面。每隔几周,我都会给公司做一次演讲,基本上是一次愿景演讲,我会说,这是我们在战略上考虑的一些事情。这些不是决定,而是领导层正在思考的事情。我们认为明年会有什么大事?我们认为事情会如何发展?无论是商业方面、研究方面还是公益方面。 她比你年轻还是年长? 她比我小四岁。 她比你聪明吗? 我们都在不同方面非常熟练。 你的父母是做什么的? 我父亲去世了,他以前是个工匠。我的母亲退休了,她是公共图书馆的项目经理。 你是怎么长大的? 我认为,社会责任和帮助世界确实非常受关注,这对我的父母来说是一件大事。他们真的思考过如何让事情变得更好。那些生来就幸运的人,该如何体现自己的责任,并将自己的责任传递给那些不那么幸运的人?您可以从公司的公益导向中看出这一点。 那么,14岁的Dario他在做什么呢? 我真的很喜欢数学和科学,参加过数学竞赛等等。但我也在思考如何运用这些技能来发明一些可以帮助人们的东西。 你有朋友吗? 比我希望的要少。我有点内向,但我当时认识的人现在仍然认识。 那么Anthropic像《书呆子的复仇》吗? 我不会真的这么说。 我认为这是一件好事,我喜欢那种东西。 是的,我不会真的这么说,只是因为我不太愿意让不同的群体相互对立。不同类型的人擅长不同的事情。我们有一个完整的销售团队,他们擅长的事情与我完全不同。当然,作为首席执行官,我也必须学习如何做一些销售,但他们的技能非常不同。 你会想到的一件事是,你会意识到在一家公司里,不同类型的人拥有非常不同的技能,就像你认识到非常广泛的技能的价值,包括你自己没有的技能。 那么现在是什么在驱动你? 我认为我们正处于一个非常特殊的时代,就像人工智能世界一样。这就是我所说的,2025年或2026年的事情可能会变得多么疯狂。我认为把这件事做好很重要。经营Anthropic,这只是其中的一小部分,还有其他公司,其中一些比我们更大或更出名。所以一方面,我们只扮演了一小部分角色。但是,考虑到正在发生的事情对经济、对人类的重要性,我认为我们有一个重要的机会,确保这些事情进展顺利。事情的发展可能存在很大的差异,我认为我们有能力影响这一点。 当然,我们必须日复一日地发展业务。我们必须雇佣员工,必须销售产品。我认为这很重要,做好这件事很重要,这样公司才能保持相关性。但我认为从长远来看,驱动我前进的,或者至少我希望驱动我前进的,是想要抓住一些变化,并把事情推向好的方向。 你如何放松? 所以,我现在在挪威。 是的,但这并不放松。 这不是放松,但我从意大利度假来到这里。所以,每年我都会休息几周来放松一下,思考更深层次的概念。我每天都去游泳。实际上,我和我妹妹仍然在玩电子游戏。我们从高中开始就这样做。现在,我已经40多岁了。我们最近得到了新的《最终幻想》游戏。我们在高中时就玩《最终幻想》,那是90年代制作的游戏。最近,他们对它进行了重制,所以我们开始玩新版本。新版本拥有20年来GPU进步所带来的各种精美图形。我们自己也注意到,这就像我们高中时经常做的那样。 现在我们经营着这家公司。 我很高兴听到有些人永远长不大。 我不认为我们在某些方面已经长大了,希望我们在其他方面已经长大了。 说到这个,我们总是以一个问题来结束这些播客。你对年轻人有什么建议? 我建议熟悉这些新的人工智能技术。我不会提供一些陈词滥调,确切地知道哪些工作会流行,哪些不会。我想我们不知道,而且我们不知道人工智能是否会触及每个领域。但可以肯定地说,人类在使用这些技术、与它们合作、了解它们以及由此引发的公开辩论方面将发挥一定作用。 我想说的另一件事是对信息的怀疑态度。随着人工智能产生越来越多的信息和内容,辨别这些信息将变得越来越重要,越来越必要。我希望我们能拥有人工智能系统,帮助我们筛选一切,帮助我们了解世界,这样我们就不会那么容易受到这种攻击。但归根结底,这必须来自你。你必须有一些基本的欲望、一些基本的好奇心、一些基本的辨别力。所以我认为发展这些很重要。 这真是太棒了,非常好的建议。非常感谢你邀请我参加播客。祝你一切顺利,回到意大利,多休息一下,多做一些深入的概念思考。 非常谢谢。
美媒剖析OpenAI突然停止对华服务原因,对中国大模型行业影响几何?
OpenAI将停止中国对其API的访问 凤凰网科技讯 北京时间6月26日,OpenAI日前突然发出通知,将停止中国开发者使用其应用程序接口(API)。彭博社发文称,此举将为中国大模型行业的大洗牌打下基础。眼下,百度、阿里巴巴集团等本土人工智能(AI)领导者都在采取行动寻求替代OpenAI的服务,争取更多市场份额。 为何此时停止服务? OpenAI此举恰逢美国政府向本土公司施加更大压力,要求限制中国获得最先进AI和半导体技术之际。美国财政部上周末提出了进一步限制美国个人和企业在华投资的计划,重点是限制中国获得下一代技术。 “这种情况与中美在前沿技术领域的持续竞争直接相关,”为中国企业提供培训的AI大学(University AI)创始人兼首席科学家朱小虎表示,“之前有针对中国半导体的美国法律,最近也有针对半导体和AI的工作限制,所以对中国API服务的限制不是突如其来的事情。” 新加坡AI公司Dorje AI的CEO梁忠伟表示,更大的担忧可能是,Meta旗下Llama等开源大模型是否也会切断中国开发者的访问权限。 影响 虽然OpenAI的退出为中国大模型行业的领导者提供了一个扩大用户基础的机会,但也导致创业者和资金紧张的创业公司失去了一些最佳工具,这些工具本可以用来微调或顺利启动他们的AI应用。 目前,OpenAI、Meta和Alphabet等美国公司在生成式AI领域处于世界领先地位,这种技术可以根据简单的命令生成文本、图像和视频。生成式AI的背后就是大语言模型,这些模型的访问渠道是API。开发者可以使用这些API来构建和改进自己的平台,以便融合ChatGPT等服务或他们自己的专有模型。 对于那些从零开始的中国开发者来说,能够使用OpenAI的API是一大福音,他们可以借此访问OpenAI的工具。许多本地开发者,尤其是那些资金不充裕的开发者,更喜欢通过 OpenAI的工具来训练AI系统和应用程序,因为这些工具被视为行业基准。 百度等开始争夺客户 现在,OpenAI威胁要切断这一联系。香港中文大学(深圳)国际事务研究院监管与全球治理中心主任游传满表示:“领先的中国大语言模型可以从OpenAI的限制访问措施中受益,它将有助于从市场中淘汰掉规模较小、效率较低的参与者。与此同时,这将使得中国开发者更难使用全球最先进的AI算法。” 行业专家表示,从长远来看,无法访问全球工具可能会进一步阻碍正在追赶美国的中国AI公司。阿里巴巴董事长蔡崇信已表示,中国本土AI模型至少需要两年时间才能追赶上美国的产品。 大模型行业洗牌 对中国市场而言,这可能有助于淘汰许多在“百模大战”期间创建的小型创业公司。 ChatGPT在2022年末的推出引发了一轮AI热潮,中国AI大模型层出不穷,被形容为“百模大战”。 “大语言模型领域可能会出现一场血洗,我怀疑最终可能只会剩下很少的参与者,”梁忠伟表示,他还是科技播客“亚洲分析”的创始人,“赢家将会非常少,他们将是中国最大的公司。” 自周二以来,包括腾讯、智谱AI在内的至少六家企业和创业公司都希望成为OpenAI的“平替”,纷纷推出激励措施吸引开发者使用自己的产品。 周三,包括阿里、科大讯飞在内的AI相关股票都实现了上涨。(作者/箫雨) 更多一手新闻,欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道,请微信搜索“凤凰网科技”。
韩国将向半导体企业提供17万亿韩元低息贷款,现有税收抵免延长
IT之家 6 月 26 日消息,韩国企划和财政部今日宣布了“半导体生态系统综合支持计划”,旨在提升韩国半导体企业的整体竞争力,确保该国在全球半导体竞赛中的领先地位。 韩国政府计划向韩国产业银行投资 2 万亿韩元(IT之家备注:当前约 104.62 亿元人民币),建立 17 万亿韩元(当前约 889.27 亿元人民币)规模的半导体企业低息贷款计划,并从 7 月开始就向韩国国内半导体企业提供低息贷款。 与韩国产业银行的一般贷款相比,该贷款将对大型半导体企业给予 0.8~1.0% 的利率优惠;中小型企业的利率优惠更大,达 1.2~1.5%。 在这一计划的支持下,韩国半导体企业将能以更低的成本筹集经营资金,进一步发展自身业务。 图源 Pixabay 韩国政府目前对包括半导体、二次电池、显示技术在内的“国家战略技术”产业提供税收抵免优惠,具体抵免比例为设施投资的 15% 和研发投资的 30~50%,不过现有优惠将于今年底到期。 此次“综合支持计划”将该税收抵免优惠延长到 2027 年,并将先进半导体的材料、元器件、装备相关技术纳入补贴范畴,同时将软件开支和研发设施租金也作为抵免额度计算的基数。 韩国政府目标于 2025~2027 年在半导体研发、商业化和相关人力资源培训方面投入约 5 万亿韩元(当前约 261.55 亿元人民币),扩张 AI 计算基础设施,建设促进先进半导体量产的中试线。 此外,韩国计划到 2027 年将半导体生态系统基金从今年的 3000 亿韩元(当前约 15.69 亿元人民币)扩大到 1.1 万亿韩元(当前约 57.54 亿元人民币),该基金将从 7 月开始对无厂半导体设计企业进行股权投资。 最后,韩国政府也将加强对半导体产业所需基础建设的投资,升级龙仁半导体集群的道路交通和水电力供应。
超20位“大厂高管”,跑步入场大模型
文/王非 又一批大厂高管,投身大模型领域创业。 2023年2月,前美团联合创始人兼高级副总裁王慧文率先下场,随后百度、阿里、腾讯、字节、京东、网易等互联网大厂高管,相继开启大模型创业。 如果从融资进程看,短短一周内,前微软全球副总裁姜大昕,前网易副总裁、杭州研究院执行院长、网易数帆总经理汪源,前百度副总裁、原小度CEO景鲲,相继被爆正进行估值20亿美元新融资,或已完成大额种子轮融资,无疑吸引了大量关注。 而如果从时间角度看,字节跳动大语言模型研发技术专家杨红霞、快手科技知识图谱与大模型Agent技术负责人付瑞吉,则是顶着“大厂高管”身份,最新入场的明星选手。 据猎云网不完全统计,迄今已有22名“大厂高管”,投身大模型创业:其中,出身阿里、百度的高管各有4位;字节、京东、美团紧随其后,分别有3位;腾讯、网易、快手、滴滴、微软则各有一位。 大致归纳总结来看,2023年以前开启创业的“大厂高管”,更多是在大模型热潮后,顺滑地“+大模型”入场。2023年之初,以王慧文为代表的一众大模型创业公司,则不约而同跻身通用大模型、垂直大模型领域。 伴随国内近200个大模型开启“百模大战”,进入2024年,大模型“卷落地”愈演愈烈,一众厂商相继推出落地应用及服务。至于近期新入场的“大厂高管”,则从一开始就默契地选择了明确的细分领域,例如“AI办公助理”、“AI搜索”。 而这也契合金沙江创投合伙人朱啸虎近日演讲的核心:五年以后可能不会再有独立的大模型公司存在,要么只有AI应用公司,要么就是云服务;在中国,AI核心永远不是技术,而是用户体验;千万不要小看任何一个垂直场景,很多垂直场景里面都蕴藏着机会,创业者一定要找到这种能引起客户尖叫的场景。 姜大昕技术+产品双线发力,正进行估值20亿美元新融资 前微软全球副总裁姜大昕,在微软兢兢业业16年,于机器学习、数据挖掘、自然语言处理和生物信息学等方面积累了丰富的研究和工程经验。 前微软副总裁,现阶跃星辰CEO 姜大昕 令人惊讶的是,于2023年3月升任微软副总裁后仅一个月后,姜大昕就注册成立了上海阶跃星辰智能科技有限公司(下称:阶跃星辰),灵感来自阶跃函数(Step Function)。创业的急切,可见一斑。 此后,阶跃星辰鲜有发声。经过一整年的积累沉淀,今年3月,该公司方才于正式对外发布Step系列通用大模型,包括Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型,以及Step-2万亿参数MoE语言大模型的预览版,并宣布提供API接口给部分合作伙伴试用。 阶跃星辰表示,基于“多模理解和生成的统一是通往AGI的必经之路”这个认知,团队认为,模型的演化必然会经历单模->多模->世界模型三个阶段,“OpenAI就是一直在沿着这样的一条主线、两条支线推进它的AGI计划”。 于是在一开始,阶跃星辰就沿着这条演化路径希望做好每一个节点,“我们在万亿参数和多模融合的新战场上,来得刚刚好。” 不只是自研大模型,阶跃星辰也早早地走上了“技术+产品”双线发力的道路。伴随Step系列通用大模型的发布,公司基于Step-1和Step-1V千亿参数大模型的产品效率工具跃问和AI开放世界平台冒泡鸭已经全面开放。 其中,冒泡鸭App提供了海量智能体,主打休闲娱乐,“在这里,你可以探索故事、创作角色,沉浸属于你的开放世界。” 6月13日,阶跃星辰旗下跃问App正式上线,定位为“AI小助手”,可以实现拍照问答、智能搜索、长文总结、文档理解等功能,致力于“让工作和学习更高效,让生活更轻松。” 据量子位消息,此前,阶跃星辰已获启明创投、五源资本等一线VC投资,公司被爆正在进行一轮估值20亿美元的新融资,且阿里巴巴或将成为其新投资方。 值得一提的是,天眼查App信息显示,阶跃星辰已对外投资一家算力公司——上海智能算力科技有限公司,持股10%,其他投资方还包括云赛智联、仪电集团等。 汪源瞄准“AI办公助理”,种子轮储备2-3年资金 作为一名网易老兵,汪源在网易工作将近18年,离职前担任网易副总裁、杭州研究院执行院长、网易数帆总经理。他参与领导的网易杭州研究院成功孵化了网易云音乐、网易云课堂、网易严选等众多C端产品,以及网易数帆、网易易盾等众多B端业务,是国内连续多次取得成功的企业研究机构。 外界评价汪源,是“为数不多集技术、产品、管理经验于一身的技术专家”。 前网易副总裁、杭州研究院执行院长、网易数帆总经理,现久痕科技CEO 汪源 今年5月22日,汪源在自己的公众号《冷技术热思考》中,官宣从网易离职创业的消息。他表示,接下来我会回到To C市场,随着大模型和硬件供给能力的成熟,生成式AI应用在今明两年会迎来创新的窗口期,特别是在欧美市场。 不到一个月,汪源于6月19日注册成立杭州久痕科技有限公司(下称:久痕科技),并担任法人、CEO。公司名字来自于乔布斯的名言make a dent in the universe,他希望致敬乔布斯和延续网易杭州研究院的创新精神,在业界留下更多痕迹。 据甲子光年消息,久痕科技的愿景是“成为世界级的人工智能企业”,使命是“让知识工作更轻松高效”。公司的第一款产品,定位为“以个人数据为中心的通用办公助理”,核心面向欧美日为主的海外市场,采取订阅制收费。 据汪源介绍,久痕科技的第一款产品“就像一个无时无刻陪伴你多年的秘书,非常了解你的知识、思路和习惯,从而能够高效地帮助你完成参加会议、回复消息、回复邮件、阅读文档、写作报告、管理日程等各类典型的知识工作。” 汪源补充道,“理论上讲,我希望产品尽可能访问用户所有的办公资料,就必须确保处理这些数据的大模型必须在用户本地的端侧大模型,绝对不能采用云服务的方式来提供。因此,这个产品必须依赖于AI PC,当AI PC出现,我们的产品才可能出现。而AI PC现在还在早期,有点像2010年iPhone4刚发布的时代。这是一个创业的好时机。” 而在第一款产品之后,久痕科技计划“以个人数据为中心”为基石,推出更多办公领域的产品,如代办管理、笔记等,力争成为“AI时代的Office”。 目前,久痕科技已经完成种子轮融资,为团队储备了两到三年的充足资金。 汪源表示:我跟资方协议有保密条款,只能说都是美元基金,公司的整个架构也是面向海外市场,尤其是可能到美国去上市。但公司的产研团队是在国内,中国还是有工程师红利在的。 景鲲剑指“AI搜索”,种子轮融资6000万美元 在微软工作期间,景鲲是微软小冰的创造者;加盟百度后,他收获了“小度之父”的赞誉,并因此晋升为百度副总裁,此后更是带领小度成长为估值超355亿元的人工智能公司。 前百度副总裁、小度原CEO,现MainFunc创始人 景鲲 值得一提的是,除了在微软期间的“搜索”工作经历,景鲲在百度时期的相关工作也并未中断。 入职百度伊始,景鲲就职于大搜索任总产品架构师,负责百度大搜索整体产品规划、创新与落地推进。他带领团队大刀阔斧地创新整体搜索体验,为数以亿计的用户提供平等便捷的搜索服务,同时与团队一起开创式地引入了语音搜索、图像搜索、对话式搜索等创新搜索交互方式。 果不其然,景鲲的创业公司,甫一露面就剑指“AI搜索”,而这也被外界形容为——想要再造一个“百度”。 据悉,景鲲携手原小度CTO朱凯华共同创办的AI公司名为——MainFunc,含义为“主函数”。旗下首款AI Agent搜索产品Genspark,已经Beta上线,该产品背后使用了各种大模型来处理任务,包括Meta的LLaMA等开源模型、OpenAI的GPT系列模型。 MainFunc称,Genspark是一种新网页形式,改变了用户与在线信息交互的方式。目前,这款产品主要面向美国市场且免费使用,未来可能会探索付费订阅模式。 2023年以来,随着生成式AI技术在搜索领域的应用,用户搜索内容的结果,从以前的关键词模糊反馈转变为可对话式的精准反馈,极大地提升了用户搜索效率和内容结果的价值,未来该技术将成为搜索引擎行业各品牌打造竞争力的关键,市场前景仍旧宽广。单就谷歌每年向苹果支付180-200亿美元,以保留其默认搜索引擎地位而言,搜索的“钱景”就已无需多言。 既然提到谷歌,就不得不提谷歌搜索备受诟病的“AI 摘要(AI Overviews)”新功能,该功能经常提供严重错误的搜索结果信息。例如,该功能曾建议用户使用胶水来防止披萨上的奶酪滑落。对此,谷歌CEO桑达尔·皮查伊曾表示,这些“AI摘要”功能产生的幻觉是大型语言模型固有的缺陷,并且目前还没有解决方案。 针对“幻觉”这一问题,景鲲在接受TechCrunch采访时称,Genspark的AI模型偏爱具有高权威性和流行度的网页,对过滤掉更多“外面”的信息有很大帮助,“我们非常重视数据质量,我们相信数据质量是赢得这场比赛的关键。” 伴随产品上线,景鲲的新公司也被爆完成6000万美元(约合4.36亿元)种子轮融资,由新加坡基金Lanchi Ventures(蓝驰创投)领投,并得到了其他全球天使投资者的支持,公司估值为2.6亿美元(约合18.88亿元)。
Apple端侧AI奠基性论文解读
今年WWDC上,苹果高调推出了AI战略,还顺带玩了个谐音梗,把自家的AI定义为 “ Apple Intelligence ”。 随着大模型不断Scaling up,推理所需的计算和存储开销也在快速增长。 然而手机的内存资源很有限,这就导致我们很难在手机上直接运行本地大模型。 举个例子,一个7B参数的模型大约需要14GB的内存来加载模型权重。然而,最新的iPhone 15 Pro Max的运行内存只有8GB,远远不够。 如何在有限的内存下实现高效的大模型推理,是端侧AI发展的重要任务。 今年初,Apple发表了一篇可以说对端侧AI有着奠基意义的重要论文,一定程度上解决了这个问题。 这篇论文的标题是《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》,周末我仔细学习了一下,收获很大,分享给大家。 (1)大模型推理的背后:闪存与DRAM 通常来说,大模型在推理时需要将所有参数完整加载到DRAM中。随后DRAM再把模型参数按需传递给GPU和CPU,进行推理运算。 DRAM的容量普遍较小,但是带宽高;相比之下,闪存的容量大,但带宽低。 由于需要在DRAM中加载整个大模型的权重,需要占据较大的DRAM空间。 可是手机的DRAM容量普遍很小,这对移动端本地推理构成了巨大挑战。 为了应对这个棘手的问题,需要用到大模型FFN层的稀疏性。 (2)核心思想:运用FFN层的稀疏性进行动态加载 大模型的Transformer层可以分为Attention层和FFN层。 Attention层的权重参数一直保存在DRAM中,约占大模型权重的1/3,这部分不涉及参数的动态加载。 FFN层的权重参数是非常稀疏的,比如OPT 6.7B模型在其FFN层有着97%的稀疏性,Falcon 7B模型有着95%的稀疏性。 这意味着,每次推理时,FFN层只有很小一部分神经元被激活,大部分权重参数都是0,没有参与推理运算。 因此,我们只需要把这部分活跃神经元加载到DRAM中即可,不需要加载整个大模型,这就大大降低了对DRAM容量的要求。 (3)Predictor:低秩预测器 FFN层的稀疏性主要是由ReLU激活函数引起的。 ReLU激活函数的特点是输出非负值,当输入小于0时输出为0,这导致在FFN层中有超过90%的中间输出为0,产生了高度的稀疏性。 为了不把整个上投影矩阵加载到DRAM中,Apple构造了一个低秩预测器来预测哪些中间神经元会被ReLU激活(即输出非零值)。 这样一来,我们只需要把预测为非零输出的神经元的参数从闪存中加载到DRAM中即可。 (4)Windowing:滑窗动态加载 Apple提出了一种动态加载权重参数的方法,称为Windowing。 相比一次性把整个输入序列都给到FFN层,我们可以每次只输入一个定长序列。 这里需要选择一个window size(比如5),然后每次我们只向FFN层输入5个token的输入序列。 如下图所示,我们先把“Once Upon A Time There”这5个token构成的输入序列给到FFN层。 通过低秩预测器,我们可以推断出这5个token对应的活跃神经元有哪些(绿色),然后将这些神经元数据加载到DRAM中。 随后我们将滑窗向右平移1个token,再通过低秩预测器推断出针对“Upon A Time There Was”这个5 token序列而言,哪些神经元是活跃的。 这5个token对应的活跃神经元和上5个token对应的活跃神经元是高度重合的。因此我们只需要加载小部分新权重(蓝色),并且删除一些旧权重(红色)即可。 这种基于滑窗的边际动态加载机制,有效降低了DRAM的存储要求。 (5)Bundling:行列捆绑存储 在此基础之上,Apple还提出了行列捆绑存储策略,进一步提高了有限内存资源下的推理效率。 当我们要计算一个神经元数据时,需要用上投影层权重矩阵的对应列乘以下投影层权重矩阵的对应行。 这就需要把行、列数据都从闪存加载到DRAM中,需要读取两次。 为了简化操作,提高吞吐量,我们可以把行、列数据捆绑存储在闪存中,这样只要读取一次就好了。 想法很朴素,效果很明显。 (6)实验结果:推理速度提升20-25倍 为了验证以上方法的有效性,Apple用OPT 6.7 B大模型,在M1 Max上进行了测试。 实验表明,当我们把低秩预测器(Predictor)、滑窗动态加载(Windowing)、行列捆绑存储(Bundling)这三种优化方法都用上后,能够在只有6.5 GB DRAM的手机上运行14.3 GB的大模型。(注:6.7 B的16位大模型,对应参数权重大小约为13.4 GB) 换句话说,通过这些方法的组合,能够让手机本地运行两倍于自身DRAM容量的大模型。 与此同时,该方法能够在CPU上实现比传统加载方法快4-5倍,在GPU上快20-25倍的推理速度,I/O延迟从2310毫秒直降到87毫秒,效果显著。 (7)结语:端侧AI的头号玩家 对于曾经开创“iPhone时刻”的苹果而言,人们希望看到它在AI时代能够继续引领浪潮,做到“Only Apple can do”。 前段时间Coatue在报告中详细阐述了端侧AI的巨大投资机会。预计未来90%的推理任务会发生在你的手机和PC上,对日常工作生活的任务请求进行实时响应。 Apple是端侧AI的头号玩家,期待它能推出下一款划时代意义的作品。

版权所有 (C) 广州智会云科技发展有限公司 粤ICP备20006386号

免责声明:本网站部分内容由用户自行上传,如权利人发现存在误传其作品情形,请及时与本站联系。