英伟达黄仁勋五月最新访谈完整版：坚持、创新与AI未来
文：天空之城·城主
最近几天，Stripe创始人Patrick Collison与NVIDIA的首席执行官黄仁勋同台现场访谈，他是科技行业任职时间最长的CEO，已经担任了31年。
黄仁勋强调，做伟大的事情并不容易，需要付出努力和承受困苦。他分享了自己作为移民的经历，以及父母如何通过努力工作教给他们人生经验。从小就开始工作的黄仁勋，无论是清洁浴室还是在餐馆工作，始终坚持尽自己最大的努力去做好每一件事。
作为NVIDIA的CEO，黄仁勋领导着一个60人的团队，他坚信这是最佳的管理实践，尽管这在传统观念中并不被普遍接受。他强调信息的重要性，认为每个人都应该有平等获取信息的权利，这样才能赋予他们权力。黄仁勋反对一对一的谈话，而是倾向于在所有人面前进行讨论和反馈，因为他认为这样可以让每个人都从中学习。
谈到公司的层级结构，黄仁勋认为CEO的直属员工应该有60人，这样可以减少公司的层级数量。他不鼓励一对一的交流，而是希望每个人都能了解公司的情况。此外，黄仁勋表示他不喜欢解雇员工，宁愿提高员工的能力，给他们学习和进步的机会。他相信每个人都有可能做出伟大的事情，只需要给他们机会。
在谈到坚持不懈的精神时，黄仁勋鼓励不要放弃，因为伟大的成就可能就在眼前。他分享了自己的经验，描述了如何在一夜之间实现了重大突破。对于工作与生活的平衡，黄仁勋认为他做得很好。他每天都在工作，即使在休息时间也在思考工作。他强调了工作的不确定性和需要解决问题的重要性，并分享了他的日常生活，包括早起习惯和对GPU的痴迷。
展望未来，尤其是人工智能的发展，黄仁勋强调了创新和创造新事物的重要性，而不仅仅是关注市场份额。他提出了"零到十亿美元的市场"这一概念，即一个以前从未存在过的市场，需要通过创新和创造新事物来实现。黄仁勋认为，未来几十年我们将要创造的大部分价值可能不受物质事物的限制。他还强调，NVIDIA的使命是增加互联网的GDP，而不仅仅是关注已有的交易和业务。
在决策过程中，黄仁勋重视直觉和推理，而不是依赖电子表格。他认为，文字是推理的载体，可以帮助我们理解直觉以及为什么某些问题重要且难以解答。黄仁勋热衷于解决困难问题，因为这需要大量的时间和专注力。这种挑战性的工作可能不会立即得到他人的注意，但他仍然坚持下去。
NVIDIA最重要的创新之一是CUDA，它源自两个想法:加速计算和统一驱动程序架构(UDA)。加速计算通过I.O.设备加速应用程序，而UDA允许程序员直接对I.O.设备进行编程。NVIDIA还尝试让GPU更易于高级编程语言编程，因此发明了CG，但其编程模型并不完全正确，所以他们进行了扩展，发明了CUDA。
尽管CUDA的创新一开始并未立即带来成功，反而导致了一场灾难，增加了芯片成本，却没有应用程序，导致无法为此收取额外费用，进而影响了毛利率。但黄仁勋仍然坚信CUDA的价值，因为他认为加速计算将能够解决普通计算机无法解决的问题。他坚信NVIDIA的使命和机会，认为分析师们的判断是错误的，他们并未真正欣赏NVIDIA所建造的东西。尽管CUDA的创新过程充满了困难，但黄仁勋始终坚守自己所信仰的东西。
黄仁勋认为，CUDA可能是现代计算领域最重要的发明之一，它表明程序的一小部分代码占用了99.999%的运行时间，对于许多非常重要的应用程序来说确实如此。NVIDIA的想法是利用那个内核，那个软件的一部分，并加速它。如果不加速每个软件，就会看到非同寻常的计算膨胀。
在直觉与固执之间，黄仁勋认为每个人都需要找到平衡点，而这条界线往往模糊不清。他强调需要对直觉进行检查，推理策略时所依据的首要原则，这些原则很容易记住，而且并不是一个很长的清单。需要不断地进行直觉检查，从第一原则出发，而不是固执地坚持自己的想法。同时，他也提醒要保持聪明和警觉，因为新的公司和机会正在不断涌现。
黄仁勋分享了NVIDIA如何找到将CUDA货币化的方法，即使是小规模的货币化。他们寻找并发现了与CT重建、地震处理和分子动力学相关的应用程序，虽然这些尝试并未完全成功，但足以支撑他们并赢得时间，让他们实现目标。
谈到人工智能的未来，黄仁勋预测未来五年全球GPU的总计算能力将大幅增长。他强调了通用计算的局限性，认为未来的数据中心和计算机将成为加速服务器。他还提出了一个新概念——Token，这是一种代表智能的浮点数，可以被转化为各种形式，如英语、法语、蛋白质、化学物质、图形、图像、视频等。黄仁勋预测，未来将大量生产Token，这将催生新的产品和服务，提升各行各业的生产力。
此外，黄仁勋对Meta发布的开源模型Llama 3表示赞赏，认为ChatGPT和Llama系列模型分别实现了计算和生成式AI的民主化。他还讨论了AGI(人工智能)的定义和预测其出现的时间，认为如果按照当前的基准列表定义，AGI可能在未来五年内实现。最后，黄仁勋强调了AI在企业中的重要性，认为没有积极采用AI的公司可能会被使用AI的公司淘汰，并分享了NVIDIA如何利用AI改进芯片设计和软件编写的例子。
对于NVIDIA作为一家大型AI公司的未来，黄仁勋认为，尽管拥有一个超级模型可以帮助推理一般事物，但对于拥有特定领域专业知识的公司来说，他们需要训练自己的模型，因为专有语言的微小差异可能会产生重大影响。
最后，黄仁勋谈到了NVIDIA的市值和员工数量，以及他对工艺重要性的看法。他认为，尽管可以通过卓越运营做出好东西，但只有通过精心呵护和关爱才能做出非凡的东西。这一点与Stripe创始人帕特里克的观点不谋而合，他强调工艺和美感的重要性，尽管这并不直接满足客户的具体需求。
以下是访谈全文的天空之城书面整理版：
Patrick：
各位下午好。今天下午的主题演讲或炉边谈话，我将介绍一位众所周知的人物。然而，你可能不知道的一个有趣的事实是，他已经担任NVIDIA首席执行官31年，这使他成为科技行业任职时间最长的首席执行官，这是合乎逻辑的。
因此，我和John只做了14年，即使我们的时间翻倍，我们也无法赶上他。我们将在台上讨论Jensen Huang曾经在肯塔基州的奥奈达浸信会学院就读的事情，这个问题我们肯定会提到。
在1993年创立NVIDIA之前，他在俄勒冈州立大学、Denny's、LSI Logic和AMD工作过，AMD现在由他的表妹经营，我们肯定会提到这个问题。2011年Stripe推出时，NVIDIA的市值为80亿美元，而现在，NVIDIA的市值已经是当时的200多倍，所以从那以后他一直很忙。
欢迎Jensen Huang（黄仁勋）上台。
黄仁勋：大家好。
Patrick：你刚才看了主题演讲。那么，告诉我们主题演讲表现如何？
黄：
你完美地解释了公司的目标、激励你们的因素、推动你们前进的因素、让你们如此努力工作的因素、你们服务的生态系统、你们构建的令人难以置信的平台以及你们对世界经济做出的惊人贡献。有一大堆我完全不懂的技术、功能和金钱方面的东西，比如CYK之类的东西。那是什么？
Patrick：
KYC，对，这在我们的世界中是一件大事。
我所欣赏的部分是，你从一开始就意识到金融支付其实是关于代码，而非金融。我觉得这个观点令人难以置信。
大约18个月前，那是我们上次交谈后的几年。他对Stripe的最新情况有些好奇，我就给他做了解释。你说，哦，所以它就像是软件定义的网络，但是针对的是金钱。这个观点一直在我脑海中回荡。
这就是我们想到软件定义金融服务的想法的起源。因此，我希望我们不必为此支付许可费。你并没有因为这个好主意而获得股权。
黄：好吧，你们做得很好。我一直在思考这个问题。
Patrick：
昨天的特斯拉收益报告当然是重要的。埃隆·马斯克宣布，我认为特斯拉今年年底将生产85,000辆H100。我只是在思考，建立一个让CEO们相互竞争，宣布谁花更多的钱购买你的产品的企业，这是相当成功的。因此，我认为你做了一件非常了不起的事情。
但是，我想先谈谈你最近在斯坦福活动上发表的言论。你说，我希望你有足够的痛苦和折磨。请详细说明一下。
黄：
好吧，让我们看看。这是一个误解。有一句话说你应该根据你的激情来选择你的职业。通常，人们把激情和幸福联系在一起。我认为这里缺少了一些东西。没有什么不对，但是缺少了一些东西。这样做的原因是，如果你想做伟大的事情，我知道这对你创建Stripe来说是正确的。
顺便说一句，他是世界上最优秀的首席执行官之一，尽管他很年轻。你们知道我见过很多首席执行官。我听说过很多公司。而这确实是世界上最有远见的公司之一。所以无论如何，我只想说。这就是我来这里的原因。我只是喜欢……
Patrick：不允许再赞美了。这让我们非常不舒服。
黄：我知道。我能看到他。他开始出汗了。
所以问题是，当你想要创造一些伟大的东西时，这并不容易。当你做一些不容易做的事情时，你并不总是喜欢它。我并不是每天都喜欢我的工作。我不认为每天都能给我带来快乐，快乐也不一定就是好日子的定义。我并不是每天都开心。每年我都不满意公司的工作。但我每一秒都喜欢公司。所以我认为人们误解了最好的工作是能一直给你带来快乐的工作。我不认为那是对的。你必须受苦。你必须全力以赴，你必须付出努力。你必须去做那些艰难的事情，并且努力去完成它，这样你才能真正欣赏你所做的一切。没有任何伟大的事情是容易实现的。因此，根据这个定义，我会说，我希望你能够变得伟大，用我的话来说，我希望你能够经历困苦。
Patrick：那么，你的成长经历是否教会了你这个观念，还是这只是你的天性使然？
黄：
我从未想过我必须为此付出代价。我即将告诉你一些我从未告诉过任何人的事情，甚至我的家人也没有告诉过。我是一个移民。1973年我来到这里时，我只有9岁。我的哥哥快11岁了。这是一个陌生的国家，这绝对不是一件容易的事情。我们的父母非常非常好，但我们并不富裕。因此，他们努力工作，他们至今仍在努力工作。因此，他们通过努力工作传授了我们很多人生经验。
现在，我做过各种各样的工作，我们在学校里也有很多家务活。是在肯塔基州的奥奈达浸信会学院吗？我不认为它和麻省理工学院一样，虽然是同一个词，但是它们是不同类型的学院。但我的学院要求你去上学，那是一所宿舍学院，所以有很多家务活。
我是学校里最小的孩子，所以其他孩子都得干苦力活，他们得在烟草农场干活。而我干的是轻松的工作，我当时九岁。所以他们走后，我就得打扫所有的浴室。我从未觉得自己的工作很轻松，因为他们留下的是你无法忽视的东西。但那是我的工作，那是我的工作，所以我很愉快地完成了它。然后我做了很多其他工作，Denny's就是其中之一。我从洗碗工做起，成为餐馆服务生，然后成为服务员。我喜欢他们每一个人，我喜欢他们每一个人。
不知何故，我总是发现，我想说快乐，但那并不完全正确。我所做的每一件事，我都想尽我所能做到最好。也许这从一开始就根深蒂固。但我肯定是世界上最好的浴室清洁工。
Patrick：
那么，如果我们快进一点到今天的NVIDIA，你的领导团队有多大？你的领导团队有多大？
黄：NVIDIA的领导团队有60多人。
Patrick：60人。他们都向你汇报吗？
黄：是的，他们都向我汇报。60名直接下属。
Patrick：
60名直接下属。这在传统上不被认为是最佳实践。我同意最佳实践有点……
黄：
我确信那是最佳实践。这不是传统的，但我确信那是最佳实践。到最后，我会说服你们所有人，让60人成为你们的直接下属。各位可以自由发表意见。首先，我要强调的是，贵公司的层级结构的确至关重要。信息的重要性无需多言。我个人认为，你对工作的贡献不应仅仅基于你对信息的特权访问。我并不进行一对一的谈话，因为我的员工众多。我所说的几乎所有事情，我都会同时告诉所有人。这是因为我坚信，我所处理的任何信息都不应只有一两个人知道。无论是公司面临的挑战，我试图解决的问题，还是我们试图进入的方向，这些都是新的尝试。有些行得通，有些行不通。因此，所有这类信息，每个人都应该能够听到。
我希望每个人都在同一首歌里工作，没有特权访问信息，我们都能为解决问题做出贡献。当你在一个房间里有60个人时，通常，我的员工会议每隔一周举行一次。一切都基于问题，无论我们遇到什么问题。每个人都在同一时间处理它。每个人都听到了问题的理由，解决方案的理由，每个人都听到了一切。这样就赋予了人们权力。我相信，当你让每个人都平等地获取信息时，它就赋予了人们权力。所以这是第一点，赋权。
第二点，如果CEO的直属员工有60人，你在公司中移除的层级数量可能大约是七层，这取决于公司的情况。每一层都是60个，还是只有60个？比如，如果我是主管，如果我是幸运的60人之一，我是否也有60个直接下属？答案是否定的。我也不认为这是向下扩展的。原因是，根据某些级别，你需要越来越多的监督。而在e-staff级别，如果你不幸在NVIDIA的e-staff中任职，那么你不太可能需要很多管理。
Patrick：
所以我很少发现自己必须坚持传统观点。但如果我是另一边的钢铁侠，我会说，一对一是你提供指导的地方，你们可以一起讨论目标、个人目标、职业发展，你有什么，也许你会对你看到某人系统性地做得不太好的事情提供反馈，等等。所以，所有这些事情都是在一对一的情况下按照惯例应该做的。你不做这些事情，还是你以不同的方式做？
黄：
这个问题问得真好。我就是这么做的。我在所有人面前给你反馈。
事实上，这真的是一件大事。首先，反馈就是学习。为什么你是唯一应该学习这一点的人？现在，你因为自己犯的一些错误或自己带来的愚蠢行为创造了条件。我们都应该从这个机会中学习。所以你创造了条件，但我们都应该从中学习。这有意义吗？所以对我来说，向你解释为什么这没有意义或者我与它有何不同，不是因为我有时间，我是不对的。对我而言，公开进行推理对每个人学习推理的方式有所帮助。然而，我在一对一交流和反馈方面遇到的问题是，你无法从大众中获得反馈。从错误中学习，别人的错误是最好的学习方式。那么，为什么我们要从自己的错误中学习呢？为什么我们要从自己的尴尬中吸取教训呢？实际上，你必须从别人的尴尬中吸取教训。这就是我们进行案例研究的原因，不是吗？我们试图从他人的灾难、他人的悲剧中吸取教训。没有什么比这更让我们感到满足的了。
Patrick：
你是否成功让NVIDIA的其他领导者采用这种做法，或者这是否很难？
黄：
我给人们机会去解读自己，但我并不鼓励一对一的交流。没有什么比有人说“哦，Jensen希望我们这样做”更糟糕的了。为什么必须对任何人说呢？每个人都应该知道。所以，或者有人说，那个e-staff这么说过。没有什么比这更让我抓狂的了。
Patrick：
你曾经告诉我，你真的不喜欢解雇人，而且很少这么做。你能详细说明一下吗？
黄：
好吧，我宁愿提高你，也不愿放弃你。当你解雇某人时，你其实是在说，很多人会说，这不是你的错。或者我做了错误的选择。工作机会很少。看，我以前是清洁浴室的，现在是一家公司的首席执行官。我认为你可以学会。我非常肯定你可以学会这一点。我相信生活中有很多东西你可以学会，你只需要有机会去学习。
我有幸看到很多聪明人做很多事情。我周围有60个人。他们一直在做聪明的事情。他们可能没有意识到这一点，但我不断地向他们每个人学习。所以我不喜欢因为我认为他们可以进步而放弃别人。所以这有点讽刺，但人们知道我宁愿折磨他们，让他们变得伟大。那是我希望发现的短语。是的，我记得你提到过。是的，所以我宁愿折磨你，让你变得伟大，因为我相信你。
我认为真正相信自己球队的教练会用尽全力让他们取得伟大成就。而且很多时候，他们离伟大就这么近了。不要放弃。他们离伟大就这么近了。伟大，突然有一天就来了，我得到了它。你知道我在说什么吗？那种感觉，你昨天没有得到它，突然有一天，我明白了，我得到了它。你能想象你在得到它之前的那一刻放弃了吗？所以我不希望你放弃。所以让我们继续折磨你吧。
Patrick：
你的工作与生活平衡得怎么样？
黄：
这取决于你问谁。我认为我的工作与生活平衡非常好。真的很棒。我尽我所能工作。我有种感觉，他在对我进行评价
Patrick：
这些都是我们对话中的亮点，我认为应该让更多的人听到。
黄：
从我醒来的那一刻到我上床睡觉的那一刻，我都在工作。我每周工作七天。当我不在工作时，我会思考工作。当我在工作时，我就在工作。因此，我看电影，但我记不住，因为我在想工作。我的工作并不是一成不变的，它并没有固定的模式，因为总有问题需要你去解决。你在思考公司可以成为什么，我们是否可以做得更好，或者有时只是试图解决一个问题。但有时你会想象未来，如果我们这样做，那样做，而且它有效，你在幻想，你在做梦，这真是太不可思议了。
Patrick：
为了具体化这一点，我们将讨论人工智能，我听说这现在是一件大事，而且，确实，它是一件大事。但为了具体化这一点，比如詹森的一天是什么样的？
黄：
我以前五点起床。现在我六点起床，因为我的狗。之所以是六点，是因为我们不知怎么就决定六点是它们起床的时间，但我不知道具体时间是什么时候。我不介意叫醒任何人，但当我叫醒小狗时，我会感到内疚。这实际上给我带来了负担，所以我不想动。它们可能会感受到房子里的任何振动，从而被吵醒。所以我们就呆在床上，我只是在床上看书，直到六点钟，时间到了。当然。我对 GPU 很着迷。
然后我想，一整天都是小组会议，因为不能是一对一的会议。是的，我在上班前完成工作，然后当我上班时……
Patrick：通常一天要开多少次会议？
黄：
几乎一整天，所以我选择对我来说真正重要的会议。我尽量不定期开会，不定期召开运营会议，因为公司里有很多很棒的人，他们会定期召开运营会议。所以我们应该是替补，首席执行官是替补。我们应该致力于别人无法或无人能及的事情。因此，你会跳入停滞不前或偏离轨道的项目或新想法。只要我们能推动事情发展。没有报告，没有报告会议。我讨厌报告会议。他们不想向我汇报。只有问题会议。因此，问题会议、创意会议、头脑风暴会议、创造会议或任何其他会议，这些都是我要参加的会议。所以我通常会打电话给他们。我非常努力不让 Outlook 管理我的生活。因此，我们有目的地决定我们想要做什么，我们想要做什么。因此，我曾尝试过过一种有目的的生活，并相应地管理我的时间。
Patrick：
你曾经提到过一个词语，"零亿美元的市场"，这是你最喜欢的市场。你是什么意思？
黄：
如果你退一步来看，我们的目的，几乎所有的目的都应该是去做一些以前从未做过的事情，一些非常难做的事情。如果你做到了，就可以做出真正的贡献。我知道你的公司就是这样做的。我也试着这样做。
如果是这样的话，以前没有做过，做起来非常困难，很可能，而且以前从未做过，这个市场的规模可能为0亿美元，因为它以前从未做过。我宁愿做市场制造者、市场创造者，而不是市场接受者。创造以前从未存在过的新事物，而不是考虑份额。我不喜欢考虑份额。我不喜欢份额的概念。
原因是，如果你从大局来看，Stripe是凭空而来的。你凭空创造了一些东西。这并不是说还有其他东西。所以我认为我们能够想出一个零亿美元的方案。而零亿美元的市场是让公司思考如何创造新事物的好方法。
Patrick：
所以我们的使命是增加互联网的GDP。互联网的GDP，通常是一个最受关注的条款。但我认为最重要的部分是动词“增长”。因为，正如你所说，我们不应该考虑哪些是已经发生的交易，哪些是已经存在的业务。我们应该考虑哪些是不存在的交易，哪些是不存在的业务。
世界GDP约为100万亿美元，但不一定非要达到100万亿美元。可能是200万亿美元或1,000万亿美元。
黄：
完全正确。完全正确。未来几十年我们将要创造的大部分价值可能不受物质事物的限制。所以这是一个相当不平凡的时期。
Patrick：
因此，对于零亿美元市场的概念，如果我再次回到NVIDIA，我会带着某个项目的提案来找你，也许涉及数十亿美元的资本支出，或者，这是一个多年的追求，但目前没有客户，也没有我可以证明的需求，而你们只是凭直觉说，是的，今天没有人这样做，我们认为他们可以，我们认为他们应该，因此我们会追求它。非常接近，是的。有点像那样。
黄：
这是一种直觉，因为你的直觉会说出一些作为起始论点的东西。但然后你必须对其进行推理。对我来说，它的推理比电子表格重要得多。我讨厌电子表格，因为你可以让电子表格做任何你想做的事情。你可以用电子表格制作任何你想要的图表。你只需要输入一些数字。因此，我不喜欢电子表格。因此，我对文字有着深厚的喜爱。文字，就是推理的载体。请告诉我，你是如何进行推理的？我们的直觉又是什么？为什么我们会认为这些问题重要？又为何我们会觉得这些问题难以解答？
我喜欢面对困难，因为解决困难问题往往需要花费大量的时间。如果一个问题需要很长时间才能解决，那么那些不够投入的人可能就不会去尝试。如果一个问题真的很难解决，那么解决它就需要花费大量的时间。只有那些坚韧、专注、投入的人才会去追求解决它。如果解决一个问题需要很长时间，你可能会在这个过程中挣扎几年，但可能没有人会注意到，你知道吗？所以，我可能会在这个过程中挣扎几年，每个人都会说，好吧，谁看到了？
Patrick：那么，CUDA是从哪里来的呢？
黄：
好的，CUDA最初源自两个想法。一个是我们创造、开创了这个叫做加速计算的想法。加速计算就像一个I.O.设备，即位于PCI Express上的设备，如果有人从事计算机行业，那么他们就会知道，I.O.设备允许应用程序与该I.O进行交互，以某种方式加速应用程序的各个部分。
UDA是1993年的一项发明，它是一项真正意义深远的发明，它允许软件程序员直接对I.O进行编程。设备，直接向I.O编写应用程序。设备，因为I.O.设备是虚拟化的，而且它在架构上兼容多代产品，无论如何，我们发明了这种称为加速计算的想法，无论出于什么原因，我们都将其称为统一驱动程序架构。
几年后，我们认为我们可以让我们的GPU更易于高级编程语言编程，我们发明了这种称为CG的想法，C代表图形。这带来了一些非常令人兴奋的机会，我们认为，你知道吗，这会奏效，但CG的编程模型并不完全正确，所以我们进行了扩展，发明了CUDA，即计算。所以无论如何，坦率地说，这是一个可怕的故事。无论如何，我们发明了这个称为加速计算的想法，我们开创了这种方法。
Patrick：我想真正的问题是，它是不是一夜之间轰动一时？
黄：不，它一夜之间变成了一场令人难以置信的灾难。事情是这样的。
Patrick:这是你追求的0亿美元市场之一？这是一场灾难？
黄：
是的。因为我们追求的是0亿美元，但追求这个0亿美元市场的成本太高了，它实际上压垮了我们正在享受的10亿美元市场。原因是CUDA给我们的芯片增加了大量成本，但没有应用程序。没有应用程序，产品就无法得到客户的重视，也无法为此收取额外费用。如果客户不愿意为此付费，而你的成本却在上升，那么你的毛利率将会受到压力。
我们的市值已经降至很低的水平，我估计我们的市值已经跌至约10亿美元。我本希望能购买它，但无论如何，这已经成为事实。
Patrick：你是否立即取消了CUDA，回归了原来的策略？
黄：
不，我坚信CUDA的价值，因为我对此进行了深入的推理。我认为加速计算将能够解决普通计算机无法解决的问题。如果我们想将架构扩展为更通用的用途，我们就必须做出牺牲。
我深信我们公司的使命和它的机会。我坚信分析师们的判断是错误的，他们并未真正欣赏我们所建造的东西。
Patrick：
尽管分析师、董事会和员工并未对此进行推广，甚至破坏了现有的收入来源，但你仍然坚信这一点。你在兜售一个似乎没人真正想要的崇高梦想，跟我们讲讲你的信仰。
黄：
你可能会认为我在否认现实，但我只是在开玩笑。我始终坚守我所信仰的东西。
Patrick：即使董事会对你施加压力...
黄：
我每次与他们的谈话都会以我深信不疑的事物作为开端。他们之所以相信它，是因为他们看到我对此的坚信。我对此进行了深入的推理，这并不像电子表格那样简单。你必须相信电子表格，他们必须留下推理，留下文字。这个过程大约花了10年的时间，这个时间段来了又去，占据了我任期的三分之一。我几乎已经忘记了那种痛苦。
Patrick：
如果没有CUDA，NVIDIA能在AI领域取得同样的成功吗？
黄：
不，这是不可能的。CUDA可能是现代计算领域最重要的发明之一。我们发明了这种称为加速计算的想法，这个想法非常简单，但意义深远。它表明，程序的一小部分代码占用了99.999%的运行时间，这对于许多非常重要的应用程序来说，情况确实如此。那个小内核，或者说，几个内核，我都可以加速。而且它们往往不仅仅是并行处理，它没有那么简单。但我们的想法是，我们可以利用那个内核、那个软件的一部分，并加速它。今天，摩尔定律正在发挥作用，CPU的扩展基本停止了，如果我们不加速每个软件，你就会看到非同寻常的计算膨胀。世界每年的计算量仍在以指数级别增长。然而，如果因为某种原因，CPU和通用计算机无法提高性能，那么我们应该寻找什么样的替代方案？这是我们现在需要考虑的问题。每个人都在经营自己的企业，都在寻求加速发展。
Patrick：
可能每个人都有自己的 CUDA 版本，他们认为这个版本对他们的行业或技术有实质性的意义，但市场尚未看到它。你是否认为有可能提取出一些可推广的原则，来指导我们何时应该坚定地信任这个愿景，何时应该重新考虑？我们是否可以从 CUDA 和 NVIDIA 的历史中，以及其他 CUDA 的存在情况中，推断出这些原则？
黄：
问题在于，我们需要在决心和承诺与固执之间找到平衡，而这条界线往往模糊不清。
我每天都在审视自己内心的核心信念，我会继续这样做。你需要对你的直觉进行检查，你推理策略时所依据的首要原则，这些原则很容易记住，而且并不是一个很长的清单。现在的问题是，这些原则是否发生了根本性的变化？外部条件是否使它们不再像以前那么重要？是否有其他人解决了这个问题，使得这个问题现在已经消失？或者，这个问题是否永远都不需要解决？你需要不断地进行直觉检查。
在某种程度上，这是第一点，直觉检查。首先，你必须非常小心地提炼出第一原则，而不是固执地坚持自己想要什么。你无法推理出“我就是想要”，我们不是五岁的孩子，所以你必须推理出这是第一原则。第二点，你必须聪明。事实上，这里有很多新公司正在创建，令人惊讶的是，观众中有这么多伟大的公司，还有年轻的公司。你必须聪明。
我们找到了将 CUDA 货币化的方法，即使是小规模的货币化。我们到处寻找应用程序，我们发现了一个与 CT 重建相关的应用程序，我们发现了一个与地震处理相关的应用程序，我们发现了另一个与分子动力学相关的应用程序，所以我们一直在寻找应用程序。他们没有成功，但这足以支撑我们，并为我们争取到了时间，让我们真正实现这一目标。
Patrick：
现在，让我们来谈谈人工智能。我认为，为了在这里做一些数学计算，我们假设当今世界上所有 GPU 的总计算能力是 X。你认为，五年后我们的计算能力将达到 X 的多少倍？
黄：
首先，你知道我会后悔这么说。我是一家上市公司，这个疯子。看，私有化有多好？（笑）可以我继续详细阐述吗？
让我们来进行一些推理。首先，全球已经安装了价值约一万亿美元的数据中心，这些价值数万亿美元的数据中心被用于通用计算。然而，通用计算已经走到了尽头，我们不能再继续以这种方式处理。因此，世界将加速一切，无论是数据处理还是其他任何事情。当我们加速一切时，每个数据中心、每台计算机都将成为加速服务器。
如果我们的增长速度为零，那么在未来四年内，我们将不得不更换价值约一万亿美元的计算机。这个时间可以是四年，也可以是六年，取决于你的选择。但如果计算机行业继续以大约20%的速度增长，我们可能不得不在未来几年内，无论你选择多少年，用加速计算替换价值约2万亿美元的计算机。因此，我们应该使用图形处理器（GPU）。
这是我要阐述的第一点。第二点是，这就是为什么你们所有人，包括Stripe，都在做一件具有里程碑意义的事情。这个想法，你可能已经听我提到过工业革命。让我告诉你为什么。
我们正在首次生产一些以前从未生产过的东西，并且我们正在大量生产它。生产这个东西需要一种以前从未存在过的新仪器，那就是GPU。我们首次生产的东西，对于在场的数学家和所有计算机科学家来说，你们都知道我们正在生产Token。我们历史上第一次大量生产浮点数，这些浮点数具有价值。它们之所以有价值，是因为它们代表了智能，代表了人工智能。你可以把这些浮点数重新表述成英语、法语、蛋白质、化学物质、图形、图像、视频、机器人关节、方向盘关节，我们正在大规模生产Token。
现在，我们已经发现了一种方法，可以通过我们在人工智能方面所做的所有工作，生产几乎任何类型的Token。因此，世界将大量生产Token。这些Token将在新型数据中心生产，我们称之为AI工厂。
在上一次工业革命中，水进入机器，你点燃水，把它变成蒸汽，然后它变成电子。原子进来，电子出去。在这场新的工业革命中，电子进来，浮点数出来。就像上一次工业革命一样，没有人理解为什么这种电力如此有价值，现在以千瓦时每美元的价格出售和营销。所以现在我们每美元有一百万个Token。
这种逻辑对很多人来说可能和上一次工业革命一样难以理解，但在未来十年，它将变得完全正常。好的，这些Token将会催生新的产品和服务，提升各行各业的生产力，这是一个价值高达一千万亿美元的行业，就在我们的眼前。因此，这个行业的规模将会变得非常庞大。为了实现货币化和交易，你需要Stripe。（观众鼓掌）
我必须告诉你，Stripe是我最喜欢的公司之一。我第一次见到帕特里克时，他不得不向我解释Stripe是什么。首先，它的业务非常复杂。我们一直在尝试随着时间的推移来完善对它的描述。无论如何，你都处于一个复杂的业务环境中。但尽管如此，我还是被它所启发。你们所建立的东西令人难以置信。
我希望我的业务需要计费。
Patrick：
我们会跟进。（笑）
所以，考虑到这个Token，你不能这么说。你是一家上市公司。因此，考虑到这些token工厂，我认为现在一个大问题是模型是否饱和，就像我们之前在舞台上演示的Sigma助手一样，你可以编写一些自然语言，然后我们将其转换为SQL。从70亿参数模型到700亿参数模型或类似的模型可能会显著提高用户对人们倾向于构建的典型查询类型的查询准确性，但也许转向比这大10倍的模型是不必要的。
在某个时候，你会变得足够好，你可以可靠地将自然语言转换为SQL。我认为对于部署LLM的用例有一个问题，饱和曲线是什么样的，对于多少用例，需要一个万亿参数模型或十万亿参数模型，或者我们是否只是达到了某个数字（比如说，少于1000亿）就足够的程度？你对此有什么看法吗，或者这是否是看待这个问题的合理方式？
黄：
好的，让我们分解一下，然后推理。在公共场合，适当地。我收到的每一个问题。
Patrick：好的
黄：
让我们分解一下，然后推理一下。让我们从一个例子开始。2012年，AlexNet是计算机视觉、ImageNet、图像识别，准确率为82%左右。在接下来的差不多不到十年的时间里，我想大概是七年，每一年，准确率误差都会减少一半，每年，误差都会减少一半，或者也称为摩尔定律，好吗？所以你每年都会将性能翻一番，将准确率翻一番，将可信度翻一番。在过去的七年中，这项技术已经发展到了超乎寻常的地步。无论是语音识别还是自然语言理解，都有了显著的进步。我们总是期待并希望，而非仅仅知道，我们期待并希望预测给出的答案是准确的。因此，整个行业都在追求这种可信度或准确性，每年都在努力将其准确性提高两倍。我相信，自然语言理解也会如此。当然，问题空间要复杂得多。但我坚信，我们将每年将其准确性提高一倍，直到它达到如此准确的程度，我们已经对许多示例进行了广泛的测试，当你与它交互时，你会说，这真的非常好，我相信它给我提供的答案。这个条件非常重要。
第二件事是，今天的语言模型、今天的人工智能和我们展示的一切都只是一次性的。然而，我们都知道，我们考虑的很多事情都不是一次性的，你必须迭代。那么你如何想出一个计划，如何推理一个计划？你如何想出一个解决问题的策略？也许你需要使用工具，也许你必须查找一些专有数据，也许你必须做一些研究，也许你必须问另一个代理，也许问另一个人工智能，也许你必须像人类一样循环，问一个人，触发事件，给某人发送电子邮件或短信，在你进入该计划的下一步之前得到回复。因此，大型语言模型必须迭代并制定计划，这不是一次性的事情。一旦它想出了一个计划，当它遍历该图时，就会有一大堆语言模型被实例化和启动。所以我认为你未来的模型将会迭代，因此，它不仅仅是一个一次性的模型，而是一个规划模型，周围还有一大堆其他模型，这些模型都具有特定的技能。所以我认为我们还有很长的路要走。
Patrick：
上周，Meta发布了Llama 3，这是迄今为止最令人印象深刻的开源模型，引起了广泛关注。
黄：
对于开源模型，我的观点是，如果你问我过去几年最重要的事件是什么，我会毫不犹豫地告诉你是ChatGPT，以及强化学习人类反馈，将其植根于人类价值观并拥有实现这一目标所需的技术。这无疑是一项突破，使计算民主化，使每个人都有可能成为程序员。现在每个人都在用它做着了不起的事情。ChatGPT，以及OpenAI所做的工作，我为Greg、Sam和他们的团队感到骄傲。
我想说的第二件同样重要的事情是Llama，不是Llama 1，而是Llama 2。Llama 2激活了几乎每个行业，使其开始研究生成式人工智能。它打开了每个行业能够使用这项技术的闸门，无论是医疗保健、金融服务、制造业、客户服务，还是零售业，各种各样的行业都开始使用这项技术。我个人认为，Llama 2和Llama 3是开源的，它们不仅参与了各种研究，也参与了初创企业和行业的发展。这使得生成式人工智能变得触手可及，我认为这是一件重大的事情。因此，我坚信ChatGPT实现了计算的民主化，而Llama则实现了生成式AI的民主化。这种观点是否合理呢？
我认为，如果没有这些工具，所有关于安全的研究、所有改变思维方式的尝试，以及现在正在开发的所有推理技术和强化学习内容，都将难以启动。更甚者，如果没有Llama，这些事情将更加困难。
Patrick：
两周前，Dario Amodei参加了Ezra Klein的播客，他和许多其他人一样，特别是许多参与前沿实验室的人，预测AGI将在相对较短的时间内出现，可能在未来几年，2027年等年份经常被提及。对此，你有什么想法呢？
黄：
这其实取决于你如何定义AGI。首先，作为一名工程师，你应该明白，我们只有能够衡量问题，才能最终解决问题。因此，你必须以某种可衡量的方式表达问题陈述和使命。如果你告诉我AGI是我们目前使用的基准列表，它们是数学测试、英语理解测试和推理测试，你参加了体检和律师资格考试，并列出了你想要的所有测试。不管是什么，只要列出你的清单就行了。如果你列出了清单，我相信我们会在很短的时间内取得优异的成绩。如果这就是AGI的定义，我猜，它很可能在未来五年内实现。因此，我们目前用来测量这些模型的所有测试，它们的准确性或错误率每六个月就会减少一半。因此，我们没有理由不期望它很快就会成为超人。这不符合标准，只是要清楚一点。这不符合普通人认为它是AGI的标准。这有道理吗？
街上的人，嘿，AGI，这可能不是他们所想的，也不是我所定义的。我定义它的方式只是一种工程定义方式，以便您可以回答该问题。回答该问题的第二种方式是，您何时可以以未定义的方式实现AGI？如果无法定义，那么您会知道需要多长时间？无法定义。
Patrick：
每个在座的人都在经营企业。因此，我们所有人都面临的一个实际问题是，您如何知道自己是否正面临您刚才描述的那种变化，如何知道，如何知道自己是否以正确的方式做出了适当、充分的反应，等等？有什么建议吗？
黄：
如果您没有积极主动地参与AI，那么您就做错了。您不会因为AI而失去工作。您会因为使用AI的人而失去工作。您的公司不会因为AI而倒闭。毫无疑问，如果你的公司不尽快采用人工智能，那么它可能会因为其他公司的AI应用而被淘汰。因此，你必须尽快使用人工智能，这样你才能去做那些你认为成本过高的事情。例如，如果智能的边际成本几乎为零，那么你现在可以做很多事情，而这些事情在以前可能因为成本过高而无法实现。因此，我们需要注意我们搜索的频率，注意我们这些天提出问题的频率。对于任何随机问题，我都会感到困惑，但我仍然会去提问，即使我知道答案，我还是会去问，只是想看看会出现什么结果。
我们希望这种情况能够发生，我们希望这类活动的边际成本尽可能低，以便你大量使用它。其次，如果你可以使用人工智能来提高生产力，你应该知道高效的公司会带来更高的收入，更高的收入会带来更多的就业机会，更多的就业机会会带来更多的社会发展。因此，有很多理由促使公司提高生产力。
Patrick：
AI是否改变了NVIDIA内部的工作方式，除了改变制造计划和资本支出计划之外？
黄：
实际上，我们是首批投资自己的AI超级计算机的科技公司之一。如果没有AI，我们就无法设计芯片。到了晚上，我们的AI会探索广阔的设计空间，而我们自己永远不会这样做，因为探索这些空间需要花费太多钱。因此，我们的芯片要好得多。有了AI，我们可以减少芯片的能耗，提高性能。如果没有AI，我们就无法编写软件。我们必须探索所有优化编译器的设计空间，因为设计空间太大了。我们使用AI来提交错误，因此，我们的错误数据库实际上会告诉您谁的代码出了什么问题，谁可能参与其中，并激活该人去修复它。因此，我认为我们希望公司中的每个人、每个组织都非常积极地使用AI。我想把NVIDIA变成一个巨大的人工智能，那该有多好？然后我会平衡工作和生活。
Patrick：
你听说过哪些企业的例子，也许是在某个意想不到的行业，某个意想不到的用例，你觉得它们可以作为你所描述的某些动态的典型代表，它们真的意识到了其中的一些机会？
黄：
好吧，人工智能最大的惊喜，对很多人来说不应该是一个惊喜，那就是当我们说它是一个大型语言模型时，语言这个词并不意味着只有人类语言。它并不意味着只有英语或法语，或者只有爱尔兰语，或者那是完全不同的语言。但是有没有爱尔兰语的大型语言模型？
Patrick：
我试过了，效果很好。约翰和我大部分的教育都是在爱尔兰接受爱尔兰语教育的。因此，我有幸与这些模型进行了首次对话，就像与盖尔格一样，这让我感到非常惊讶。这已经持续了很多年。实际上，我非常享受这个过程。你有没有试过和Suno一起玩？Suno是一款用于创作和合成音乐的应用程序。我一直非常喜欢爱尔兰音乐。我当然试过这款应用，它可以演奏凯尔特风格的Dubstep，这真是太棒了。
黄：
如果它能做到这一点，那么它当然可以学习生命语言。如果语言模型可以理解声音，这是一个序列，一个时间序列，那么为什么它不能学习机器人的发音，这也是一个序列？你只需要弄清楚如何对其进行标记。因此，突然之间，我意识到，我可以学习SQL，我可以学习ABAP，我可以学习Lightning，我可以学习所有这些专有语言，我可以学习Verilog。所以，你会突然意识到，你可以在地球上的每一个工具上放置一个Copilot。
Patrick：
到目前为止，NVIDIA是一个大型人工智能公司，未来可能有100,000个模型，或者1亿个模型，或者只有一个模型，这个模型可以做所有的事情。
黄：
我认为拥有一个超级模型会很棒，它可以帮助你推理一般事物。但对于我们这些拥有非常特定领域专业知识的公司来说，我们将不得不训练自己的模型。因为我们拥有专有语言，99%和99.3%之间的差异对我们来说就是生与死的区别。这对我们来说太有价值了。对你来说，这和欺诈检测没什么不同，它对你来说太重要了。我要说的是，这正是我们的经验。无论通用模型有多好，你都会想要对其进行微调，将其改进到完美，因为它对你来说太重要了。
Patrick：
我们的时间快到了，还有很多问题我还没来得及回答。我在时间管理方面表现不佳。所以有很多问题我认为是，我被告知我一定要问你，但有几个问题我真的很想问，而且只有我们在场。
所以，Lisa Su是你的远房表亲。
黄：她真的很棒，她很了不起。顺便说一句，她是AMD的首席执行官。、
Patrick：AMD现在是你在GPU领域的竞争对手之一。
黄：不，我们是一家人。我们都在这个行业。她是这个行业的合作伙伴之一。我们从AMD那里购买产品。
Patrick：那么，为什么我们最终会有两家可以说是最重要的GPU公司，它们由近亲经营呢？发生了什么事情？
黄：你必须保守这个秘密。不，我并不清楚具体是怎么发生的。我们并非一起长大的。这个故事变得更有趣了，是的，直到她加入IBM，我们才相识。她的职业生涯令人赞叹，她真的非常优秀。
Patrick：
我认为这个问题需要进一步研究。
所以，你从90年代初就开始在硅谷运营了。是的。那么，在那段时间里，硅谷的文化发生了怎样的变化？
黄：
哦，这个问题我已经很久没有思考过了。我想在很多方面，可能……这是一个例子。当我第一次创办NVIDIA时，我只有29岁，那时我还有痤疮。你去和招聘人员、律师事务所和风险投资公司交谈，而我额头上长了一个大痘痘。而今天我没有痘痘，所以我可以放心地谈论这个问题。但这是有可能发生的。
所以，无论如何，你会感到相当不安全，因为当时大多数CEO都穿着西装，他们很有成就，听起来像成年人，他们使用大词，他们谈论商业之类的事情。所以，当你年轻的时候，你会感到相当害怕。你被一群成年人包围着。现在，如果你没有痤疮，我认为你不配创办一家公司。这是一个很大的区别。
Patrick：痤疮。这是詹森演讲的要点。
黄：
这意味着，我们真的让年轻人变得非凡。我认为年轻一代的CEO，你们在如此年轻的时候就知道的事情真的非常非凡。我花了几十年才学会它。
Patrick：
最后一个问题。
因此，NVIDIA的市值约为2万亿美元，现在与Apple和Microsoft相差无几，我刚刚查了一下，他们分别有220,000名和160,000名员工。NVIDIA有28,000名员工，所以，还不到这两家公司中规模较小的那家的五分之一。然后，你刚才说，当我们在后台聊天时，我记下了这一点，你可以通过流程实现卓越运营，但只有任职才能实现工艺。因此，NVIDIA比其他任何巨头都小得多，你似乎认为任职真的很重要，我想工艺真的很重要。你想再说一点吗？
黄：
我认为可以做出很多好东西，好东西是通过卓越运营做出的，但你不能仅通过卓越运营做出非凡的东西。原因在于，您工作中的许多伟大成就、您制造的产品、您创建的公司、您培育的组织都需要精心呵护。你甚至无法用语言表达。如何在电子邮件中表达关爱？
有人可能会说，他们知道如何做到这一点。然而，有些人可能认为在业务流程中无法表达关爱。
Patrick：爱和关怀是否是NVIDIA的口号？
黄：
我可以告诉你，我在工作中频繁地使用“爱”，并大量使用“关怀”。这就是我们经常讨论工艺和美的原因。
是的，你必须使用这些词，因为在很多方面，没有其他词可以描述它。你不能用数字来表达，你不能把它写在产品规格中。产品规格只能告诉你，我希望你能创造出一些非常美丽的伟大作品，并创造出伟大的工艺。但你无法指定这些东西。
Patrick：
可能有人会认为，Stripe的帕特里克总是喋喋不休地谈论工艺和美，而这种...我从不喋喋不休。我只是想让你知道这一点。我甚至不知道那听起来像什么。你比我清醒。我只是胡言乱语。
但是，我总是在谈论工艺和美感，希望事物具有这种特殊的不可言喻的特性，但它并不直接满足某些客户的需求等等。客户不会来找我们说，我希望产品更漂亮。他们说，我希望它具有X或Y功能。然而，我们相信工艺和美感真的很重要。
听起来你的意思很相似。你为什么认为这很重要？
黄：
实际上，你的客户，即使他们没有说出来，他们可能也不知道该怎么说，但当他们体验到它时，他们就知道了。毫无疑问。
看，Stripe的作品有美感、优雅和简约。你们知道，简约并不简单。简约和简单不是一回事。它有优雅，它解决了问题，但刚刚好。它给你带来负担，但不会太多。所以很难找到这种平衡。你无法具体说明。你只能靠自己的感觉去实现它。
当你拥有一支与你同在、能一起找到方向的团队时，在很多方面，我们已经编纂、编码了公司的魔力，这是无法用语言描述的。你不想失去它。你想在下次将它提升到一个新的水平。所以我不想重新开始。出于这个原因，我不喜欢和新人一起工作。因为我已经编码、体现，我储存了那么多的痛苦、苦难、欢乐和知识，所有这些经验、生活经验，你都已经编码在了所有与你共事的人身上。你想继续下去。你想将它提升到一个新的水平。这就是我真正深信终身任职的原因。
正因为如此，小团队才能成就大事。NVIDIA的团队规模很小，只有28,000名员工。因此，人们认为我们的实力超出了我们的能力范围。你们的成就令人惊叹，你们的规模如此之小，只有7,000人，却支撑着价值一万亿美元的生态系统、产业和经济。谁能预知你们将会走到何处？
因此，我为你们感到无比骄傲。
Patrick：谢谢!
黄：感谢你们。
