Bill Brennan(总裁兼首席执行官及董事会成员)
Tom Rockford(巴克莱银行)
好的。欢迎回到巴克莱全球科技大会。我是Tom o'. Malley。我是半导体制程设备分析师。今天我们邀请到了来自Kritoff的Bill Brennan和Dan Fleming。感谢你们的参与。
感谢邀请我们。
这总是一次有趣的对话,因为我觉得每年我们在这里都会谈论不同的事情,这真的很好。对吧?
所以有新的创新,市场看起来也不同,但或许我们先退后一步开始,即你们看到超过3万亿美元的已宣布支出。我们是否正处于这个AI投资周期的早期阶段?
过去你们非常清楚地阐述了公司将如何推动这一进程。但我希望你们能先分享一下。在这些部署中,你们认为存在哪些障碍是你们能够帮助克服的,以及你们最近在谈论哪些产品?
你知道答案的。
我知道答案。这不是给我的。
就阶段而言,我们处于哪个阶段?从任何角度来说,现在都还处于早期阶段。如果你说处于中期阶段,那你就有麻烦了。哦不,这只是一个一般性的说法。
不开玩笑了。是的,看到AI基础设施建设的持续热情,这非常令人振奋。
我个人认为,这是我们可以回顾的关键时刻之一。这将与我们所见过的任何时期都不同。
所以我认为,我们正在见证一个将持续十年以上的大趋势,它将逐渐清晰。
当然,过程中会有起起落落,但我相信,五年后的世界将会完全不同。它将被彻底重塑,基础设施、应用程序会更多,带来更多益处和生产力提升。
对我们来说,在过去12到18个月里,产品层面的重点发生了重大变化,我们真正聚焦于可靠性,特别是与AI集群相关的可靠性。
集群的本质是,数十万台GPU、数百万台GPU连接在一起,像一台大型超级计算机一样协同工作。
从GPU到第一个交换机的关键链路。与传统数据中心内的其他网络(如T1、T2)不同,这里没有冗余。
因此,如果你失去一个GPU和该交换机之间的链路,整个集群就有可能崩溃,你正在进行的训练运行可能会丢失,你必须回到上一个检查点,所以可靠性差最终会导致生产力损失以及收入或利润损失。
我们是通过18到20个月前与Xai的对话了解到这一点的,当时他们非常沮丧地找到我们,因为他们正在构建一个18个机架的、密度不高的排,该排使用基于激光的光学器件连接。
他们来找我们说,我们要建一个液冷设施,要把这个排从18个机架压缩到6个。现在如果你能制造7米长的电缆,而众所周知,铜缆解决方案在可靠性方面非常稳固,他们说,如果你能制造7米长的电缆,我们就能构建一个零中断集群。
“零中断”这个术语引起了我们的强烈共鸣。从那时起,我们的团队开始专注于可靠性,特别是针对第一个托管的C0链路。
我们最近推出的所有产品和开发成果,都是围绕可靠性进行差异化的。
所以这对我们团队来说确实是一个重大转变,也是我们正在克服的障碍。
所以我想回顾一下你们最近在财报电话会议上谈到的所有垂直领域,除了最终的AACS。但我确实想从业务的核心,也就是这些AACS开始。
你们从一个大客户开始,后来变成了两个,然后第二个客户成为了最大的客户。现在你们已经在各个领域增加了许多客户。
随着业务的发展,似乎每次你们增加客户多样性,就会有越来越多关于某个客户可持续性的问题。人们会打开设备,查看某些部署情况,并说,看,Credo已经看到了。
保持乐观。
我们看到这里的竞争越来越激烈。我希望你能花些时间谈谈。
你们与这些客户的路线图。为什么你们觉得自己在最大的几个客户中处于有利地位。以及你们为什么能够维持今天的市场地位。
当然,好的。我认为我们的独特之处在于我们开创了这个市场,并且我们最初采取的方法并不奏效,因为我们没有考虑过要拥有整个系统的所有权。
所以在大约7、8年前,我们意识到,如果我们不拥有整个系统的所有权,这个产品类别可能就不存在了。
你必须全面掌控,对产品的各个方面负责,从产品设计到产品质量,再到产品的供应链管理,最终在产品投入生产时,对出现的任何问题负责。
这才是真正的差异化所在。在竞争层面,我们专注于率先交付、率先通过认证、率先扩大规模,并做到完美无缺,对增长机会具有极强的灵活性。
我认为在过去一年中,我们已经证明了这一点,因为我们看到许多客户的需求绝对在加速增长,而作为一家公司,我们有能力对此做出回应。
我们已经证明这是可能的。我无法想象,如果我是一家芯片公司,却要指望一家电缆公司能够做出回应,而我又无法控制它。
在这个过程中存在着竞争壁垒,所有的工程师都在同一个屋檐下,包括设计实际物理电缆的工程师。
我们进行内部认证,不仅对我们的电缆负责,还对客户的交换机、客户的GPS使用负责,并在与数据中心合作伙伴进行认证之前,将误码率提高多个数量级。
是的,我对我们的竞争地位感觉非常好。也许这只是,我认为世界有点低估了我们所做事情的系统级难度。
我们甚至有竞争对手为了应对我们已经在做的事情,完全改变了他们的商业模式。
嗯,是的,我正要评论。本周我们有一个该领域的竞争对手谈到了“黄金电缆”。这是否是在推动生态系统合作,比如,这是一个芯片解决方案。我们需要其他公司加入我们,以取得更大的成功。
这是否与你们的方法相同?你如何看待竞争对手的这种做法?
所以我们要从铜缆转向金缆。那很贵。我认为这只是一种颜色。
颜色够多了。别胡说了。我们可以谈这个。
我明白。所以。
我没有过多关注这件事,但我理解这是一种转变,试图建立更可预测的供应链或生态系统,而这正是我们已经实现的。
所以,再次强调,我对我们的竞争地位非常有信心。最终,对我来说,重点是关注我们的客户,专注于提供差异化的解决方案。
我们所处的领域并非大宗商品领域。这不像设计IEEE标准的1.6T端口。
这是超越特殊功能和特殊硬件SKU的,具有2、3、4、5、8种不同连接器的领域。
如果你允许你的客户进行创新,这就是一个充满活力的领域。明白了。
所以如果我回顾过去,微软在早期专注于前端应用,亚马逊则转向更多后端应用,你谈到了Xai,你刚刚提到了与他们在排级规模架构上的合作案例。
当你们增加这些客户时,能否谈谈你们通过解决方案解决了哪些问题?是否总是后端的同一种Y X电缆?是否只是普通的直电缆?我想人们可能会认为这是一成不变的,所以你们无法扩大规模。能否给大家一些视角,说明你们为不同客户解决的问题以及为什么并非一成不变?
当你说“扩大规模”时,你是指收入规模吗?我认为如果你查看我们的收入规模,我们已经证明了我们有能力扩大规模,而且我们已经表示我们应该会继续扩大规模。
所以我知道,这么说可能很容易,但一般来说。
是的。AEC在数据中心的应用位置不同。
我可以告诉你,除了通过多种方式解决这些连接问题外,无论是在后端网络、横向扩展、纵向扩展、交换机机架、前端连接,都有很多机会进行超越标准的创新。
所以我认为,你可以期待在AEC领域看到很多创新,尤其是来自我们团队的创新。
当你考虑与客户的未来合作以及早期设计时,我不想深入探讨,但这确实是近年来股价反应的原因。我还没查最近的情况。
本质上,你打开设备,说你可以数出里面有多少是Credo的电缆,因为它们有特定的颜色。是否可以一直假设你在某些设备中看到的电缆都是紫色的,它们就是Credo的?如果转向更高速度,第一个设备开箱时是否总是和该客户的所有设备看起来一样?我在台上问这个问题,是因为我以前听过你的回答,但我希望你能澄清一下。
所以我要透露一点消息。
我们不只生产紫色电缆。
因此,一些客户确实认为,让数据中心的人员能够通过颜色准确识别电缆是一个优势。所以如果我为该特定客户提供四代紫色电缆,可能会让人混淆它们之间的区别。
因此,早期他们要求我们在电缆上使用不同颜色的护套。当然,我们认为这是合理的要求。
所以我知道,每次我们的客户举办展示下一代技术的展会时,人们都会对所展示的内容做出很多假设,进行很多计算并得出很多结论。
我只能说,我第一次参加展会时,看到了一个非常令人兴奋的东西。它是紫色的。过了好几年它才真正实现,而且最终实现的配置与所展示的未来技术不同。
但底线是,这关乎客户关系,确保你在他们身边,解决问题。
我对我们所有四个占收入10%以上的客户都有非常强烈的信心,我们正在做这些工作,而且在很多情况下,我们有12个月的具有约束力的可见性。
我有一个客户展望两年,另一个客户展望三年,以确保我确切了解他们的需求。所以这很令人放心。
因此,从我们的角度来看,没有担忧。
关于AEC领域,我还有很多问题,就是共封装光学器件(co-packaged optics),无论是从横向扩展生态系统还是纵向扩展生态系统来看。
我认为行业普遍知道我们正朝着这个方向发展,但它何时实现,我认为存在很大争议。
或许可以谈谈,你们的解决方案是否最终能够弥合通往共封装光学器件的差距?你认为通过Hyperloop Loom收购(你们提到过20到30米),你们最终是否有能力进行一些纵向扩展光学器件的研发?你对时机有何看法,以及你们应对CPO的能力如何?
是的,这是一个包罗万象的问题。如果你愿意,我会回答。你知道,我认为你问题的第一部分是关于CPO的。是的。
到目前为止,还没有人问过我“CPO已经投入生产,你感觉如何?”这个问题。多年来,我一直被问到关于CPO的问题,你知道,如果你以当前生态系统的运作方式遇到障碍,有一些事情可能会很有前景。
所以对我来说,我认为。
我不认为人们会说,我需要CPO是因为我们过去10年的做法行不通了。没有什么突出的问题。你不能说成本问题。因为它肯定会更贵。
你不能说可靠性问题,因为它的可靠性会低得多。你知道,鉴于它是基于激光的,你不能说它是任何正在讨论的技术中功耗最低的。
所以,我认为这些缺陷使它无法投入生产。我认为围绕它的热情是好的,创新是好的。
但我认为,在过去五到十年的讨论中,生态系统已经强烈表示,我们会找到一条路,利用当前正在部署的现有生态系统。
因此,关于我们的,当行业最终遇到障碍时,可能是速度方面的障碍。特别是对于铜缆来说,超过2米左右的距离。
我们在ALC中投入的微LED努力,对于近封装光学器件有直接应用,其功耗是CPO的三分之一,而且它不像你在会议上看到的那样需要奇特的交换机设计。
因此,我们认为,当行业最终达到那个阶段时,我们有一条更好的功耗路径。但让我回答关于纵向扩展的问题。这是问题的不同部分。
纵向扩展是从设备内网络开始的。GPU在一个盒子里。所以它是盒子内部的网络。
我们看到英伟达和其他公司现在正在进行机架级纵向扩展架构。转向排级纵向扩展有很大的性能优势。
所以当我们谈论排级纵向扩展时,我们谈论的是大量新的连接。这是一个将在市场上出现的新TAM。
你可以用铜缆进行这些连接,也可以用其他介质。可靠性仍然是纵向扩展的关键。
所以我认为我们谈论的纵向扩展网络与其他地方存在的网络不同。它将是一个密度更高的网络。因此,布线密度是一个挑战。
但如果我们看看今天正在部署的系统,它们的密度已经很高了。下一代会更高。
你可以很容易地用铜缆进行这些连接。但当布线密度变得如此之高,以至于无法用铜缆物理实现时,ALC就会发挥作用。
我要提到的是,可靠性是关键点之一。ALC在基本核心技术层面具有与铜缆同等的可靠性,同等的能效,是基于激光的光学器件功耗的一半,成本也相当。
因此,我们认为这是正确的技术。连接器看起来和感觉都一样。基本上,它是现有生态系统的延伸。
所以我们对此感觉很好。我知道有很多人在谈论竞争技术,这就是为什么我们在竞争中充满乐趣。
好的,有两个垂直领域。我们有ACS,有ALCs,还有ZF光学器件。在最近的会议上,你们与一位领先客户(或者至少是今天的合作伙伴)一起展示了产品。
我认为有趣的是,你经常谈到可靠性,而过去你们确保可靠性的方式是从基于芯片的解决方案转向电缆解决方案,对吧?处理整个解决方案。
这似乎是从光学DSP到整个模块。从性能角度来看,转向光学全模块解决方案能带来哪些与电学解决方案相同的经济效益或好处?为什么你们选择做这个完整的解决方案?客户为什么喜欢它?
是的,所以ZF光学器件,即零中断光学器件。零中断这个主题最终与可靠性有关。
大约20个月前,甲骨文找到我们,他们也和Xai一样在链路中断方面遇到了困难,我们建议使用AECs,但他们说他们的链路太长了,远超过7米。
因此,他们必然要使用基于激光的光学器件。所以他说,我们希望与你们合作开发一个解决方案,我们一起向上拓展。
这个想法是,你能否设计一个系统解决方案,为集群中的每一条链路提供可见性和遥测数据,以便你能够确定所有链路的链路健康状况。
例如,在一个百万GPU的集群中,你能否构建一个系统,将所有遥测数据实时馈送到网络管理软件中。这样你就可以设置一个阈值,当你看到某条链路的信号完整性开始下降时,当它超过该阈值时,你能否主动断开那条链路?你能否将那个GPU从集群中移除,以避免链路中断?
所以整个目标是设计一个系统级解决方案,能够在链路可能中断之前识别出潜在的链路中断,并通过将其从集群中移除、断开链路来进行缓解。
因此,我们首先必须重新设计一个定制的光学DSP,使其能够在DSP之间进行带内通信。所以当我们传输高速流量时,我们能否在DSP之间来回通信并启用这些遥测数据。
接下来是将我们的试点软件紧密耦合,以便我们基本上可以将这些原始数据转换为遥测数据。然后是通过交换机SDK链接到SDK,以便能够集成到客户的网络中。
现在,我们能够实时、持续地为他们提供IHeight SNR、Prefect误码率、Post VEC直方图等信息,我们能够识别是否存在ESD损坏。
这是一个非常常见的故障源,当他们安装机架时,如果你误操作收发器,可能会对其造成轻微损坏。通过ESD,我们可以识别出来,他们可以在首次启动机架时主动更换它,我们可以识别出光纤上是否有灰尘,这样你会得到多径干扰,因为如果你有灰尘,光脉冲会反弹,这会对信号完整性造成严重破坏,这远远超出了基于激光的光学模块的任何系统解决方案。
因此,我们认识到我们必须向上拓展,我们必须拥有整个解决方案,我们必须对整个解决方案负责。
所以在这方面,它开始感觉就像AEC一样。这就是我们正在走的道路。我们不是在竞争标准模块。这是从头开始设计的。
我不期望我们会成为这个领域的唯一供应商。我的期望是,这能带来如此大的价值,我们会有其他公司加入,提供零中断光学器件解决方案。
你们说的另一个将在近期影响财务的垂直领域是PCIe。我很好奇。我知道你们正在进入市场和下一代PCIe。但你们认为你们给行业带来的第一个价值主张是什么?是PCIe板载重定时器吗?是PCIe电缆吗?显然,公司的传统表明你们可能首先倾向于电缆方向。但今天PCIe板载重定时器的市场更大。你们如何看待你们的上市策略?
嗯,上市策略是并行的。非常简单。当我们将重定时器推向市场时,我们也在并行开发AEC。
我可以说,我对我们在硅片上看到的结果感到非常满意,这将转化为重定时器和AEC级别的优势。
我怎么强调拥有SerDes的优势都不为过。我们在传输距离上看到的结果,我们绝对是第六代市场上传输距离最长的解决方案。
延迟方面,我们是延迟最低的解决方案。通常这两个因素是相互冲突的。你要么为了低延迟而牺牲传输距离,要么反之。我们两者都实现了,这为使用我们产品的客户带来了真正的价值,即更容易设计系统,并且他们可以设计更高性能的系统。所以对我们的竞争地位感到非常满意。
然后是我们还没有谈到的最后一个垂直领域,即Omni Connect产品组合。上次我们交谈时,你说,Tom,去看视频,我们会向你解释一切。我去看了视频。感觉好多了,但还没有完全理解。
我听说了各种不同的内存增强策略,包括CXL,无论是可插拔的、板载芯片、卡,或许只是为了更广泛的受众。你们试图解决的问题是带宽,对吧?从CPU或加速器到位于附近的内存。
不同公司和解决方案采用的方式各不相同。你们是如何着手的?
是的,所以让我首先描述一下,Omni Connect旨在成为我们随时间开发的一系列设备、一系列齿轮箱。Omni Connect系列中的第一个齿轮箱是我们称之为Weaver的设备。这是一种旨在克服与推理相关的内存墙的设备。
因此,如果我们比较已宣布的Rubin CPX(我认为它将于明年投入生产),它有128GB的DDR内存。如果你对其进行芯片级分析,大约75%的接口区域被DDR5或SerDes占据。
如果你看看120GB内存是如何围绕它布局的,你会发现存在物理限制,因为你距离GPU大约只有25毫米或1英寸。
这就定义了与推理相关的内存墙。因为在推理中,如果你能将整个模型加载到DRAM中,你将获得比无法加载并不得不进行DRAM页面调入调出更高的性能。
因此,如果我们看看像AI生成视频这样的新兴应用,这些模型非常庞大,远远超过128GB。那么如何设计一个解决方案来克服这种接口限制和空间限制,以便能够部署数TB的容量呢?
对我们来说,这始于将内存远离GPU的概念。如何将内存从25毫米移到250毫米或10英寸远?好吧,你必须首先解决接口挑战。
因此,我们为特斯拉的Dojo设计了一个SerDes。它非常小,功耗非常低。这是第一个XSR SerDes,甚至在IEEE批准XSR标准之前。
因此,我们能够设计一个保持这种尺寸和功耗的SerDes。但我们将为特斯拉实现的50毫米扩展到了250毫米,即10英寸。
因此,从接口密度的角度来看,我们完全解决了这个问题。接口密度提高了10倍以上。
我们合作的第一个合作伙伴,你知道,是AI生成视频市场。现在制作一个15秒的剪辑可能需要15分钟。目标是实时生成。如果你能增加容量和带宽,你就可以开始考虑实现这一目标。
我们与第一个合作伙伴推出的解决方案,他们推出了一个具有2TB内存的推理平台。相比之下,之前是128GB。我们可以扩展到6.4TB。
你可以想象,他们在市场上得到的反馈是,他们打破了这个限制。从内容角度来看,我们为连接所有DDR而销售的齿轮箱,每个GPU的价值将达到1000美元或更高。所以这确实是一个突破性的解决方案。
我们将构建的其他齿轮箱也将在GPU中常见的其他IO上带来同样颠覆性的变革。我明白了。
因此,需要使用位于加速器附近的更高带宽内存的问题,基本上由你们来解决。
是的。对于训练来说。如果你想做一个训练芯片,你可以消除对HBM的需求。你可以购买成本仅为HBM五分之一的DDR,并消除对COAS的需求。所以这对训练来说是颠覆性的。
与HBM接口相比,功耗会略有增加。明白了,明白了。
关于毛利率方面。Dan,我知道每个财报电话会议都会问到这个问题,但你们的毛利率继续高于长期模型的中点。Bill,我认为你很好地解释了客户动态如何推动毛利率上升,以及他们必须向你支付多少才能实现这一点,以及这如何在供应链中持续。
我知道我们与很多客户的合作还处于早期阶段,但你们也在推出很多非常创新的新产品。当你考虑你们谈到的这些产品组合垂直领域时,你如何看待长期毛利率随着这些新业务的增加而变化的趋势?
是的,关于这一点,我有几点简短的评论。
所以Bill上周和今天描述的所有这些不同的增长支柱。
我们预计,从毛利率角度来看,所有这些都将处于我们长期毛利率模型的最佳区间,即63%至65%。自上市以来,我们从未改变过这一目标。我们没有改变过。这是我们的长期预期。
如果你看看我们过去一年的历史表现,例如,我们的故事是规模的增长确实推动了利润率的扩张,从去年第二季度到我们最近的财报公告,同比增长了超过400个基点。
现在,我们显然处于一个略高于我们长期毛利率模型的时期,我们的指引是在高端。但从长期来看,我们当然期望我们正在追求的所有这些令人兴奋的新机会都能处于63%至65%的区间内。
好了,我们时间到了。非常感谢Bill和Dan的参与。非常感谢,这是激动人心的时刻。
Credo。
谢谢。
感谢所有精彩的问题。谢谢大家。谢谢。
谢谢。是的,谢谢。