MCM正在潜移默化地改变芯片设计 MCM专柜包装

admin2年前奢侈品新闻206

多芯片模块(MCM)技术的应用在半导体业界已经不是什么新鲜事了,但随着Chiplet、2.5D/3D封装技术日趋火热,MCM正在渗透进更多的芯片设计中,无论是GPU、光模块还是AI芯片,都在慢慢引入这类封装技术。

MCM GPU成为趋势

以去年AMD发布的首个MCM GPU Instinct MI250X为例,这款GPU集成了两个GPU Chiplet和128GB的超大HBM2e内存,在算力和带宽上都做到了极致,实现了383TFLOPS(FP16)和3.2TB/s的可怕成绩,无疑是专注AI的各大超算中心梦寐以求的加速器了。同样,英特尔也在其Ponte Vecchio GPU上采用了MCM。

Instinct MI250X GPU / AMD

虽然MCM已经由AMD和英特尔两家GPU厂商开始推进了,但目前来看英伟达的动作比较小,虽然有相关的研究,但还未拿出商用的MCM产品。不过以上都是面向HPC/AI市场的GPU,消费级的GPU是否也会迎来MCM的GPU呢?据现在的传闻,AMD极有可能在下一代RDNA3架构的高端GPU中用上MCM。

但消费级应用与HPC/AI应用又属于截然不同的场景,后者使用多个GPU跑负载是很常见的情况。但消费场景中多GPU已经相当少见了,在兼容性上肯定会大打折扣,所以迈出这一步很可能会带来一定的风险。

IP公司眼中的MCM

MCM不仅为GPU公司带来了更多设计灵活性,也让一众IP公司找到了新的商业模式。比如IP公司Credo就提供混合信号DSP IP,用于客户的ASIC设计,以Chiplet的形式集成到SoC上,打造更低功耗更高性能的MCM。随着数据中心的网络架构慢慢趋向于400G以上,芯片连接性的要求也在逐步升高。为此,Credo在去年底推出了全新的3.2Tbps BlueJay重定时器chiplet,通过64通道56Gbps PAM4 LR的DSP,提供了强大的系统级连接性。

BlueJay Chiplet / Credo

BlueJay虽然只是以台积电28nm工艺打造,但保证了性能和功耗的要求,与其先进工艺方案Nutcracker相比也降低了成本。此外,由于BlueJay与主机端MCM中SoC核心的通信是通过超低功耗的BoW D2D接口实现的,其接口已经针对台积电的CoWoS封装技术做了优化。这种将SerDes功能从片上(on-die)转向片外(off-chip)的做法,显著增加了ASIC的可使用面积,设计者可以将这一部分多出来的面积用于实现更高的计算性能。

AI在MCM上的创新

同样,AI也在MCM上找到了新的解决方案。我们已经看到了大的机器学习模型通过训练大数据在多个领域展示了惊人的成果,比如计算机视觉、语音识别和自然语言处理等。为了减少机器学习加速器的成本,业界引入了不少设计创新,其中之一就是MCM。

Coral TPU / 谷歌

英伟达的Simba,谷歌的TPU,都用到了MCM的设计。谷歌的Coral TPU是一个用于边缘端的机器学习推理加速器,在极小的占用面积下可以实现4 TOPS(INT8)的峰值性能,能效比可达2 TOPS/W。英伟达的Simba同样是一个用于推理的芯片,但规模比谷歌的Coral更大,整个MCM由36个Chiplet组成,每个都能实现4 TOPS的峰值性能,将整个芯片算力提升至最高128 TOPS,能效比更是高达6.1 TOPS/W。

一来在设计上,设计小芯片的难度比一整块芯片要低,二来小芯片由于面积较小,生产良率也更高。这都证明了这种方案既可以减少设计和生产成本,也能达到与单个大芯片近似的性能与能效。

但正如我们上文提到的MCM GPU兼容问题一样,机器学习中MCM也并非毫无痛点。由于MCM中单个Chiplet的内存远比单个大芯片要小,所以大型机器学习模型的训练与推理都需要将矢量计算的数据流图在Chiplet上进行划分。多芯片进行划分就是为了将运算分配给Chiplet,从而将某个性能指标最大化,比如说吞吐量。但与单芯片不一样,MCM中小芯片的数量以及神经网络的节点数量增加,都会让搜索空间成指数级增长,从而降低效率,更不用说因为MCM的硬件特性,可用的划分方案并不多。所以这种划分的质量,直接影响到了MCM芯片设计的优化。

为了解决这个问题,谷歌的研究员们开发了一种深度强化学习的划分方案,同时利用一个约束求解器来专门解决MCM封装的机器学习模型划分问题。他们的方案可以通过预训练来普及到未知的输入图,通过对生产级BERT模型的硬件评估,他们得到了超过随机搜索和模拟退火等现有方案5%以上的吞吐量。更重要的是,这种方案具备极佳的迁移学习性能,使用预训练的模型可以有效提升样本效率,将搜索时间从3个小时减少到了9分钟。

相关文章

【米兰时装周】名媛希尔顿压轴走秀范思哲Versace2023春夏系列时装秀 范思哲2018春夏时装秀

【米兰时装周】名媛希尔顿压轴走秀范思哲Versace2023春夏系列时装秀 范思哲2018春夏时装秀

原标题:【米兰时装周】名媛希尔顿压轴走秀范思哲Versace2023春夏系列时装秀 【时尚琳子】一个叛逆者,一个自信,聪明,有点女神范儿的女人。这就是范思哲创意总监Donatell...

Lowe's终于道歉 华女购物遭歧视 3600人签署力挺 lowe的

Lowe's终于道歉 华女购物遭歧视 3600人签署力挺 lowe的

由本报率先报导的家用品连锁Lowes伊州春田市店歧视华裔顾客Xuna Hu事件,引起广大关注,在华裔州众议员马静仪与3600多位民众签署声援下,Lowes公司区域经理麦卡...

巴利三藏阅读器&巴利词典使用说明V1.0.docx 巴利三藏汉译

介绍 这是一款由    几位尊者开发的多语巴利三藏阅读工具&多语带变格巴利词典,通过浏览器打开(建议使用火狐浏览器),目前提供巴利三藏...

蔻驰母公司2022财年销售额同比增15%,旗下品牌将涨价 小团团 嘟嘟嘟嘟

2022上半年,主要奢侈品及时尚集团纷纷发布业绩“喜报”。当地时间8月18日,蔻驰(Coach)母公司泰佩思琦(Tapestry)集团也发布了2022财年第四季度及全年业绩...

DIOR(迪奥)2023春夏系列米兰大秀! 迪奥2022早春系列

DIOR(迪奥)2023春夏系列米兰大秀! 迪奥2022早春系列

原标题:DIOR(迪奥)2023春夏系列米兰大秀! 欢迎关注我们 结构工艺方向微信公众号:WLB服装术 效果图插画方向微信公众号:时装插画 联系博主微信号...

2折买COACH热门款,精致打工人赶紧冲! coach五折时间

2折买COACH热门款,精致打工人赶紧冲! coach五折时间

今天!小妹要告诉你们 我们和COACH官方合作 拿到了独家优惠! ?DEMPSEY托特经典22号4.6折 ?ALIE单肩包抢不到款18号3.8折 ?香...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。