News
时间:2023-03-27来源:虞新阳
沐曦首款异构GPU产品MXN100已于2022年底实现规模量产,并与多家重点行业客户及服务器厂商联合打造应用落地解决方案,展开深度的生态合作。在过去很长一段时间里,GPU市场一直被国外知名企业所主导,近些年来,随着中国经济的不断发展,国家对芯片领域的大力支持,国内涌现出了众多GPU芯片公司,而沐曦就是其中之一。
自2020年9月成立,沐曦就致力于打造全栈GPU芯片产品,目前推出的MXN系列GPU(曦思)用于AI推理,MXC系列GPU(曦云)用于通用计算,以及MXG系列GPU(曦彩)用于图形渲染,满足“高能效”和“高通用性”的算力需求。
近日,LiveVideoStack就采访到了沐曦AI解决方案总监虞新阳,请他来跟大家聊聊沐曦推出的通用GPU芯片产品、沐曦所具备的独特优势、以及他在沐曦工作的美好体验和收获。此外,他还与我们畅谈了国产GPU的未来发展以及他自己的GPU研发之路。对于想要进入芯片领域工作的年轻人,他也给出了十分中肯的建议。
虞新阳,沐曦AI解决方案总监。11年GPU研发经验,8年AI算法经验,参与并主导过国际旗舰厂商解码器、多页表多进程支持、智能调度等GPU功能的研发;参与并主导过阿里巴巴3D智能家装、内容推荐等AI算法的研发;在ICDE、CVPR等发表过多篇paper。目前在沐曦负责AI算法。
LiveVideoStack:虞老师,跟我们聊聊您的GPU之路吧,您最初是如何开始GPU研发工作的?
虞新阳:2007年硕士毕业后,我加入了S3 Graphic(S3是上世纪90年代很领先的2D显卡公司),它是国内最早几家搭建完整GPU设计研发团队的公司之一,包括架构、硬件、软件、系统及解决方案等所有核心部门。从在架构部门学习、维护资深员工的代码开始,慢慢到优化RISC core的功能性能仿真器、汇编器,再到开始撰写GPU解码模块的架构设计文档,我对GPU的硬件模块(特别是解码器)定义和建模流程逐步有了很深的认识;另一方面,也需要用GPU 3d shader搭建H264编码雏形,使我加深了对GPU并行编程及架构的理解。
LiveVideoStack:在您过去所做的工作中,您认为其中哪些工作最令您感到满意?
虞新阳:在过去16年的工作历程中,一方面工作内容有较强相关性,同时也是比较有跨度的。2012年在国际知名GPU公司,我负责设计研发了第一代统一的多标准解码器,它融合了内部两种不同的解码器架构,第一次在细粒度的宏块层面进行GPU解码和流水处理,在提升性能的同时也简化了解码方案。2014年,比特币还处在较早期的发展阶段,慢慢地从CPU挖矿逐渐转移到GPU挖矿中,当时的显卡在挖矿程序上最初表现不太理想,后来我与团队一起定位出性能瓶颈在MMU模块上,协同思考研发了新的MMU架构,可以同时高效支持4KB、64KB和2MB的GPU页面,在硬件层面解锁了GPU的挖矿性能。2020年在国内头部互联网公司,我主导设计了第一款端到端的智能家装设计轻应用,用户上传或选择户型图,30秒就能得到可漫游的3D室内家装设计方案,虽然没有取得很大的成功,但为后面的迭代奠定了坚实的基础。以上几个点,现在回过头来想想,都还是挺有意义的。
LiveVideoStack:在接下来的工作中,您又将解决哪些难题?
虞新阳:当前我在沐曦的AI解决方案部门,主要负责AI算法。AI是一种工具,就像Python,C++等程序一样,只是它更高阶、更智能。一方面它能够解决外在应用场景中的问题,譬如视频的智能处理;另一方面也能解决GPU研发相关的内部问题。当前是视频化的时代,影视剧、视频聊天、短视频、直播等发展迅速,视频日益成为人类社会的主要信息载体。视频处理,特别是高效的视频压缩技术,一直是学术界和工业界努力的一个重点;结合AI,我们也正在做一些学习、探索、实践及落地的工作。
LiveVideoStack:对于想进入芯片领域工作的年轻技术人,您有哪些建议送给他们?
虞新阳:现在的芯片公司一般都是计算平台型公司,需要各种各样的人才,包括硬件设计、软件开发以及人工智能算法等等。其中,IC设计、操作系统、驱动、编译器等是芯片领域非常需要但总体偏小众的方向。一方面,年轻人可以特别关注这些领域需要的技术,譬如可以从嵌入式系统上的性能优化出发;另一方面,更重要的是培养自己的学习能力、专注能力、创新能力等,有了这些底层能力,一旦进入芯片领域的环境氛围,即使没有太多经验,也能够很快成长起来。
LiveVideoStack:2022年年底,沐曦首款异构GPU产品已规模量产。您能否向我们介绍一下这款产品以及它的应用场景?您在其中做了哪些工作?
虞新阳:这款产品拥有强大的AI算力和视频编解码能力,结合优秀的推理引擎以及profiling工具等软件栈,可以方便快捷地部署到服务器场景。总体来说,它特别适合在安防、智能视频平台、云游戏、云桌面、远程医疗、在线教育等领域发挥作用。
AI解决方案团队当前着力于抽象一些重要的应用场景,譬如视频的智能转码。既可以给用户提高基础的解决方案作为参考设计,也能够协同推进整个软件栈的完善和优化。
LiveVideoStack:公开的资料显示,沐曦有三大GPU产品线:MXN(曦思),MXC(曦云)和MXG(曦彩),分别用于AI推理、通用计算和图形渲染。在您看来,这三大产品在技术挑战、生态系统建设难度与潜在客户购买力方面有何异同?沐曦未来的主力产品有哪些?
虞新阳:GPU现在已经广泛应用在各行各业,譬如游戏娱乐、搜索推荐、智慧城市等,并且向着更广更深的领域继续探索尝试,如自动驾驶、生物医疗、元宇宙等。
MXN、MXC和MXG都是GPU产品线,有较强的计算能力和AI能力等, 但它们又有各自的侧重。MXN侧重在推理,对应于比较成熟的应用部署落地场景;MXC有很强的通用计算能力,更加适用于人工智能、科研、教育等场景,譬如自动驾驶算法训练迭代;MXG额外带有图形渲染能力,适用于元宇宙、游戏等场景。
去年年底面向推理的MXN100已成功实现规模量产,今年将迎来功能更强大的MXC500训练及通用计算芯片。
LiveVideoStack:近些年国内出现了很多芯片设计公司,与其他公司相比,沐曦具备哪些独特的优势?
虞新阳:沐曦成立两年多以来,发展很快,也很稳健。当前总部在上海,并在北京、杭州、南京、成都、深圳、武汉等地成立子公司暨研发中心;三大产品线MXN/MXC/MXG都在有条不紊地推进。都说一个公司的基因和核心创始团队息息相关,总结来看,沐曦在这几方面拥有较独特的优势:
首先,创始人都有很深的GPU研发背景,平均20年GPU领域工作经验,且成功领导过多代世界一流的 GPU研发,有研发迭代的大局观;
其次,创始团队曾经有过紧密的相互合作经历,彼此配合默契,团队建制完整;
最后,公司整体拥有良好的工作环境和氛围,尊重知识,尊重人才。
GPU设计是一个系统性、较长期的过程,需要一步一步地优化迭代,才能最终打造出具备世界竞争力的产品。
LiveVideoStack:在沐曦工作是一种什么样的体验?您有哪些收获?
虞新阳:沐曦和很多其他芯片设计公司一样,成立在国产芯片急需自立自强的大背景之下,需要在接下来的5到10年时间内快速成长起来。在宏观层面,一方面或多或少会有一些承担突破崛起的自豪感和责任感;另一方面竞争也很激烈,能感觉到时不我待的紧迫感。在微观层面,GPU芯片和计算平台的研发虽然是一个很大的系统工程,但从大的模块(团队)功能角度来看又边界清晰,需要很强的相互配合,个人也需要较从容且深入地往特定方向去深耕,有较强的方向确定性;同事之间关系比较融洽,也有利于个人的学习成长。
另外,沐曦发展较快,也给了我可以从0到1的搭建算法团队的机会。其中在语音、NLP等方向是我先前有了解但没有深入接触过的方向,现在有机会一起学习成长。更重要的是,沐曦是一家GPU设计公司,视频智能编码是重要的场景,让我有机会把先前的编解码器知识、GPU架构设计背景,以及AI算法经验结合起来,努力做出一些融合性的创新和优化。
LiveVideoStack:虞老师,您今年写了一篇名为《从计算芯片演进看GPU未来》的万字长文,非常详细地介绍了芯片的发展历史,您为什么会写这样一篇文章?
虞新阳:一方面,沐曦会积极参与国内相关的行业标准化组织、为相关标准制定及行业白皮书的修订贡献力量,作为公司代表我需要搜集提供AI芯片相关的一些基本情况;另一方面,身边的同事和朋友对GPU发展也很关切,常见的问题包括:当前中国的芯片发展状态是不是过热了?是不是短期就一阵风?有没有可能诞生世界级的芯片设计公司?
在收集了一些基本情况后,我就想干脆就更加系统深入地整理下整个计算芯片的发展过程,展现下当前的国际知名GPU企业是怎样一路发展过来的,希望能给接下来的国内GPU发展带来一些我个人的思考。
LiveVideoStack:根据您目前的观察,与国外GPU芯片公司相比,国内的公司还有哪些不足之处?国产GPU芯片研发还有哪些亟待解决的问题?
虞新阳:国内的GPU公司正在蓬勃发展中,迭代很快,已陆续发布或即将发布一些重量级的GPU产品。相比于国外的GPU芯片,在单纯的硬件规格层面已经慢慢追赶上来。但GPU是一个系统性平台下的产品,有了基础的硬件能力,还需要有好用的软件栈,譬如编程模型、推理引擎、虚拟化等等;然后还需要更上层庞杂的生态,譬如各种SDK、参考解决方案等。在系统软件和生态层面,国内的GPU公司正在努力中。
此外,当前国产GPU基本还处在追赶者的状态。在中长期来看,不停的迭代创新才是真正能够从市场中胜出的关键,需要布局及建立更底层的能力来加强对GPU深入且持续的创新。这需要GPU公司自身的努力,也需要社会各方资源形成合力,支持GPU芯片公司开展创新应用落地。
LiveVideoStack:未来您比较看好哪些GPU的应用场景?
虞新阳:汽车自动驾驶已经在爆发的前夜,GPU大量部署在训练侧,并且已经慢慢在推理侧(汽车)部署。生物医疗、机器人和元宇宙也在持续迭代中,接下来应该是GPU的大应用市场。此外,已经发展了一阵子的智慧城市,包括园区、社区的安防,也将会往更深入的层面去迭代。往更大处说,AI就是一种基础能力,接下来在各行各业都会持续地深入迭代,譬如工业4.0、智慧农业等等,而GPU作为AI的主要算力载体,都将得到更广泛的使用。
LiveVideoStack:最后,您可以向我们提前剧透一下您在本次大会上分享的内容吗?
虞新阳:在过去一段时间,结合MXN产品线的特点,我们在视频智能方向做了一些学习探索和实践,包括智能转码、视频超分、ASR等。在这次大会上,我将就智能视频处理这个点做一些分享和讨论,期待大家一起来参与。