近日，沐曦集成电路（上海）有限公司（下称“沐曦”）曦云^®C500通用计算GPU与未来速度旗下大模型推理及数据分析产品完成适配。

沐曦旗舰产品曦云^®C500基于自主研发的高性能GPU IP；基于全自研 GPU 指令集打造的MXMACA^®软件栈，全面兼容主流GPU生态，实现用户零成本迁移；通过自主知识产权的MetaXLink实现单机8卡GPU全互联，提供构建高密度算力和云计算部署的优秀国产GPU解决方案；可广泛应用于推荐系统、自动语音识别、语音合成、图像分割检测、数据库加速等多种场景。

本次在较短时间内双方完成多个模型框架的适配工作，充分证明了曦云^®C500通用计算GPU的高通用性和灵活性，双方的合作降低了大模型推理和大规模数据处理的门槛。

• 大模型推理框架适配结果：依托曦云^®C500软件栈MXMACA^®的完美兼容性，分布式推理框架Xorbits Inference成功运行了70B的LLaMa2模型，成为首个在单张国产GPU上完成 70B大模型推理任务的案例。该模型能够流畅地在本地环境中部署，让用户轻松一键部署个性化模型或前沿的开源模型。

• 数据分析框架适配结果：通过不到一天时间完成兼容对接，Xorbits依托曦云^®C500不仅能够高效地处理TPC-H基准测试中的22个复杂查询场景，还提供了简洁、可读性强的代码，这使得Xorbits的解决方案易于理解、维护和扩展，为用户带来了极大的便利和灵活性。