瀚博半导体发布边缘AI推理加速卡等新产品

9月3日，2022世界人工智能大会同期活动——人工智能大会芯片产业落地论坛在上海举行。会上，芯片设计公司瀚博半导体公司创始人兼CEO钱军发布了包括数据中心推理卡载天VA10、边缘AI 推理加速卡载天VE1和瀚博软件平台VastStream扩展版，并预览了国产7nm云端GPU芯片SG100。

载天VA10 Int8峰值算力达到400TOPS；功耗150瓦，整体最高推理能力达到同功耗主流GPU两倍以上；而时延低至后者的6%。在低延时场景下，该推理卡的推理性能达到同功耗市场主流GPU的3倍以上。该推理卡适合多种需要高实时性的云端AI应用部署，包括直播视频增强、智慧交通管理、实时语义理解等场景。

载天VE1兼具低时延与高吞吐率的特点，吞吐率达到主流GPU的2倍，时延仅为其1/5。该AI推理加速卡在低功耗的同时实现了高算力。在40~65瓦功耗下，INT8峰值算力达到100TOPS，支持60路1080P视频实时解码，支持主流AI框架的模型，提供从模型编译到推理优化的全流程低代码开发框架VastPipe，软硬结合为客户提供端到端的AI推理解决方案。当前，该AI推理加速卡适用于智慧交通、车路协同、工业质检等边缘算力场景，包括高速公路事件检测、“人、车、非机动车”视频结构化、大数据研判等高数据量并发场景；以及实时动态信息交互、工业缺陷检测等低时延要求场景。

为配套硬件，使其发挥最佳性能，瀚博半导体推出了可实现同步支持的软件平台VastStream。该软件平台可加速各类AI应用部署，包括计算机视觉、视频处理、自然语言处理、搜索与推荐、算子自定义扩展等。

会上，钱军还展示了7nm云端GPU芯片SG100。该芯片具有高吞吐量、高质量、低延时的解码能力，集渲染、AI、视频于一体，可为云游戏、云手机、云计算等场景提供深度优化。该芯片还提供SR-IOV虚拟化支持，端到端提升用户视觉体验。

此外，钱军表示，瀚博半导体已引入中台，实现了IP内核、安全模块等技术面向包括云端AI芯片、加速器等在内的多类产品的联通复用。