低调入局，瀚博半导体发布首款高性能超低延时通用云端推理AI芯片，行业即将迎来洗牌？

小饭桌获悉，7月7日，在2021世界人工智能大会上，瀚博半导体发布其首款云端通用AI推理芯片SV100系列及VA1通用推理加速卡。

瀚博半导体2018年12月于上海成立，在北京、深圳和多伦多均有研发分部。近日，瀚博半导体首次入选了EE Times（电子工程专辑）2021年半导体初创公司榜单——Silicon 100。瀚博团队在200人以上，核心员工来自世界顶级高科技公司，平均拥有15年以上的相关芯片与软件设计经验。

融资方面，瀚博半导体先后于2019年3月获得了真格基金天使轮融资，2019年6月获得天狼星、耀途Pre-A轮融资，2020年7月获得快手、五源、红点、赛富A轮融资5000万美元，2021年3月获得中国互联网投资基金、经纬中国、联发科5亿元A+轮融资。

瀚博半导体创始人钱军表示，新推出的两款产品可实现深度学习应用超高性能、超低延时的推理性能，能显著降低数据中心与边缘智能应用的部署成本。

据悉，SV100系列及VA1通用推理加速卡预计将于今年四季度量产上市，SV100系列芯片之一SV102已与国内外多家头部互联网公司实现合作。

瀚博SV100系列芯片单芯片INT8峰值算力超200 TOPS，深度学习推理性能指标数倍于现有主流数据中心GPU，具有超高吞吐率、超低延时的特性。

瀚博自研的通用架构，为各种深度学习推理负载极致优化。 此次推出的SV100系列芯片支持FP16, BF16和INT8等数据格式，并可以实现众多主流神经网络的快速部署及计算机视觉、视频处理、自然语言处理和搜索推荐等多样化推理应用场景。同时集成高达64路以上H.264/H.265/AVS2的1080p视频解码，广泛适用于云端与边缘智能应用场景，提升客户的设备资产效益、降低运营成本。

瀚博此次同步推出的基于SV100系列芯片的VA1推理加速卡，支持64路以上H264，H265或AVS2 1080p解码，分辨率支持高达8K，实现强大的智能视频处理性能。作为标准半高半75瓦PCIe x16卡，支持32GB内存和PCIe 4.0高速接口协议，VA1适用于绝大多数服务器，无需额外供电，即可实现高密度部署。

瀚博半导体创始人兼CEO钱军表示，“SV100系列产品是所有瀚博人的心血结晶，我为我们的团队感到无比骄傲！我们深度了解行业客户对吞吐量、延迟、通用性和成本的需求。同时，向前兼容性非常重要，我们的软件栈具有极高灵活性与可扩展性，能够支持未来新兴算法模型和用户自定义算子扩展等。另一方面，占据过半中国AI应用市场的计算机视觉应用需要高密度的视频解码算力配合AI算力实现端到端的计算加速，在两者之间的算力配比平衡方面，我们也做了大量的工作。瀚博通过前期核心技术积累和前瞻性布局，正式发布我们性能优异的SV100系列云端通用AI推理芯片和VA1推理卡，可有效应对上述低延时、通用性和视频处理等方面的行业痛点，推进云端与边缘的智能应用落地。”

瀚博半导体创始人兼CTO张磊认为，“SV100系列芯片基于先进的DSA架构，相同功耗下实现数倍于数据中心GPU的最高深度学习推理性能。同时支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络，软件栈支持灵活扩展，支持用户自定义算子。VA1推理卡采用75W单宽半高半长设计，可无缝适配各种人工智能服务器，最大化算力部署密度。我们的VastStream软件平台支持TensorFlow, PyTorch, Caffe2等常见的深度学习框架模型与ONNX格式的模型，通过高度定制的AI编译器充分优化模型在瀚博硬件上的执行效率。 我们的软件栈完备，同时提供了符合行业开发者使用习惯的工具，方便使用者以极低成本向瀚博硬件平台迁移、部署现有算法应用。”

目前，全球范围内各行业数据中心对推理算力的需求在快速增长，下游客户多样化的算力应用场景，催生了多样化的AI计算加速芯片需求，然而市面上却鲜有除主流GPU厂商外的更优解决方案。

基于对行业的洞察及巨大的市场机遇，经过两年多的技术论证与软硬件一体化设计，瀚博半导体推出了专为云端数据中心而生的SV100系列芯片与VA1通用推理加速卡，为解决市场痛点提出了新方案。

瀚博的核心团队对客户需求、技术路线及芯片的架构有着深刻的理解，凭借研发产品优异的性能，目前瀚博已与国内外多家互联网公司实现了合作，并受到多方资本青睐。此次瀚博发布的首款云端芯片及相关产品，或将为AI芯片行业带来新的变革。