加载中……  推广三步走:免费注册 -> (提交网站)/(文章投稿) -> 带来无限流量
最新收录网站   最新网站源码下载    最新更新资讯文章
首页 >> [资讯文章] >> 科技资讯 >> 互联网 >> 燧原科技发布全新一代“邃思”云端AI推理芯片,拥有高吞吐、低延时等性能

燧原科技发布全新一代“邃思”云端AI推理芯片,拥有高吞吐、低延时等性能

2021-12-07 15:25:15 整理发布   转载来源:网易科技报道  

12月7日消息,今日,燧原科技发布第二代云端人工智能推理加速卡“云燧i20”。据悉,这是时隔仅五个月,继今年7月发布云端人工智能训练加速卡“云燧T20”之后,燧原科技又推出的全新一代针对云端推理场景的AI加速产品...《燧原科技发布全新一代“邃思”云端AI推理芯片,拥有高吞吐、低延时等性能

12月7日消息,今日,燧原科技发布第二代云端人工智能推理加速卡“云燧i20”。据悉,这是时隔仅五个月,继今年7月发布云端人工智能训练加速卡“云燧T20”之后,燧原科技又推出的全新一代针对云端推理场景的AI加速产品。


据介绍,作为全新一代云端AI推理加速产品,云燧i20拥有迄今为止业内最大的AI加速卡存储带宽,高达819 GB/s;同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。单精度FP32峰值算力达到32 TFLOPS,单精度张量TF32峰值算力达到128 TFLOPS,整型INT8峰值算力达到256 TOPS。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。

升级后的“驭算TopsRider”软件栈,在性能、开发效率和模型覆盖面上得到大幅提升。通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低;此外,驭算增强了对动态性的支持,使云燧i20在检测、语音识别、语义理解等场景更具竞争力。

在经济效益和部署灵活性层面,基于虚拟化和多实例加速技术,云燧i20能够实现单卡多用户,同时支持6个业务互不干扰、安全隔离运行。让更多云端推理应用同时享受专有的算力加速,为客户业务架构带来轻耦合、灵活可靠的实现方式,显著提升资源利用率与投入产出比。

“云燧i20的发布标志着燧原科技在云端AI算力加速领域,从训练到推理的完整产品线已全面迭代到第二代,能够以更有竞争力的产品,为互联网、智慧城市、智慧政务,以及金融、交通、能源等传统行业客户提供更优的AI计算方案。”燧原科技CEO赵立东表示,“当前,我国芯片产业正处于激烈的成长与蜕变时代,燧原科技以‘做大芯片,拼硬科技’为时代使命,基于原始创新的软硬件架构,正在不断加速技术创新与产品迭代。性能赶超业内旗舰GPU的云燧i20正是我们的关键成果之一。”

值得注意的是,云燧i20创新性地采用了高带宽HBM2E存储,实现了高达819GB/s的超大带宽,为各类云端推理业务提供高吞吐、低延时的性能,保障其准确、平稳、高效的运行。

与此同时,新一代“邃思”AI推理芯片采用第二代高性能计算核心和数据引擎,由12nm工艺打造,通过架构升级,大大提高了单位面积的晶体管效率,从而实现了与目前业内7nm GPU相匹敌的计算能力。基于12nm成熟工艺带来的成本优势,使得云燧i20在相同性能表现下更具性价比优势,并且供应链体系更加稳定成熟。

燧原科技COO张亚林指出:“云燧i20全面提升了算力,在兼顾全精度算力的同时大幅度提高了整型运算,大力加强了模型覆盖率和泛化支持的能力,在多项基准测试中,其模型性能、能效比均处于国内领先水平,可以满足云端推理业务高度多样化的需求。燧原科技目前已经拥有第二代的训练和推理产品,针对客户的业务场景提供原始创新的、具有高性能及性价比的‘训练+推理’完整解决方案,并支持国产服务器和操作系统,可以帮助客户进行云端系统部署,全面且持续为客户创造价值。”

目前,以国产AI算力产品为核心,以商业生态和科研生态为支撑,燧原科技的云端AI推理产品在互联网、金融、政务等多家客户已实现商业落地。


本文链接:http://www.adminso.com/articles/view/322843
(站长搜索- http://www.adminso.com/websites -网站收录,为站长提供分类最全,最专业的网站收录平台!)


声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。 如果侵害了您的合法权益,请您及时与我们联系(93898856@qq.com),我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!

分享给小伙伴们: