BMNNSDK

BMNNSDK(BitMain Neural Network SDk)是基于算能AI芯片,所自主研发的深度学习SDK,通过其强有力的工具,可在生产环境中部署深度学习应用程序,并提供最大化的推理吞吐量和效率。

联系我们

全栈式解决方案

BMNNSDK由BMNet Compiler和BMRuntime两部分组成。

BMNet Compiler 负责对各种深度神经网络模型(如caffemodel)进行优化和转换,充分平衡EU运算和访存时间,提升运算的并行度,并最终转换成算能科技TPU支持的bmodel模型。
BMRuntime 负责驱动TPU芯片,为上层应用程序提供统一的可编程接口,使程序可以通过bmodel模型进行神经网络推理,而用户无需关心底层硬件实现细节。
Full-Stack solution

提供PCIE和SOC两种设备驱动模式,开发者有更多的选择。

结合算能科技自主研发的AI芯片,提供最大的推理吞吐量和最简单的应用部署环境。

提供操纵底层计算资源的运行库编程接口,用户可进行深度开发。

运行库提供并发处理能力,支持多进程和多线程两种模式。

产品功能

模型编译

目前BMNNSDK向开发者提供两种网络模型的编译模式:第一种是开发者直接使用BMNet编译器进行编译和部署。第二种是开发者可使用BMNet的编程接口对编译器进行扩展,利用BM kernel底层语言编程接口(类似CUDA/intrinsics调用原子操作),或者利用CPU指令添加自定义网络层,实现非公开网络的编译。

应用开发

我们给用户提供一个Docker开发镜像,集成了BMNNSDK应用开发需要的工具和依赖库,用户可以使用该Docker镜像进行BMNNSDK应用的开发。

应用部署

编译后的网络以及开发的深度学习应用,集成之后可通过BMRuntime进行部署,部署过程中,需要使用BMNet inference engine的API接口进行编程。