智能机器人的种类很多,应用最广泛的是轮式移动机器人,主要用于室内或仓库巡逻、行星探测、教学、科研、民用交通等。在这个过程中,智能汽车通过内置摄像头(视觉传感器)获取视频信息,识别周围环境,并基于激光雷达和惯性测量单元(IMU)等传感器,在小空间内实现自主导航和避障。本课程以实用的方式引导您直观地学习机器人操作系统(ROS),并利用少林派开发板搭建智能汽车视觉应用平台。通过对智能汽车的编程实践练习,掌握深度学习的基本知识和应用。
少林派开发板是一款高性能、低功耗的边缘计算产品,搭载了算能自主研发的第三代TPU处理器BM1684, INT8计算能力高达17.6 TOPS。它支持32路全高清视频的硬件解码和2通道编码。少林派开发板外设配置灵活,支持3个mini-PCIe接口和4个USB接口,支持直流电源和Type-C电源。根据不同场景的需求,实现最优配置、合理成本、最优能耗、最优功能选择。本课程将帮助您快速掌握少林派开发板的强大功能。通过本课程,您不仅能够掌握机器人操作系统(ROS)和深度学习的基础知识,还可以了解深度学习的基本应用。
课程的特点
1. 一站式服务
所有与KT001智能车相关的常见问题都可以在这里找到。
2. 系统的教学
从产品介绍到环境营造,再到视觉应用。
3. 完整的材料
课程包括视频教程、文档指南、代码脚本等,内容详细丰富。
课程目录
完成本课程后,学生将能够掌握以下技能:
本课程全面、系统地介绍了智能汽车ROS开发的基础知识、TPU硬件平台和TPU平台的实践,以及人员识别、动作检测等内容。学习本课程,需要具备一定的Python编程基础,基本的Linux系统操作能力,以及机器人的一般理论基础。
作为框架和硬件之间的桥梁,深度学习编译器可以实现一次性代码开发和重用各种计算能力处理器的目标。最近,算能也开源了自己开发的TPU编译工具——TPU-MLIR (Multi-Level Intermediate Representation)。TPU-MLIR是一个面向深度学习处理器的开源TPU编译器。该项目提供了完整的工具链,将各种框架下预训练的神经网络转换为可在TPU中高效运行的二进制文件bmodel,以实现更高效的推理。本课程以实际实践为驱动,引导您直观地理解、实践、掌握智能深度学习处理器的TPU编译框架。
目前,TPU-MLIR项目已应用于算能开发的最新一代深度学习处理器BM1684X。结合处理器本身的高性能ARM内核以及相应的SDK,可以实现深度学习算法的快速部署。本课程将介绍MLIR的基本语法,以及编译器中各种优化操作的实现细节,如图形优化、int8量化、算子分割、地址分配等。
与其他编译工具相比,TPU-MLIR有几个优点
1. 简单方便
通过阅读开发手册和项目中包含的示例,用户可以了解模型转换的过程和原理,并快速入门。此外,TPU-MLIR是基于当前主流编译工具库MLIR设计的,用户也可以通过它了解MLIR的应用。本项目提供了一套完整的工具链,用户可直接通过现有接口快速完成模型转换工作,无需适应不同的网络。
2. 通用性
目前,TPU- mlir已经支持TFLite和onnx两种格式,这两种格式的模型可以直接转换为TPU可用的bmodel。如果不是这两种格式呢?事实上,onnx提供了一套转换工具,可以将目前市场上主要的深度学习框架编写的模型转换为onnx格式,然后再进行bmodel转换。
3、精度与效率并存
在模型转换过程中,有时会失去精度。TPU-MLIR支持INT8对称和非对称量化,结合原开发公司的校准和tune技术,大大提高了性能,保证了模型的高精度。此外,TPU-MLIR还使用了大量的图优化和算子分割优化技术来保证模型的高效运行。
4. 实现终极性价比,构建下一代深度学习编译器
为了支持图形化计算,神经网络模型中的算子需要开发图形化版本;为了适应TPU,应该为每个运营商开发一个版本的TPU。此外,有些场景需要适应相同计算能力处理器的不同型号,每次都必须手工编译,这将非常耗时。深度学习编译器就是用来解决这些问题的。TPU-mlir的一系列自动优化工具可以节省大量的人工优化时间,因此在RISC-V上开发的模型可以顺利自由地移植到TPU上,以获得最佳的性能和性价比。
5. 完整的信息
课程包括中英文视频教学、文档指导、代码脚本等,详实丰富的视频资料详细应用指导清晰的代码脚本TPU-MLIR站在MLIR巨头的肩膀上打造,现在整个项目的所有代码都已经开源,免费向所有用户开放。
代码下载链接:https://github.com/sophgo/tpu-mlir
tpu - mlir开发参考手册:https://tpumlir.org/docs/developer_manual/01_introduction.html
总体设计思想论文:https://arxiv.org/abs/2210.15016
视频教程:https://space.bilibili.com/1829795304/channel/collectiondetail?sid=734875
课程目录
序号 | 课程名 | 课程分类 | 课程资料 | ||
视频 | 文档 | 代码 | |||
1.1 | Deep learning编译器基础 | TPU_MLIR基础 | √ | √ | √ |
1.2 | MLIR基础 | TPU_MLIR基础 | √ | √ | √ |
1.3 | MLIR基本结构 | TPU_MLIR基础 | √ | √ | √ |
1.4 | MLIR之op定义 | TPU_MLIR基础 | √ | √ | √ |
1.5 | TPU_MLIR介绍(一) | TPU_MLIR基础 | √ | √ | √ |
1.6 | TPU_MLIR介绍(二) | TPU_MLIR基础 | √ | √ | √ |
1.7 | TPU_MLIR介绍(三) | TPU_MLIR基础 | √ | √ | √ |
1.8 | 量化概述 | TPU_MLIR基础 | √ | √ | √ |
1.9 | 量化推导 | TPU_MLIR基础 | √ | √ | √ |
1.10 | 量化校准 | TPU_MLIR基础 | √ | √ | √ |
1.11 | 量化感知训练(一) | TPU_MLIR基础 | √ | √ | √ |
1.12 | 量化感知训练(二) | TPU_MLIR基础 | √ | √ | √ |
2.1 | Pattern Rewriting | TPU_MLIR实战 | √ | √ | √ |
2.2 | Dialect Conversion | TPU_MLIR实战 | √ | √ | √ |
2.3 | 前端转换 | TPU_MLIR实战 | √ | √ | √ |
2.4 | Lowering in TPU_MLIR | TPU_MLIR实战 | √ | √ | √ |
2.5 | 添加新算子 | TPU_MLIR实战 | √ | √ | √ |
2.6 | TPU_MLIR图优化 | TPU_MLIR实战 | √ | √ | √ |
2.7 | TPU_MLIR常用操作 | TPU_MLIR实战 | √ | √ | √ |
2.8 | TPU原理(一) | TPU_MLIR实战 | √ | √ | √ |
2.9 | TPU原理(二) | TPU_MLIR实战 | √ | √ | √ |
2.10 | 后端算子实现 | TPU_MLIR实战 | √ | √ | √ |
2.11 | TPU层优化 | TPU_MLIR实战 | √ | √ | √ |
2.12 | bmodel生成 | TPU_MLIR实战 | √ | √ | √ |
2.13 | To ONNX format | TPU_MLIR实战 | √ | √ | √ |
2.14 | Add a New Operator | TPU_MLIR实战 | √ | √ | √ |
2.15 | TPU_MLIR模型适配 | TPU_MLIR实战 | √ | √ | √ |
2.16 | Fuse Preprocess | TPU_MLIR实战 | √ | √ | √ |
2.17 | 精度验证 | TPU_MLIR实战 | √ | √ | √ |
本课程介绍了硬件电路的设计和基本环境的搭建,并提供了一些简单的开发示例和一些基本的深度学习示例。
Milk-V Duo是基于CV1800B的超小型嵌入式开发平台。它体积小,功能全面,配备双核,可以分别运行linux和rtos系统,并具有各种可连接的外设。
课程特点:
课程目录
深度神经网络模型可以快速训练和测试,然后由行业部署,在现实世界中有效地执行任务。在小型、低功耗的深度学习边缘计算平台上部署这样的系统受到业界的高度青睐。本课程采用实践驱动的方法,引导你直观地学习、实践和掌握深度神经网络的知识和技术。
SOPHON深度学习微服务器SE5是采用SOPHON自主研发的第三代TPU处理器BM1684的高性能、低功耗边缘计算产品。INT8运算能力高达17.6 TOPS,支持32路全高清视频硬件解码和2路编码。本课程将快速引导您了解SE5服务器的强大功能。通过本课程,您可以了解深度学习的基础知识并掌握其基本应用。
课程的特点
1. 一站式服务
在SE5应用程序中遇到的所有常见问题都可以在这里找到。
2. 系统的教学
它包括设置环境、开发应用程序、转换模型和部署产品,以及拥有镜像的实际环境等所有内容。
3. 完整的材料
本课程包括视频教程、文档指南、代码脚本和其他综合材料。
4. 免费的云开发资源
在线免费申请使用SE5-16微服务器云测试空间