定位与建图

默认教学计划

2019年6月29号普通课程-1

讲师：黎嘉信

对课程有疑问？点击视频立即观看课程介绍！

课程服务

至少3个月

作业批改

助教1v1批改

课程有效期

365天

课程时长

0.8 h

¥0.00

加入购物车立即报名

请确认

您已经是《2019年6月29号普通课程-1》-学员，是否购买最新一期？

i提示：

1. 您的《2019年6月29号普通课程-1》-暂未到期，可直接学习

2. 针对以上信息如有问题，您可联系工作人员进行咨询

购买最新一期

课程介绍课程大纲学习服务售前疑问

¥0.00

立即报名

本课程包括：: 3个月群内答疑，讲师助教及时解答; 课程有效期为1年，建议合理规划学习; 课程配有作业练习，助教一对一批改; 班主任带班，严格督学，告别拖延; 根据学习情况颁发结业证书、优秀学员证书

黎嘉信

高仙机器人深度学习与融合感知负责人。2014年清华大学本科毕业，2018年新加坡国立大学博士毕业，师从陈本美教授和Lee Gim Hee教授。此前历任Motional感知科学家和夜间驾驶负责人、字节跳动Al Lab视觉科学家。以第一作者发表多篇计算机视觉/机器人顶级会议论文，包括CVPR、ICCV、ICRA、IROS等。

从技术角度看，在三维重建、SLAM、机器人感知等多个领域，三维点云都是最简单最普遍的表达方式。应用角度上，从无人驾驶中的激光雷达到微软Kinect、iPhoneFacelD及AR/VR应用，都需要基于点云的数据处理。三维点云技术应用广，需求庞大，但技术难度高，更难找到系统学习三维点云的资料，自学要多走很多弯路。通过课程学习，能够高效入门，系统学习点云多种算法。

课程目标

从零开始掌握三维点云算法与项目应用，聚焦算法细节，提升工程能力

3D视觉领域目前正蓬勃发展，针对原始三维点云数据的处理成为新的研究热点。其理论体系错综复杂，系统性强，且涉及多种领域，这更加增大了自学难度。课程通过抽丝剥茧的讲解形式，从原始理论出发，详细的讲解了算法实践中最常用的三维点云数据处理方法，打通知识间的关联，让学员易于融会贯通，在工程实践中完成点云处理算法的提高。

O1 点云处理算法原理与细节

深入理解各种经典点云处理算法，比如KD-Tree，Octree等最近邻搜索算法，GMM，Spectral Clustering等点云聚类算法，Mean Shift，RANSAC等模型拟合算法。Pointnet系列深度学习方法等。从最基础公式出发，详解算法实现各个步骤。

O2 点云处理算法实践及应用

在真实数据集中应用自己复现的算法，对于算法各个部分理解更加深入。根据可视化结果调整算法参数，优化算法结果，并增强自己的实践能力。

O3 工程项目思维与能力

对三维点云领域有全方位的认知，了解三维感知的各种问题及方案思路。了解各种算法的应用场景和实际效果，能够在不同的应用场景挑选不同的适配方案。

课程脉络

从公式推导到思路解析，从理论分析到代码实践

01 1
首先从点云数据的概念出发，将数据处理分成多个模块，包括最近邻算法，点云聚类，模型拟合，目标检测等，不仅详细推导了每个公式，并且分析了算法思路。
02 2
点云学习因其在计算机视觉、自动驾驶、机器人等领域的广泛应用而受到越来越多的关注。课程将探讨用深度神经网络处理点云的方法，摸清近几年的发展脉络，捋清发展方向。
03 3
课程设计了以具体项目为背景的大作业，在对前几章算法理解并掌握的基础上，加入自己的算法思维，完成点云目标检测任务，在公开数据集上进行测评，进一步强化项目能力。

课程大纲

第1章：Introduction and Basic Algorithms

本节课作为点云处理课程的起始，简单介绍了点云数据的特性。从数据特性出发，讲解了PCA算法在点云处理中的算法原理和实际应用，还介绍了其他演变算法。
第2章：Nearest Neighbor Problem

熟悉点云数据之后，进一步研究最近邻问题。从最基础的二叉树结构开始讲解，讲述了最近邻算法的基础框架，之后拓宽到KD-Tree和Octree结构，让学生全面了解最近邻算法的处理思路和实现细节。
第3章：Clustering

基于前一章的内容，系统讲解了各种经典点云聚类算法。从基础公式推导讲起，详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核，分类讲解算法内容，帮助学生理解算法间的区别与联系。
第4章：Model Fitting

讲解了一些适用性更广泛的聚类算法，比如谱聚类、Mean Shift以及DBSCAN，之后由点云聚类思想引出模型拟合的概念，探讨了非常经典的霍夫变换以及RANSAC算法理念，将RANSAC理念应用在地平面分割上，让学生进行实际数据的操作和调试。

点击此处查看完整目录

项目实践

配备多个实践项目，在实战中掌握所学并积累经验

实践一：主成分变换与降采样

使用Python语言，实现主成分变换和法向量估计，以及基于 Voxel的降采样方法。感受从0到1的创造乐趣。
实践二：KD-Tree/Octree建树与搜索

基于Python，手动实现KD-Tree/Octree建树与搜索，并进行耗时对比。理解最近邻搜索对于点云应用的重要性与实时搜索的难度。
实践三：Kmeans/GMM/谱聚类

此次，我们将从零实现Kmeans/GMM/谱聚类方法，并使用 Sklearn生成的聚类测试数据集进行测试，可视化聚类结果。对比不同聚类方法对不同数据的适用性。
实践四：地面拟合与聚类

在本次实践中，将学会使用LSQ/Hough/RANSAC模型拟合方法，对KITTI 3D目标检测数据进行地面拟合，并将地面以外的障碍物点云进行聚类。地面去除与聚类是后续3D目标检测的重要前置步骤。
实践五：从零搭建PointNet

基于Pytorch从头实现PointNet网络。并利用PointNet++处理好的ModelNet40数据集，辅以相关数据增广预处理进行训练。本章实践有助于进一步理解端到端点云分类方法基本内涵。
实践六：目标检测

基于实践3、4、5，给出3D目标分类与Bounding Box，并使用KITTI目标检测精度评价工具对3D目标检测结果进行评估，报告Precision-Recall Curve。
实践七：实现ISS关键点检测

动手实现Intrinsic Shape Signatures(ISS)算法，并使用 ModelNet40数据集进行测试。
实践八：实现FPFH，SHOT特征描述子

使用PCL库或者自己实现实现FPFH，SHOT特征描述子。使用 ModelNet40数据集进行测试。关键点检测与特征描述子是基于特征点云匹配的基础。
实践九：点云配准

在本节实践中，你可以从零实现一种基于特征的匹配方法(包括关键点检测和特征描述)，也可以调用现有的API。此外，你还将需要从零实现ICP/NDT配准方法，以便理解点云配准的一般流程。

学习收获

1对三维点云这一领域有全方位的认知，了解三维感知的各种问题及解决方案。
2深入理解各个经典点云算法，比如Octree，GMM，Spectral Clustering，PointNet++ ICP，NDT等，并且在真实数据集上实现、应用这些算法。
3涉猎前沿的感知(Perception)方向的深度学习算法，比如物体检测、特征提取，点云配准等，了解学术界的热点问题及发展趋势。
4了解实际应用中各种算法的优势及局限，对于具体问题如何选择合适的算法，以及如何修改算法应对长尾/边缘问题(longtail/edgecases)。