代码拉取完成，页面将自动刷新
「小觅新视界」
神奇的日子 5.20 确定的作业标题，这是 @庞琳勇 博士 发布《你想进入AI行业中最热门的专业拿到百万年薪吗？》一段时间后的小收获，他的北京伙伴接到了我的邀请，这个鸽了大半年的专题就是从那个时候开始的。但 SLAM 这项技术则要早一些，FlameAR 一直伴随着技术的发展不断逼近目标，AR 技术中有两个 SLAM 方案分别是室内和室外，通过手机摄像头为 AR 动态构建 3D 画布。所以一看到 庞博士的宣传片没几帧，我就已经跃跃欲试了，感觉他能帮我实现目标。带着这份期待，我发出了邀请信 ...
带着歉意，也带着喜悦，昨天请来了 实事求视 的寄语，因为作业即将完成，目标也逐渐清晰地展现在了脑海中，于是我选择了3和1这两个数字，并体现在了本期封面的设计上，从素材堆中，我选择了最有代表性的三幅图，右下角是深度相机和普通相机还有实景的比对，这和庞博的 VSLAM 视频的封面同源，没有比之前更清晰地知道了深度是怎么表示的。左侧的场景构建图的颗粒感是我最喜欢的，如油画一样鲜艳夺目。右上则选择了庞博的伙伴 ASTAR 的首页图，“让 SLAM 变得无关紧要” 与主题图的惬意生活融为一体。道路的尽头我选择了以为数字艺术家的国际象棋渲染图，因为，这是火焰棋实验室的缘，也是本期目标，故事篇尾再叙... 而方格矩阵的灵感来自网络海报，一个方格就是一个像素，这个构建虚拟世界的元素，就是一个不灭的小宇宙
《小觅新视界》今天我们携 MYNTeye 小觅双目精心打造了一套VSLAM的高阶课程，为你进军百万年薪铺平道路。去年华为天才人才计划拿到最高档200万年薪的两个毕业生之一是香港科技大机器人专业的秦通，他博士研究的方向是机器视觉 VSLAM 视觉惯导融合，多传感器定位。主要是使用我们的 MYNTeye 小觅双目。
小觅双目是全球第一个多传感器融合的三维视觉加惯导的主动双目模组，又被特斯拉称为虚拟激光雷达技术，在全球有3000多家客户使用，几乎涵盖所有全球知名的机器人、人工智能和无人驾驶公司，包括大家熟知的波士顿动力（过剩动力）、达芬奇手术机器人等。
之后有很多同学来信，希望我们能开设一门三维视觉和 VSLAM 的实战课程。我们在准备了一年之后，现在来了。这个课程由 StanfordRobotics.AI 斯坦福机器人的两位三维视觉和 VSLAM 的世界顶级专家博士亲自授课。
庞琳勇 Leo 博士 :
张国铉 Alan 博士 :
Rainbow 的机器人 Hubo 在2015年美国 DARPA 举办的全球 机器人挑战赛中击败了 波士顿动力和 MIT，斯坦福，和 CMU等名校的机器人，获得了冠军。
这门 VSLAM 高级进阶课程总共20节课，内容涵盖以下 10 个方面:
课程收获
所有完成课程的学生将获得美国 StanfordRobotics.AI 颁发的证书，成绩优秀者将被推荐到中国和美国硅谷的各大机器视觉、机器人和无人驾驶公司。成绩特别优秀，并申请美国和其他海外大学同学，还可以得到价值 ￥8.8万人民币的庞博士的推荐信。
课程费用：￥12800人民币 包括：课件、小觅双目双目模组。 （5月15号之前报名注册，优惠价￥9800人民币。）
要求： 研究生毕业或者在读，有一定的数理基础，有基本的编程能力，有阅读英文文献的能力。
这次机会难得，名额有限，要报名就赶紧行动吧。
国内报名咨询：王齐（手机和微信，139 10124776）
face
State of art
飞控PILOT
minteye 小觅双目 秦通 惯导
XILINX
darpa机器人2015
AStar.ai 鱼眼视觉,专利
VSLAM 高阶课程，多传感器融合，VIO，用上小觅的VIO，VSLAM，
3DMAPPING&OVERVIEWING，商业精度，启动定位。
王齐助教
bing StanfordRobotics.AI
秦通，本科浙江大学，博士香港科技大学。出生於1993年的秦通，2015年获得浙江大学控制系学士学位，此后进入香港科技大学机器人研究所攻读博士，师从沈劭劼教授。其研究主要包括机器视觉SLAM，视觉惯导融合，多传感器定位。在IEEE TRO、ICRA、IROS、ECCV等国际顶级期刊和会议发表多篇论文，获得IEEE IROS 2018最佳学生论文奖。
秦通曾是浙江大学ZMART队2014年的队长。这支队伍用了5年的时间夺下国际空中机器人大赛的世界冠军。2014年9月，大四开学的第一天，秦通就已被香港科技大学录取硕博连读，提前预定好进入华为之前5年的人生。
在攻读博士期间，秦通已经成为业界名人，2018年10月，秦通在网上开了公开课，专门讲“视觉惯导里程计时差的在线标定”。
n次方，工业机器人视觉定位及视觉检测
文章结构
前面介绍过三维重建有两个基本原则:三角测量和飞行时间(TOF)测量。三角测量使用的基本数学定理是，一旦知道三角形前两点的坐标和连接前两点到第三点的射线的两个角，就可以计算三角形第三点的坐标。相比之下，TOF相机发射辐射并测量辐射反射回传感器的时间。
飞行时间(TOF)照相机发射辐射并测量辐射反射回传感器的时间。目前有两种技术可以实现：PM（脉冲调制） TOF和CWM（连续波模拟） TOF。PM TOF相机发出辐射脉冲，并直接或间接测量辐射脉冲到达场景中的物体并返回相机所需的时间。而CWM TOF相机则发射振幅模拟辐射，测量发射和接收辐射之间的相位差。
CWM TOF相机则发射振幅辐射，测量发射和接收辐射之间的相位差。在过去的很多年里，主导的设计是CWM TOF相机，但是Foix等人讨论的许多CWM TOF摄像机并没有流行起来，甚至不再在商业上可用。看起来PM TOF相机似乎会成为工业3D相机的趋势。
CWM飞行时间相机
CWM TOF相机发射辐射，通常在近红外范围，即振幅调制为一定频率fm的正弦波，在15到30兆赫之间，辐射被场景中的物体反射并被相机接收，相机在一个调制辐射的周期内测量四次反射辐射的量，这将创建测量mi, i = 0, … , 3, 间隔的时间间隔为π/ 2的接收波。发射波和接收波之间的相移可以解调如下
表示双参数的反正切函数,它返回的结果是[0,2π)。此外，这四个测量值可以用来计算场景强度
和幅值
可以用来预测测量的质量。在传感器的集成时间(曝光时间)内进行多次测量，以提高信噪比。
该相位在所谓的无歧义距离范围内是唯一的：
其中 
是光速，举个例子， 
,则 
. 如果场景中存在距离大于 
的物体，则相位将出现折回干扰。这样一来，必须使用相位展开算法，这是非常耗时的，几乎从未使用过。因此，对于距离大于 
的对象，将返回一个错误的对象距离。
如果对象距离d在无歧义范围内，则可计算为
CWM TOF相机会发生系统和随机的错误。例如,距离测量可能依赖于积分时间,这可能会导致错误1到10厘米,相机内部的散射辐射会导致相对较大的距离误差,因为距离的测量可能取决于场景中的物体的反射,故可能存在系统的深度失真(摆动)，因为发射的辐射并不完全是正弦波。
CWM TOF相机可以有高达30HZ的高帧率。然而，它们的缺点之一是相对较小的分辨率:大多数商用传感器的分辨率低于320X240像素。
PM 飞行时间相机
PM TOF相机发射辐射脉冲，通常在近红外范围内，直接或间接测量辐射脉冲从辐射源到目标再返回传感器的飞行时间。让这个往返时间称为 
。然后，相机到物体的距离为
虽然 
的直接测量在原则上是可行的，但在PM TOF相机中，往返时间是通过测量传感器接收到的辐射强度间接推断出来的。
一种基于 
间接测量的PM TOF相机，其工作原理是发射一定持续时间 
的辐射脉冲，如 
。脉冲持续时间决定了可以测量的最大目标距离(距离范围)
例如，对于 
，最大距离为4.497 m。在三个积分周期内测量返回到传感器的辐射。第一积分周期与辐射脉冲的发射同步。在三个积分周期内测量返回到传感器的辐射。第二个集成周期紧跟着第一个集成周期。这两个积分周期测量的是场景中物体反射的相机辐射强度。这两个测量值是用来推断场景中物体距离的主要数据。第三个积分周期发生在辐射脉冲发射前或发射后足够长的时间。其目的是对场景中物体反射的环境辐射效应的距离测量进行校正。
我们检查前两个积分周期，并假设场景中没有环境辐射反射。在第一个集成期间，靠近相机的物体反射的辐射会对传感器上的电荷产生很大的贡献。物体离传感器越近，相机上的电荷就越高。另一方面，在第二次积分期间，距离相机较远的物体反射的辐射对传感器的电荷有很大的贡献。物体离传感器越远，相机上的电荷就越高。例如，在d = 0处的物体在第一个积分周期内只产生一个电荷，而在第二个积分周期内由于在第一个集成期间，整个辐射脉冲返回到传感器而不产生电荷。另一方面，d = dmax处的物体在第二次积分期间只会产生一个电荷，因为在第一次积分期间脉冲无法返回传感器。最后一个例子是，在d = dmax/2处的物体在第一个和第二个积分期间会产生相等的电荷。这说明td的飞行时间可以从传感器上的电荷推断出来。让前两个积分周期的电荷分别用q1和q2表示。然后，可以证明
注意，对于距离大于dmax的对象，在本例中，q1 = 0，因此降为td = tp。这就是为什么距离大于dmax的物体无法被正确测量的原因。
上式假设没有环境辐射。这在实践中很少是真的。第三个积分周期可用于校正环境辐射效应的深度测量。
让第三个积分周期产生的电荷记为q3。然后，q3可以从q1和q2中减去，抵消环境辐射，得到
因此，场景中某点的距离
上述测量在传感器的曝光时间内进行多次，以提高信噪比。
目前还不存在对PMTOF相机的系统和随机错误影响的全面分析。我们可以假设已知的对CWM TOF相机存在影响的因素也会影响PMTOF相机。例如，我们知道PM TOF相机会受到依赖于场景中物体反射率的深度偏差的影响。PM TOF相机的时间噪声可以达到几厘米级。
PM TOF相机支持高帧率(高达30赫兹)。此外，它们提供比CWM TOF相机更高的分辨率。目前市面上出售的PM TOF相机的分辨率从320×240到1280×1024像素不等。
与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。这些优势都使得它更易在工业上的推广。
TOF 相机目前的主要应用领域包括：
物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
安防和监控：
进行 Peoplecounting 确定进入人数不超过上限；
通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；
敏感地区的检测对象监视；
机器视觉：工业定位、工业引导和体积预估；
替代工位上占用大量空间的、基于红外光进行安全生产控制的设备;
<1> Dynamic 3D Vision (2006-2010):
研究领域：多芯片2D/3D传感器, 动态场景重建, 目标位置识别和光场计算
<2>ARTTS (2007-2010):
全称：“Action Recognition and Tracking based on Time-of-Flight Sensors”
研究领域：开发更加小型更加便宜的新一代TOF相机；将HDTV与TOF技术相结合(iii) 基于动作跟踪和识别算法的多模式接口和交互系统
<3>Lynkeus (2006-2009):
<4>3D4YOU(2008-2010):
<5>MOSES(2008-2012):
全称：“Multi-Modal Sensor Systems for Environmental Ex-ploration (MOSES)”
研究领域：基于传感器的多方面的应用，包括基于TOF的人机接口和多传感器融合
编辑于 2019-10-14 17:37
n次方，工业机器人视觉定位及视觉检测
今天看论文的时候又看到了协方差矩阵这个东西，作图像基本就绕不过它，虽然公式网上都有，但是不太明白它的物理意义，通俗的说，它到底是干嘛的，为啥总露脸，哪里都看得到~~单以前看PCA的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将整理网上搜到的资料，谈谈我的理解，我自认为是循序渐进的方式谈协方差矩阵，希望一篇文章，讲清它的来龙去脉。有不明白的地方，欢迎指出，我们一起探究。
学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。
均值：
标准差：
方差：
很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
这就好比，每年网上都会报XXX年人均收入，这个反映的是均值，我们每个人的收入就是一个样本，一看收入的第一反应，就是作差，又又拖后腿了，差值有正有负，平方求和/(n-1)），这反应的就是贫富差距，方差越大，社会财富分散度越集中，贫富差距越大。
为什么需要协方差？
上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的， 最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，但现实生活我们常常遇到 含有 DUO 维 数据的 数据集， 比如，一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊，嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：
方差的定义
来度量各个维度偏离其均值的程度，标准差可以这么来定义：
协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿，那必须的~结果为负值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为0，也是就是统计上说的“相互独立”。
其实从协方差的定义上我们也可以看出一些显而易见的性质，如：
协方差多了就是协方差矩阵，上一节提到的猥琐和受欢迎的问题是典型二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算
个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。
于是就有了协方差矩阵： 
其中 
这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度，则协方差矩阵为
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
协方差矩阵通常这样计算，先让样本矩阵中心化，即每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来，只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的！
参考文档
http://pinkyjie.com/2010/08/31/covariance/
https://janakiev.com/blog/covariance-matrix/
发布于 2019-10-15 18:01
《小觅新视界》是给庞博士的作业命题
《 你想进入AI行业中最热门的专业拿到百万年薪吗？ 》关键帧 字幕全文
该问题是怎么引起的？
bing What is Visual SLAM? What does Visual SLAM Mean ...
bing StanfordRobotics.AI
商业计划 - 【机器视觉】史丹福-天使轮商业计划书BP V4.1.pdf
SLAM学习 | 使用小觅相机MYNTEYE-S1030收集数据集 [笔记]
3 总结与评价
总地来说这款MYNTEYE-S1030-IR相机还是不错的，同时搭载了双目视觉、双通道深度相机和IMU传感器，并实现了相机的时间配准，同时SDK也比较完备，确实是一款新手友好型SLAM学习工具。
但是问题也是有不少的。
最后可能就是一个玄学问题：遇到问题记得拔插USB试试，万一它就好了呢 
华为天才计划 200万年薪 香港科技大机器人专业的秦通，MYNTeye 小觅智能用户
任正非曾在华为EMT（经营管理团队）内部讲话中提及，将从全世界招进20-30名“天才少年”，“这些‘天才少年’就像‘泥鳅’一样，钻活我们的组织，激活我们的队伍”。 —— 刚毕业年薪201万！华为最高档“天才少年”火了，全球仅4人 旧闻略
162 人赞同了该文章
本文首发于公众号【3D视觉工坊】，原文请见3D视觉系统化学习路线 欢迎加入国内最大的3D视觉交流社区，1700+的领域从业者正在共同进步~ 更多干货资源：
汇总 | 国内最全的3D视觉学习资源，涉及计算机视觉、SLAM、三维重建、点云处理、姿态估计、深度估计、3D检测、自动驾驶、深度学习（3D+2D）、图像处理、立体视觉、结构光等方向！
给工业机器人一双眼睛，它能实现智造
敏感词再次回报了我，看下面的这些图就可以了解了。 BING BAOWEIER TOUJING
素材 - How to render depth of field faster [笔记]
Astar.ai [笔记] | CaliCam® | SLAM Technology 技术
@袁德俊 : 
VSLAM专题已经备好稿件，只待编纂啦，不像错过这份喜悦要与您分享，鸽了半年的作业就要完成了。[合十]，希望得到老师的鼓励，再能加把油。
这是用我们的FPGA开发板算出来的一组六宫数独，题面有特殊意义，曰吉祥数独，用来新年送祝福的。完成此套题一气呵成，即可来年平顺安康[合十] 送给庞博士，有缘能相识，也祝愿您阖家幸福，2022更上一层楼。
SIGER 期刊2021年度的选题 VSLAM是最后一个，也作为2022最IN的主题推荐给更多同学，今天特地向您要个祝福语2-4个字即可，作为鼓励。并把这个祝福和第31组题结合，以示纪念。 https://gitee.com/flame-ai/siger
并邀请您做为SIGER的志愿者导师[合十] 有同学提问，转达给您。这是VSLAM的学习笔记 https://gitee.com/yuandj/siger/issues/I3Y7Y0
2022新选题中，垂直起降飞机 eVTOL 可以是一个，您介绍的一位有着飞行员爸爸的9岁男孩的故事，也非常适合分享。这就是SIGER导师的引领作用
@庞博士 实事求视
这份鼓励我们收到了，是希望同学们用实践检验所学的意思。前两天征集的一个选题 “耳听佳音” 加上我们的新视界，这是耳聪目明的意思啊。而我是想让孩子们用心去感知这个世界，因为用心了，耳目自然就聪明了，自然就能看到想看的和想听的啦，而世界也会因他们而变的更好
的故事 啦...
火焰棋实验室的根是社区，火焰棋则是来自社区的灵感，它从一个陪娃游戏演化成一个分享爱的社区公益活动，再到如今肩负科普使命的公益项目，都源于一个承诺 “让火种传递的远些，更远些！”，这是我带着火焰棋从丹麦回来后给社区的家长们的承诺。而就是这句承诺，激发出的灵感，我们（和家长们）一起造了这个庞然大物，5米高的史上最高的国际象棋棋子。我们叫它 “火焰棋塔”，它是一个丰碑，是一同分享的明证。它更像是有一种力量，吸引着人们有了更大地 “期待”，能造的更多，更大，于是有了 “火焰棋塔阵”，一个40米见方，34座高塔的巨型棋盘，而且它就差一步就要完成啦...
时光机快进，这个念想多年萦绕在心的我，出现在了庞博面前，希望他能助我完成心中的 “火焰棋塔阵”，它是：
上作业：
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
