双目立体(双目视觉三维点云获取要学习什么知识)
1.双目视觉三维点云获取要学习什么知识
双目摄像头是利用仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的2维图像像素点的第三维深度信息。双目摄像头利用视觉计算原理，可以计算出拍摄场景内物体的3维空间位置信息，在此基础上可以实现环境感知、体感、建模、行为识别等各种应用。相比单目摄像头，双目摄像头的功能更加丰富，可获取依靠单目摄像头无法准确识别的信息。
国内这两年有不少科技类初创企业都在积极布局深度摄像头市场，其中冒出了不少做双目视觉硬件的公司。我们公司最近因为一个项目在寻找合适的双目硬件，几经对比下来，发现国内居然有一款各方面参数都不错的双目——小觅双目摄像头深度版。经过和他们公司的接触，拿到了一款他们这个版本的内测版，拿回来测试了之后效果还不错，只是有些小的bug，所以准备等到他们深度版的正式量产后再购买。据说，这款深度版摄像头将在今年三季度上市，“双目+IMU”的方案本身就不错，而且是彩色图像输出，可以直出深度图，三维点云的获取也很顺畅。
2.双目立体视觉原理最早什么时候提出的
一、双目立体视觉原理最早始于上世纪的60年代中期提出。
分析：双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。
二、双目立体视觉原理简介：
双目立体视觉是机器视觉的一种重要形式，是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
3.双眼立体视觉检查图
目前国内外对视觉研究非常重视，因为它是揭示脑奥秘的最 好途径，而立体视觉是视觉研究中的重要课题，随着科学技术的高度发展，越来越多的职业需高敏立体视功能，故国内外对立体 视觉的检测法做了很多研究，尽管如此，立体视觉产生机制等问 题还不是很清楚。
现简单介绍几种国内外常用的立体视觉检测法。1。
dolman深径计：此法是直观式、三维信息刺激型、远距 离检测法，正常值为二根垂直杆相差在3cm内，临床已很少应用。2。
Titmus立体图：依偏振光原理而制，属图像式，检查时 需戴偏振光眼镜，视差范围400〃〜40"。 该图检查方便，被检者 易于理解，但准确性差，有单眼立体线索，重复性差，易记忆， 易出现假阳性，还有印刷质量问题。
目前在国外此法应用最多。3。
同视机检查法：图像式、远距离法，国内使用很广。传 统的立体视图片只能定性，不能定量，准确性较差，不能满足临 床需要。
颜少明新研制的随机点同视机立体定量图，视差范围800"〜 60"，图形不重复，无暗示信号，无法猜测，极易识别，还能捕 捉双眼单视破裂点，准确测定立体视，受到国内外的重视，国外多采用近距检查法。远距与近距的立体视机制的内涵不完全相同，这里有静态和 动态立体视的问题，现代研究表明，规范的立体视检查方法必须双相测定，二者不可偏废，彼此不可代替。
故随机点同视机立体图在对立体视觉研究和临床应用上有更重要的意义和广阔的前景。4。
Frisby立体板：直观式、随机点立体图，不需戴偏振光 镜或红绿胶片镜，视差范围875" ~ 20"，检查方便，但准确性较差，被检者头部固定不好时，易产生假阳性。 5。
TNO随机点立体图：戴红绿眼镜检查，视差400"〜15"， 正常值60"，此图为测定整体视功能，有人对比了该图与Titams 立体图及Frisby立体板及双杆立体测量仪，结论是测定有无立体视以该图最好，但由于印刷质量问题，图片颜色与胶片不一定一 致，设计上存在暗示信号，密码特性发挥不充分。 6。
颜氏随机立体视觉检查图：该图随机点伪装严密彻底， 项目齐全，客观准确性好，自1985年出版以来，已在全国各地普遍使用。郭静秋等利用三种方法进行儿童立体视锐度测定，发 现颜氏法及Frisby法正常值为≤60",Titmus法似以。
4.双目立体视觉原理最早什么时候提出的
一、双目立体视觉原理最早始于上世纪的60年代中期提出。
分析：双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。
二、双目立体视觉原理简介： 双目立体视觉是机器视觉的一种重要形式，是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
5.双目立体视觉检测的主要步骤有哪些
与普通的图像模板匹配不同的是，立体匹配是通过在两幅或多幅存在视点差异、几何畸变、灰度畸变、噪声干扰的图像对之间进行的，不存在任何标准模板进行匹配。
立体匹配方法一般包含以下三个问题：（1）基元的选择，即选择适当的图像特征如点、直线、相位等作为匹配基元；（2）匹配的准则，将关于物理世界的某些固有特征表示为匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目；（3）算法结构，通过利用适当的数学方法设计能正确匹配所选择基元的稳定算法。根据匹配基元的不同，立体视觉匹配算法目前主要分为三大类，即区域匹配、相位匹配和特征匹配：基于区域灰度的匹配算法是把一幅图像（基准图）中某一点的灰度邻域作为模板，在另一幅图像（待匹配图）中搜索具有相同（或相似）灰度值分布的对应点邻域，从而实现两幅图像的匹配。
这类算法的性能取决于度量算法及搜索策略的选择。另外，也必须考虑匹配窗口大小、形式的选择，大窗口对于景物中存在的遮挡或图像不光滑的情况会更多的出现误匹配，小窗口则不具有足够的灰度变化信息，不同的窗口形式对匹配信息也会有不同的影响。
因此应该合理选取匹配区域的大小和形式来达到较好的匹配结果。相位匹配是近二十年发展起来的。
与普通的图像模板匹配不同的是，立体匹配是通过在两幅或多幅存在视点差异、几何畸变、灰度畸变、噪声干扰的图像对之间进行的，不存在任何标准模板进行匹配。立体匹配方法一般包含以下三个问题：（1）基元的选择，即选择适当的图像特征如点、直线、相位等作为匹配基元；（2）匹配的准则，将关于物理世界的某些固有特征表示为匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目；（3）算法结构，通过利用适当的数学方法设计能正确匹配所选择基元的稳定算法。
根据匹配基元的不同，立体视觉匹配算法目前主要分为三大类，即区域匹配、相位匹配和特征匹配：基于区域灰度的匹配算法是把一幅图像（基准图）中某一点的灰度邻域作为模板，在另一幅图像（待匹配图）中搜索具有相同（或相似）灰度值分布的对应点邻域，从而实现两幅图像的匹配。这类算法的性能取决于度量算法及搜索策略的选择。
另外，也必须考虑匹配窗口大小、形式的选择，大窗口对于景物中存在的遮挡或图像不光滑的情况会更多的出现误匹配，小窗口则不具有足够的灰度变化信息，不同的窗口形式对匹配信息也会有不同的影响。因此应该合理选取匹配区域的大小和形式来达到较好的匹配结果。
相位匹配是近二十年发展起来的一种匹配算法，相位作为匹配基元，即认为图像对中的对应点局部相位是一致的。最常用的相位匹配算法有相位相关法和相位差——频率法，虽然该方法是一种性能稳定、具有较强的抗辐射抗透视畸变能力、简单高效、能得到稠密视差图的特征匹配方法。
但是，当局部结构存在的假设不成立时，相位匹配算法因带通输出信号的幅度太低而失去有效性，也就是通常提到的相位奇点问题，在相位奇点附近，相位信息对位置和频率的变化极为敏感，因此用这些像素所确定的相位差异来衡量匹配误差将导致极不可靠的结果。此外，相位匹配算法的收敛范围与带通滤波器的波长有关，通常要考虑相位卷绕，在用相位差进行视差计算时，由于所采用的相位只是原信号某一带通条件下的相位，故视差估计只能限制在某一限定范围之内，随视差范围的增大，其精确性会有所下降。
基于特征的图像匹配方法是目前最常用的方法之一，由于它能够将对整个图像进行的各种分析转化为对图像特征（特征点、特征曲线等）的分析的优点，从而大大减小了图像处理过程的计算量，对灰度变化、图像变形、噪音污染以及景物遮挡等都有较好的适应能力。基于特征的匹配方法是为使匹配过程满足一定的抗噪能力且减少歧义性问题而提出来的。
与基于区域的匹配方法不同，基于特征的匹配方法是有选择地匹配能表示景物自身特性的特征，通过更多地强调空间景物的结构信息来解决匹配歧义性问题。这类方法将匹配的搜索范围限制在一系列稀疏的特征上。
利用特征间的距离作为度量手段，具有最小距离的特征对就是最相近的特征对，也就是匹配对。特征间的距离度量有最大最小距离、欧氏距离等。
特征点匹配算法严格意义上可以分成特征提取、特征匹配和消除不良匹配点三步。特征匹配不直接依赖于灰度，具有较强的抗干扰性。
该类方法首先从待匹配的图像中提取特征，用相似性度量和一些约束条件确定几何变换，最后将该变换作用于待匹配图像。匹配中常用的特征基元有角点、边缘、轮廓、直线、颜色、纹理等。
同时，特征匹配算法也同样地存在着一些不足，主要表现为：（l）特征在图像中的稀疏性决定了特征匹配只能得到稀疏的视差场，要获得密集的视差场必须通过使用插值的过程，插值过程通常较为复杂。（2）特征的提取和定位的准确与否直接影响特征匹配结果的精确度。
（3）由于其应用场合的局限性，特征匹配往往适用于具有特征信息显著的环境中，在缺少显著主导特征环境中该方法有很大困难。总之，特征匹配基元包含了算法编程上的灵活性。
6.关于眼睛的一些经典的小知识
眼，视觉器官。亦称眼睛、目、招子，是大部分动物接收光线并在大脑形成影像的器官。对于人类来说，它是视觉器官，最重要的感觉器官之一。眼是一个非常精细的器官，可以在不同的环境下对自己 的具体形态进行改变，使得人类在复杂的环境中获取正确的信息。
最简单的眼睛结构可以探测周围环境的明暗，更复杂的眼睛结构可以提供视觉（复眼通常在节肢动物，例如昆虫中发现，通常有很多简单的小眼面组成，并产生一个影像）。
在很多脊椎动物和一些软体动物中，眼睛通过把光投射到对光敏感的视网膜成像，在那里，光线被接收并转化成信号并通过视神经传递到脑部。通常眼睛是球状的，当中充满透明的凝胶状的物质，有一个聚焦用的晶状体，通常还有一个可以控制进入眼睛光线多少的虹膜。
而且，人眼睛的颜色取决于虹膜。
7.双目立体视觉重构三维空间点时候,如何考虑畸变因素
人类的空间知觉系由两种因素所组成。一种并不是人体固有的，它是由过去的实践经验所形成的一种空间判断能力。另一种，是人体固有的本能，它是由于两眼视网膜像的轻度差异所导致的立体感觉。前者可以由单独一只眼去实现，而后者要靠两眼的联合作用去完成。再者，正常的双眼空间定位是根据两眼的正常像差所形成，当两眼的像差超过了正常范围，必然地要发生错误的空间定位，因而导致所处环境中各种物貌的改变。
两眼对着图中的 F 点注视时，两眼单视图上的两个物体 A 和 B 在两眼视网膜的对应点处结成像点为 a 和 b ，如把水平性等像透镜放在右眼之前，使右眼所成的像均沿着水平子午线放大，则原来的 AB ，在右眼看来变为 A 1 B 1 。右眼视网膜上的像亦由 ab 变为 a ′ b ′ ，但左眼者不变。因为能够同时刺激左眼 a 点和右眼 a ′ 点的物体只有 c 点，因而被试者感到 A 点向 C 点移近。又因为能够同时刺激左眼 b 点和右眼 b ′ 点的物体只有 D 点，因而感到 F 点向 D 点后退。由于物像在视网膜上的水平差异，因而产生外界实体的畸变，使图中的 AB 平面以 F 为固定点向 CD 的位置旋转。
假若被试者右眼戴着等像透镜，观察正前方的两条大小相同、距离相等的竖立着的棍子，会感到右侧的要粗大些，并且距离要远些。整个视野的物体部是右半较大些。一个平的桌面变得右侧向下，左侧向上偏斜。受试者所处的地平面也发生同样的偏斜，好像在一个斜坡上走动。如果观察人脸，也是右侧大些.成为不对称的怪样子：正方形的物体都成为不规则的四边形，圆形成为卵圆形。如果这个试验继续一段相当长的时间，这些不常见的怪现象会慢慢地消失。 Burian 于 1943 年的实验证实，如果戴着这种镜子坚持 3~4d ，并且生活在熟悉的环境中，上述的畸变就可完全消失。但是如果把他领进—个参照景物较少的生疏环境中上述视畸变又会再次出现。
从上面的试验不难看出，尽管两眼空间视觉的最基本条件：正常范围的双眼像差受到影响，但仍可用视觉心理的因素予以纠正。这种纠正首先是靠实践，也就是除了视觉以外的其他感觉器官，如手、足等，直接与外界物体的接触，还有大脑的高级神经活动的兴奋和抑制作用的互相协调。既要实践，就要时间，所需时间的长短，与被纠正的难易程度和各人的神经体质、精神状态有很大关系。因此，如果两眼像差不很明显，在正常情况下并不显现症状，但当身体暂时虚弱，精神沮丧，或者高空飞行员，由于客观环境的改变，部可以保高空缺氧时，隐性斜视变为显性斜视—样，导致像不等症状的出现。
