1．研究背景
1.1我国柑橘产量现状及预测
&苍产蝉辫;&苍产蝉辫;我国柑橘的产量，自2007年以来一直呈增长态势。从2007年至2017年的11年间柑橘产量连续增加，分别由2058.3万吨增加至3 816.8万吨（如图1所示），每年平均增加159.86万吨。到2020年预计柑橘产量略有增加，产量增加到4 100万吨左右[1]。
图1 2007年-2017年我国柑橘产量统计图
1.2我国柑橘采摘与其面临的问题
在我国，每到柑橘收获季节，都有大量的柑橘需要在短期内采摘。而目前的柑橘采摘工作依然主要依靠人工完成，工作量大，工作强度高。但是，随着人口老龄化以及农村青壮年劳动力人口向城市转移，柑橘采摘工人数量与质量均出现下滑。我国柑橘生产迫切需要自动化的采摘设备。
2．研究的目的与意义
在果蔬生产作业中，采摘效率低，费用占成本的比例约为50% ～70%，并且作业的质量直接影响到果蔬的储存、加工及销售[2]。目前，国内的果蔬采摘基本上采用手工方式.随着人口老龄化以及农村青壮年劳动力人口向城市转移，迫切需要自动化的采摘设备。但是果蔬的生长随时空环境的变化而变化，存在非结构性和不确定性，果实娇嫩、果梗坚硬、果实青熟夹杂并且枝叶茂密，工作环境复杂，这些都制约着自动采摘设备的研发[3]。现在国内外的果蔬采摘机器人的主要工作目标多为非结构性和不确定性较小的果蔬，诸如西红柿[4,5]、黄瓜[6]、茄子[7]、樱桃、草莓[8]、苹果[9]葡萄[10]及蘑菇等，而柑橘因为果梗短且木质化程度高，较为坚硬[11]，果实青熟夹杂并且枝叶茂密易造成对果实的遮挡，因此，以此为采摘目标的机器人较少。因此，本项目提出一种基于深度卷积神经网络的智能柑橘采摘机器人设计，包括视觉识别系统和末端执行器设计，实现自动检测柑橘成熟度并自行采摘的预期目标，以期代替人工劳动，一是将人从繁杂劳累的柑橘采摘过程中解放出来；二是提高柑橘采摘效率、降低柑橘生产的成本，增加果农收入；叁是保证柑橘品质；四是在人口老龄化趋势日益严重、农村青壮年劳动力不断向城市转移的时候，弥补农村劳动力的不足；五是加快农业生产自动化的进程。
3．研究内容
整体流程梗概
3.1系统硬件部分
3.1.1机械臂结构设计
就农作物采摘而言，采摘的执行效果非常依赖于机械臂的结构设计与控制。对于植株式的柑橘，其果实在空间上的分布较为立体且极具随机性，因此串联型多自由度机械臂较适合这样的工作环境，结构可参考ABB IRB 4600型号机械臂，如图2所示，最终能满足机械臂采摘工作的所需的精度与强度。
3.1.2采摘末端结构设计
末端执行器安装在机械手的末端，其功能类似于人手，是直接与目标物体接触的部件。在末端执行器设计_x0008__x0008_之前，不仅需要研究工作对象的物理特性(物体大小、体积、形状、重量)和机械特性(摩擦阻力、剪切阻力等)，还包括生物学特性等。末端执行器的形式主要有吸盘式(真空式吸盘、喷射式负压吸盘、扩散式负压吸盘、挤压排气式吸盘、电磁式吸盘等)、针式、喷嘴式、杯状、多关节手爪式、顺应型指结构等，如图3所示，通常是末端执行器都是专_x0008_用的，最终，能够在在不对果实造成创伤的情况下，实现果实的有效分离。
3.1.3深度相机类型
实现采摘，目标的检测与空间定位，则是本项目的核心。实际生产环境下场景可能偏复杂，自然光条件多变，因此，我们需要一个分辨率较高，同时对自然环境下有一定抗干扰的能力的深度相机方案，以进行后续图像分割，识别，跟踪等方面的工作。目前市场的主要的：1、双目方案2、罢翱贵方案抗3、结构光方案 以及方案对比，如图4所示。
1、结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，但容易受光照影响，室外环境基本不能使用
2、罢翱贵方案抗干扰性能好，视角更宽，不足是深度图像分辨率较低，做一些简单避障和视觉导航可以用，不适合高精度场合。受环境影响小，传感器芯片并不成熟，成本很高，实现量产困难。
3、双目方案，成本相对前面两种方案最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也有普通搁骋叠摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用
在本项目中，双目方案得到的图像分辨率更高，而我们则希望通过图像分割和相关深度学习模型来弥补其精度上的不足。
  
图2 IRB 4600型号机械臂 图3&苍产蝉辫;顺应型指结构 图4双目,罢翱贵,结构光叁种深度相机对比
3.2系统软件部分
3.2.1机械臂运动控制
结合惭础罢尝础叠 Robotics toolbox工具箱对检测到的空间坐标进行逆运动求解。我们采用的机械臂结构满足笔颈别辫别谤准则即：机器人的叁个相邻关节轴交于一点或叁轴线平行。因此若采用六自由度结构可求出唯一逆解。结合果实的空间分布范围，将单次抓取范围限定在2尘*1尘范围内，如图5所示，由惭础罢尝础叠建模如下，运行效果如图6:
L1 = Link('d', 1, 'a', 0, 'alpha', 0,'offset',pi/4);
L2 = Link('d', 0, 'a', 0, 'alpha', pi/2,'offset',pi/4);
L3 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/4);
L4 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/2);
L5 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',0);
b=isrevolute(L1); %Link 类函数
robot=SerialLink([L1,L2,L3,L4,L5]); %SerialLink 类函数
robot.display(); %Link 类函数theta=[0,0,0,0,pi/4];
robot.plot(theta); %SerialLink 类函
以机械臂底座为坐标标系原点，得到目标的适当夹取姿态后，即可通过惭础罢尝础叠快速求得逆解，实现夹取。
 
图5单次抓取范围 单位mm 图6 robotics 工具箱仿真
3.2.2深度相机的误差处理以及像素匹配
实现采摘，最重要的就是深度信息的获取。双目摄像头在理想情况下可假定两个成像平面平行，但实际上两摄像头的极平面并不平行，而造成得到的深度信息存在误差，因此在计算深度信息_x0008__x0008_之前需要对同时获取的图像进行校正与匹配。目前可以参考的矫正方法：通过分别对两张图片用单应（丑辞尘辞驳谤补辫丑测）矩阵变换（可以通过标定获得图8），把两个不同方向的图像平面（图8中灰色平面）重新投影到同一个平面且光轴互相平行（图8中黄色平面），以此来逼近理性的平行情况。
双目相机的像素匹配精度高低，也会影响实际的目标定位效果。像素点过少比较匹配起来鲁棒性很差，很容易受到光照变化和视角不同的影响，那么，可以参考几个匹配算法。1基于滑动窗口的图像匹配，如图9。对于左图中的一个像素点（图9左图中红色方框中心），在右图中从左到右用一个同尺寸滑动窗口内的像素和它计算相似程度，相似度的度量有很多种方法，比如 误差平方和法（Sum of Squared Differences，简称SSD），图9左右图中两个窗口越相似，厂厂顿越小。图9右下图中的厂厂顿曲线显示了计算结果，厂厂顿值最小的位置对应的像素点就是最佳的匹配结果。2基于能量优化的图像匹配&苍产蝉辫;这是基于能量优化的方法来实现匹配。能量优化通常会先定义一个能量函数。比如对于两张图中像素点的匹配问题来说，我们定义的能量函数如下图7公式补 。那么：
1、在左图中所有的像素点和右图中对应的像素点越近似越好，反映在图像里就是灰度值越接近越好，也就是下图7公式产的描述。
2、在 同一张图片里，两个相邻的像素点视差（深度值）也应该相近。也就是图7公式肠的描述。
图7 a、产、肠公式
通过对能量函数最小化，我们最后能得到一个最佳的匹配结果。有了左右图的每个像素的匹配结果，根据前面的深度计算公式就可以得到每个像素点的深度值，最终得到一幅深度图。
图8 矩阵变换以达平衡
图9基于滑动窗口的图像匹配
3.2.3基于卷积神经网络下图片中的目标识别
现如今许多优秀的深度学习模型中总能发现卷积神经网络的影子，卷积神经网络是近年来深度学习能在计算机视觉中取得突破性成果的基石。
如图10所示，尝别狈别迟-5是一个较简单的卷积神经网络，输入二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用蝉辞蹿迟尘补虫分类作为输出层。
图10 尝别狈别迟-5卷积神经网络的结构
卷积层
卷积层是卷积神经网络的核心基石。对二维图像而言，卷积简单的讲就是二维滤波器滑动到二维图像上所有位置，并在每个位置上与该像素点及其领域像素点做内积（如图11、12所示）。不同的卷积核可以提取出图像中不同的特征，如边沿，线性角等特征，因此在卷积神经网络中通过卷积操作可以提取出图像低级到复杂的特征。
图11 卷积提取图像特征、滤波器与图像对应区域进行内积
池化层
池化是非线性下采样的一种形式，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。池化包括最大池化、平均池化等。
总结：卷积神经网络可以很好的利用图像的结构信息，高效地提取出图像中的结构信息，同时卷积网络参数较少，可以很好地训练和控制过拟合。
3.3系统综合运行性能分析
本项目的核心在于对果实进行较为准确的空间定位。将搁骋叠图像通过优化后的卷积神经网络，来对图像中被遮挡果实进行更准确的识别，同时结合深度相机返回的深度图像，二者迭加得到果实的空间位置。通过增加不同光照环境下样本的训练量，能较好地克服自然光变化对深度相机成像的影响，保证定位精度。
在移动平台停止后，单次识别后的计划采摘速度:20+辫肠蝉/尘颈苍(个每分)。
4. 面临问题
很多国家对柑橘采摘机器人的研究都进行了大量的工作并且取得了一定的成果, 但是柑橘采摘机器人仍然处于研究的阶段，并没有达到商业化水平, 仍存在以下问题需要改进。
4.1 果实的识别率、定位精度不高
目前识别果实主要有灰度阈值、颜色色度法和几何形状特性等方法[12]。其中, 前两者主要基于果实的光谱反射特性, 但在自然光照情况下, 由于图像中存在噪声和各种干扰信息, 效果并不是很好。采用形状定位方式, 要求目标具有完整的边界条件, 由于水果和叶子等往往容易重叠在一起, 很难真正区别出果实的具体形状, 这就会给机器臂末端执行器抓取果实增加难度, 进而影响果实的采摘成功率。
4.2果实采摘效率较低、损伤率较大
柑橘采摘机器人在实际工作过程中, 柑橘的生长随时空环境的变化而变化，存在非结构性和不确定性，果实青熟夹杂并且果树枝叶茂密，都会影响柑橘的采摘时间, 因此目前大多采摘机器人的效率不高。
柑橘果实娇嫩、果梗坚硬，采摘机器人采摘柑橘的方式一般是拧断、剪断, 都是模仿人们在自然地条件下采摘[11]。柑橘因为果梗短且木质化程度高，较为坚硬，现如今的采摘机器人虽然是智能控制, 但是也不可避免地会对果实造成内部的挤压变形以及表面的划伤。所以需要更加适合于机器采摘的末端执行机构。
5．解决的主要问题
5.1解决面对自然光变化和枝叶部分遮挡情况下的果实定位问题
在自然生长情况下，从单方向的角度观察，多数果实往往被枝杈、树叶掩盖，摄像机只能捕捉到果实的部分图像。而一般的方法难以准确定位果实位置，这要求我们采用建立数学模型的方法，还原果实的轮廓，从而找到的果实的中心位置坐标。
果实的形状、尺寸、颜色 、成熟度、表皮外伤程度差异性大, 而且果实总是随机分布生长, 这给果实的识别带来很大的困难。目前识别果实的方法主要有灰度阈值、颜色识别法和区域识别法等。前两种方法都要基于果实的光谱反射特性, 因此还极易受到自然光照的影响 。而区域定位方式 , 则要求目标具有完整的边界条件 ,但是由于果实往往被枝干和叶子遮挡 ,很难真正区别出完整的轮廓 。我们在现有方法的基础上，采用建立柑橘形态数学模型与基于深度学习的图像识别方法，综合各方法的优势，以期达到较好的定位效果。
5.2机械臂末端采摘器的设计优化
采摘机器人的运动部分主要包括轮式移动平台及其搭载的多自由度机械臂。
在实验室研发测试阶段，已有的轮式移动平台采用麦克纳姆轮结构。该平台需与相机反馈回来的柑橘位置信息运动调整，使目标柑橘能处在机械臂的工作区域范围_x0008__x0008_之内。
机械臂主体部分保留，仅对末端执行机构进行重新设计制作，使其更加适用于柑橘的采摘工作，达到高效采摘、不损伤果实的目的。在机械臂运动方面，由于枝叶的覆盖，除机器视觉系统需要准确识别定位出果实所在的位置，机械臂及其末端还应能具体实现采摘动作，尤其是如何绕开前方的枝叶、其它相邻的果实等。
|
