大豆是世界上主要的油料作物之一，是生产蛋白质和油的主要原料。它们在世界各地广泛种植，通常用于制作豆制品。为了保证大豆产量的持续增长，需要更多的优质种子来种植。因此，有效地筛选优良的大豆种子是非常重要的。除了种子的大小、形状和颜色特征外，表面完整性、物理损伤、昆虫损伤、真菌感染和霉菌也是用于评估的额外因素。准确分选优质大豆种子是提高大豆产量的关键！

针对这个课题，来自东北农业大学工程学院的一个团队发表了一篇名为《基于深度学习的大豆种子全表面缺陷实时识别系统》的论文。该团队由权龙哲教授带领，研究方向就是人工智能技术在农业的应用。在论文中，他们仔细阐述了一种基于深度学习的大豆种子全表面识别分选系统。可作为大豆种子精密分选的有效工具。为不同尺度椭球缺陷种子的全表面检测提供了一种方法。

目前，基于机器视觉的分拣系统主要集中在对单侧表面的识别上。该团队设计并开发了一种基于深度学习的大豆种子全表面识别分选系统。系统原型如下：

这套大豆种子分选机可实现一次分选、整列传动和交替旋转的功能。视觉系统中的两个工业数字相机（ccd）连接到两个Jetson Nano开发板，该开发板对采集的图像进行推理和分类。ccd的拍摄角度垂直向下，距大豆种子150mm。STM32F429芯片控制0.4m/s的传输速度，输出数字信号控制电磁铁的开闭。Jetson Nano和控制箱使用串行端口进行信息通信。

团队建立了一个由6480幅图像组成的大豆种子数据集；在不同的亮度和表面条件下，从多个类别采集图像，并对数据图像进行掩蔽。采用交替旋转机构揭示种子的全表面特征信息，采用深度学习模型对种子精确分为六种表面。

在三种亮度环境和六种表面条件下采集并掩蔽图像，量化大豆种子的缺陷尺度。团队对七种CNN模型进行了比较和测试，并对模型进行了改进，取得了最佳的综合性能。利用可视化技术评价不同模型对大豆种子缺陷的识别性能，并根据识别结果对模型进行优化，实现对不同尺度下大豆种子缺陷的准确分类。

大豆种子图像在一个交替旋转的平台上每隔35ms采集一次，然后发送到Jetson Nano开发板上进行分类。大豆种子在交替旋转的平台上通过旋转可以揭示出种子的全部六类表面信息，为利用视觉系统对种子进行综合评价提供了条件。

测试过程表明，在中等亮度条件下，所有模型的精度最高。MobileNetV2改进模型在掩蔽数据集中的分类准确率达到97.84%。改进的MobileNetV2网络模型可以实现对不同尺度的大豆种子的精确分类。

利用NVIDIA Jetson Nano强大的计算能力，推理速度可以达到35fps，实现了大豆全表面的实时识别。值得一提的是，团队选择了改进的MobileNetV2，利用TensorRT-FP16 precision优化网络，以便在Jetson Nano开发板上实现最大的推理效果，从而达到设计要求。 

本文提出的分选系统可实现高精度、低成本的应用，总分选精度达98.87%，分选速度达222粒/min。该方法可作为大豆种子精密分选的有效工具。为不同尺度椭球缺陷种子的全表面检测提供了一种方法。

对于接下来的开发工作，权龙哲教授表示：“在未来的研究中，我们计划为多种类型的种子开发一个合适的数据集。这项工作将有助于解决与其它农业种子相关的分类问题。考虑到分拣机的运行效率，后续研究如何提高网络模型的推理速度将是非常有意义的。”