面向坚果烘烤质构评估的高光谱多模态递进融合预测网络研究

1. 顶刊身份卡

2. 内容速览

核桃仁脆度是消费者最关注的感官品质之一，传统评估依赖人工品尝或质构仪破坏性检测，主观性强且无法在线应用。本研究以双利合谱GaiaField-N17E高光谱成像系统（859-1705 nm）为核心传感设备，融合机器视觉（颜色+纹理特征）和电子鼻（挥发性组分时间序列）数据，创新性提出MCAFNet多模态交叉注意力融合网络。该框架通过马尔可夫转移场（MTF）将电子鼻一维时序信号转为二维图像，结合光谱指数与多通道光谱伪图像，实现外观、内部组分和气味信息的深度交互融合，脆度预测R²达0.968，RPD达5.578。该技术框架可迁移至坚果炒货、烘焙食品、休闲零食等质构在线监测场景。

关键词：核桃仁脆度；高光谱成像；机器视觉；电子鼻；多模态融合

3. 研究背景

核桃是全**受欢迎的坚果之一，烘烤是最常见的加工方式。烘烤过程中发生的美拉德反应、脂质氧化和蛋白质降解显著改变核桃仁的风味和质地，其中脆度（crispness） 是消费者最为关注的感官属性。然而，脆度作为一种多维感官体验，传统评估手段存在根本性局限：感官品尝法主观性强、重复性差；质构仪破坏性检测虽能输出定量指标，但样品完整性被破坏，无法用于生产在线检测。

近年来，机器视觉（外观颜色纹理）、高光谱成像（内部成分结构）和电子鼻（挥发性组分）在农产品品质检测中各显优势，但大多数研究依赖单一数据源，未能有效整合外观、内部组分和气味三者的互补信息。以核桃烘烤为例，脆度的形成涉及表面颜色变化（美拉德反应）、内部水分迁移和结构松弛（近红外光谱响应）以及挥发性组分释放（电子鼻响应），单一模态难以全面捕捉这一复杂过程。因此，整合多模态数据构建更全面的感知模型成为突破方向。

针对上述问题，浙江农林大学数学与计算机科学学院和食品与健康学院团队以双利合谱GaiaField-N17E高光谱成像系统为核心传感平台，联合机器视觉与电子鼻技术，提出了MCAFNet（Multi-modal Cross-Attention Fusion Network）多模态融合框架。该研究为坚果类食品质构的智能化、无损化评估提供了新思路。

4. 实验设计

样品制备： 新鲜核桃采自浙江临安，选取大小均匀、形态完整、无霉变和机械损伤的核桃共1600颗，随机分为8个加工批次。核桃先经热水煮沸3h去涩，室温自然晾干后，分别采用恒温热风干燥箱和微波炉进行8种不同热加工处理（包括不同温度、时间和微波功率组合），烘烤后手工破壳取仁，确保仁完整用于后续数据采集。脆度真值采用质构仪（P/BS剪切刀头）测定，每样品10颗核桃取8次有效测量均值。

图1 整体系统框架图

图2 多模态数据采集系统

5. 高光谱数据采集

成像高光谱数据： 研究采用双利合谱GaiaField-N17E近红外高光谱成像系统采集核桃仁光谱图像。每颗核桃仁正反两面均扫描取平均光谱作为该样本代表数据。原始图像经黑白板校正后，利用ENVI划定感兴趣区域（ROI）提取平均反射率。

图3 核桃仁伪彩色高光谱图像

图4 不同加工方式下平均光谱曲线

机器视觉数据采集： 采用视觉运动平台（ML-SYT-04测试架、ML-FA-3517镜头、环形光源和背光源）从三个侧面拍摄高分辨率图像，共获取480张原始图像。

电子鼻数据采集： 采用SuperNose14电子鼻（14个MOS传感器），核桃仁密封于500mL烧杯中室温平衡40min后顶空进样检测30s，每个样品重复三次。

6. 研究结果

6.1 脆度统计分析

单因素方差分析显示，热加工方式极显著影响核桃仁脆度（F=486.2, p<0.001）。对照组脆度最高（29.51N），显著高于所有处理组。微波辅助处理组（G2-G4）脆度显著高于纯热风组（G1），说明适当微波处理可部分保留脆度。这一结果证实了不同热加工参数下脆度的显著分化，为后续建模提供了充足的样本变异性。

图5 八组处理下核桃仁脆度柱状图

6.2 特征提取与相关性分析

图像特征： 从RGB、HSV和Lab颜色空间中提取24个颜色特征，结合GLCM纹理特征（对比度、能量、同质性、相关性，0°、45°、90°、135°四个方向）共51个纹理特征，构成75维图像特征向量。Pearson相关分析筛选出10个相关系数绝对值>0.75的关键特征。

光谱特征： 对原始光谱应用Autoscale、SNV、MSC、一阶导数、二阶导数和Savitzky-Golay六种预处理方法。一方面，基于6个经典光谱指数（CIred-edge、CVI、DVI、NDVI、RVI、RDVI）从不同预处理组合中筛选出12个与脆度高度相关的波段组合；另一方面，将六种预处理后的480个波段分别重采样为20×24矩阵并堆叠为6通道×20×24的“伪光谱图像"，用于CNN全局特征提取。

图6 光谱指数与图像特征与脆度的相关性分析

电子鼻时序特征： 电子鼻数据本质为时序信号。传统统计特征（积分值、最大值、平均值等）难以反映传感器响应的动态演化。本研究创新性地引入马尔可夫转移场（MTF），将每个传感器300个时间点的响应序列转化为300×300二维图像，14个传感器堆叠形成300×300×14的多通道MTF图像，完整保留了气体吸附-解吸过程中的时序动态信息。

图7 SE8传感器MTF图像

图8 电子鼻14个传感器响应曲线

6.3 单模态建模对比

研究对比了6种传统机器学习算法与1D-CNN在各模态上的表现。结果显示，1D-CNN在所有三种模态上均优于传统算法：图像模态R²=0.830，光谱模态R²=0.828，电子鼻模态R²=0.820。不同模态的*优特征形式分别为：图像模态采用75维手工特征优于原始RGB图像直接输入；光谱模态采用6通道伪光谱图像（2D-CNN，R²=0.895）优于12维光谱指数（1D-CNN，R²=0.890）；电子鼻模态采用14通道MTF图像（2D-CNN，R²=0.901）显著优于统计特征（1D-CNN，R²=0.820）。MTF变换对时序信号预测能力的提升幅度达10%，验证了该方法在保留电子鼻动态信息方面的有效性。

6.4 多模态融合策略

研究设计了三层递进融合策略：

• 特征级融合：将图像75维特征与光谱12维指数直接拼接后输入DBFF模块，R²=0.935，优于任一单模态，证明外观与内部组分信息的互补性。

• 模型级融合：光谱6通道伪图像经SSFE模块提取空间特征，电子鼻14通道MTF图像经MTFE模块（多尺度并行卷积，11×11、9×9、7×7）提取时序特征，通过双向交叉注意力机制实现模态间深度交互，R²=0.950，RPD=4.476。

• 混合级融合（MCAFNet）：将特征级和模型级融合路径的输出采用Stacking集成策略（基学习器：PLSR、Lasso、RF、GBDT，元学习器：LR），R²达0.968，RMSE=0.743，RPD=5.578。

RPD>5.0表明模型具有*佳的预测能力，可用于实际质量控制场景。

图9 MCAFNet网络架构及模态特征提取模块

图10 A-K.不同Stacking组合散点图，L.*优模型残差分

7. 结论与启发

核心结论： ①热加工方式显著影响核桃仁脆度（F=486.2, p<0.001），微波功率和时间的联合调控可部分保留脆度。②MTF可将电子鼻时序信号转为图像，完整保留气体吸附-解吸动态信息，相比传统统计特征R²提升约10%。③多模态融合显著优于单模态：特征级融合R²=0.935，模型级融合R²=0.950，混合级融合R²=0.968，RPD=5.578，证明外观-成分-气味三方信息的互补融合能有效提升脆度预测精度。④MCAFNet框架为坚果类食品脆度的无损在线监测提供了理论支撑。

可复制的核心技术点：

MTF时序转图像策略。 将电子鼻一维响应序列通过马尔可夫转移场转为二维图像，完整保留不同时间尺度下的状态转移概率信息。这一策略可用于任何传感器时序信号的特征增强（如拉曼光谱时间序列、过程分析技术中的实时监测数据）。

多通道光谱伪图像构建。 将多种预处理后的光谱向量重采样为矩阵并堆叠为多通道“图像"，利用2D-CNN提取预处理方法间的交叉信息。相比单一预处理，该方法无需预设*优预处理方案，让网络自适应学习，尤其适合光谱先验知识有限的场景。

双向交叉注意力融合。 在模型级融合中，光谱特征作为Query增强电子鼻特征，电子鼻特征作为Query增强光谱特征，实现模态间的双向信息交互。这种双向注意力机制可推广至其他异构数据融合任务（光谱-图像、光谱-质谱等）。

技术观察与启示：

近红外区域对水分与脂质变化的敏感性——本研究中光谱差异*显著的区间位于950–1100 nm（O-H键）和1200–1600 nm（C-H键），与烘烤导致的水分流失和脂质氧化直接相关。这提示在坚果类食品品质检测中，NIR波段的信息密度不低于VIS波段，设备选型时应重点关注NIR区域的光谱分辨率和信噪比。

此外，12维光谱指数与480维全谱+六种预处理的伪图像精度几乎持平，说明光谱指数策略在降低模型复杂度方面仍是*优选择——这为开发仅需若干窄波段的专用传感器提供了理论支持。

应用迁移： 

本方法可迁移至其他坚果（巴旦木、开心果、花生）烘烤品质评估、烘焙食品（饼干、面包）脆度在线监测、膨化零食质构快速分级等场景。

8. 论文引用信息

1. Fu, J., Dai, D., Huang, S., et al. (2026). A multimodal fusion model for predicting the roasting-induced crispness of walnut kernels using machine vision, hyperspectral imaging, and electronic nose. Current Research in Food Science, 12, 101269.

2. Sun, Z., et al. (2025). Integrating deep learning and data fusion for enhanced oranges soluble solids content prediction using machine vision and Vis/NIR spectroscopy. Food Chemistry, 464, 141488.

3. Liu, P., et al. (2021). Feasibility of nondestructive detection of apple crispness based on spectroscopy and machine vision. Journal of Food Process Engineering, 44(10).

4. Tang, S., et al. (2024). Rapid non-destructive evaluation of texture properties changes in crispy tilapia using hyperspectral imaging and data fusion. Food Control, 162, 110446.

5. Olakanmi, S.J., et al. (2024). Innovations in nondestructive assessment of baked products. Comprehensive Reviews in Food Science and Food Safety, 23(4).