红外相机相关技术的应用是当前的研究热点。本文通过回顾红外热像仪的发展历程,介绍了红外热像仪的几种主要处理技术,阐述了红外热像仪的图像非均匀性校正、噪声去除和图像伪彩色增强技术,并简要分析了图像处理中使用的一些主要算法。描述了红外热像仪的盲元检测与补偿、测温、目标检测和跟踪技术,通过分析红外测温、目标检测和跟踪的主要算法,指出了这些技术的优缺点。同时,还介绍了多/高光谱红外遥感技术的发展及其应用。分析表明,红外热像仪处理技术在多个领域得到广泛应用,尤其在自动驾驶方向具有重要应用价值,本综述有助于拓展读者的研究思路和研究方法。
关键词:图像处理;盲元检测与补偿;红外热成像测温;目标检测与跟踪;多/高光谱遥感技术
1 引言
红外线是一种电磁波,任何温度高于热力学绝对零度的物体都会产生红外辐射。热红外成像通常指中红外成像和远红外成像,其利用红外探测器和光学成像物镜,接收被测目标的红外辐射能量,并将其分布模式反映到红外探测器的感光元件上;探测器将信息传送给传感器的电子元件进行图像处理,从而获得红外热图像。
红外热成像是一种无损、非接触式检测技术,最初应用于军事领域,主要分为两类:
?
制冷型红外技术:早期因制冷设备体积大仅用于实验室,目前研究集中在提高工作温度、长波探测和系统集成;
?
非制冷型红外技术:属于第三代红外探测技术,采用焦平面探测器和双色探测器,应用范围更广泛。
高光谱遥感是具有高光谱分辨率的遥感技术,以光谱学为基础,通过捕捉电磁波与物质相互作用的波长变化,提供丰富地物信息,广泛应用于地质调查、农业、植被遥感、海洋遥感、环境监测等领域。但该技术存在光谱段多、数据冗余问题,需进行降维、去噪等处理。
随着科技发展,红外热成像和高光谱遥感技术的优势被充分开发,例如被动接收人体辐射形成热图像,具有对人体无害、隐蔽性好、可全天候工作等优点,已广泛应用于医疗、建筑、电力、航空、交通等领域。但红外热成像存在图像对比度低、细节分辨率差等问题,需通过一系列处理步骤优化,本文旨在总结相关研究成果、指出不足,并探讨基于深度学习的优化算法及红外热像仪的发展方向。
2 红外热像仪
2.1 核心组成
热成像系统包含四个基本组成部分,各部分功能明确:
|
组成部分 |
核心功能 |
|
光学系统 |
将接收的红外线聚焦到红外探测器的感光元件上 |
|
红外探测器 |
核心部件,将红外辐射转换为电信号 |
|
电子信息处理系统 |
对电信号进行放大和处理 |
|
显示系统 |
将电信号以可见光图像形式显示在监视器或LED屏幕上 |
图1 热成像相机的组成(原文标注:Figure
2.2 成像原理
焦平面热成像相机采用二维平面探测器结构,具备电子扫描功能,被测目标通过物镜将红外线聚焦到红外探测器阵列平面,原理与摄影相似(如图2 焦平面热成像原理,原文标注:Figure
2. Focal plane thermal imaging principle [14])。
焦平面探测器由数万个传感元件阵列组成,具有响应率均匀性好、尺寸微米级、功耗低等特点,其中电阻式微测辐射热计型技术最成熟、应用最广泛。其工作原理为:红外辐射通过光学透镜到达探测像素,引起敏感区域温度升高,热膜电阻发生变化(如图3 非制冷热成像相机的工作原理,原文标注:Figure 3. Principle of operation of an uncooled
thermal imaging camera [2])。
如图3所示,R?为内置探测器,R?为工作探测器,R?和R?为标准电阻,E为采样电信号:
?
无红外辐射时,桥路平衡,无电压信号输出;
?
有红外辐射时,R?温度变化导致电阻值改变,电路不平衡,输出电压信号。
2.3 关键性能指标
红外热像仪的核心性能指标包括:像素、空间分辨率、温度分辨率、最小分辨率、光谱响应、帧率、探测识别距离等。其核心功能是将被测目标的红外辐射转换为二维灰度或伪彩色信号,呈现目标的二维温度分布,可实现远距离探测、精准制导,且能在雨雾、无光等环境中全天候工作。
3 热成像相机处理技术
红外热像仪采集的图像存在偏暗、对比度低、分辨率低、边缘模糊等问题,且受外界环境和设备自身材料影响,测温精度较低。需通过校正、去噪、增强等处理,提升红外图像的测温精度、对比度、分辨率和信噪比。
3.1 红外图像处理技术
3.1.1 非均匀性校正
红外图像的非均匀性与制造材料、工艺、器件工作状态、外部输入、光学系统影响等相关,需通过校正算法优化。传统校正方法分为两类:
|
校正类型 |
具体算法 |
|
基于标定类 |
一点校正法、两点校正法、多点校正法、插值校正法 |
|
基于场景类 |
时域高通滤波法、神经网络法、卡尔曼滤波法、基于配准的方法 |
图4 红外图像非均匀性校正算法研究(原文标注:Figure 4. Study of nonuniformity correction
algorithms for infrared images.)
(1)两点标定校正
当红外焦平面探测器增益和直流偏置分量不一致时,会产生乘性噪声和加性噪声。两点校正的前提是:探测器单元线性、热响应率稳定,环境温度变化小,外部入射红外能量在标定温度范围内,且1/f噪声可忽略。
?
像素响应输出表达式:(u??为增益系数,v??为直流偏置系数);
?
校正过程:;
?
校正后输出:;
?
增益系数与偏置系数:。
图5 两点温度标定示意图(原文标注:Figure
5. Schematic diagram of the two-point temperature calibration.),其中b为标准像素输出,左侧a为未校正像素输出,右侧a为校正后像素输出,P?和P?为低温T?、高温T?黑体均匀辐射下的探测器像素输出值。
两点校正法适用于标定温度范围内,超出范围则会显现非均匀性。
(2)多点标定校正
在高低温环境下,红外焦平面探测器响应元件呈非线性,两点校正法会引入误差,需采用多点标定。该方法采用多个不同温度点,在每个温度点之间进行两点标定和多段线性拟合,更贴合探测器非线性响应的实际情况(如图6 多点温度标定示意图,原文标注:Figure
6. Diagram of multi-point temperature calibration.)。
?
多温度点输出表达式:;
?
分段校正公式:(φ∈[φ?, φ???],m∈[1, k-1]);
?
通用校正公式:。
多点校正效果优于两点校正,标定点数越多,校正偏差越小,温度适应性越强。
(3)BP神经网络校正
基于神经网络的校正无需标定,其中BP神经网络应用最广泛、技术最成熟。其核心是误差反向传播算法:
1.
每个神经元与一个检测单元相连,信息输入隐藏层计算;
2.
计算值输出至输出层,与神经元期望值对比得到误差;
3.
超出设定范围的误差反向传播,修改权重系数;
4.
反复学习直至误差小于设定阈值。
3.1.2 图像去噪
红外图像受探测器材料、加工方法、外界环境影响,噪声严重,需通过去噪处理提升视觉质量。传统去噪研究集中在空间域和变换域,具体算法分类如下:
图7 红外图像去噪算法研究(原文标注:Figure 7. Research on infrared image denoising
algorithms.)
近年来,基于深度学习的去噪成为主流,主要分为两类:
?
多层感知器网络模型;
?
基于卷积神经网络的去噪(含固定尺度和变换尺度)。
代表性算法包括:
?
DnCNN(2017年提出):借鉴ResNet残差学习,输出原始图像与重建图像的残差图像,采用批量标准化技术,训练效率和性能优异;
?
FFDnet(2018年提出):快速去噪解决方案;
?
其他:DeCS-net(适用于高光谱图像去噪)、MCN网络(适用于合成孔径雷达图像斑点噪声去除)等。
3.1.3 图像增强
红外图像增强的核心是强化有用信息、抑制无用信息,提升人眼对感兴趣区域的识别度。算法分为传统算法(基于空间域和频域)和基于深度学习的算法(主流方向),具体分类如下:
图8 红外图像增强算法(原文标注:Figure
8. Infrared image enhancement algorithms.)
主流传统算法特点:
|
算法类型 |
核心原理 |
优缺点 |
|
直方图均衡化 |
压缩少像素灰度级、放大多像素灰度值,均匀化灰度分布 |
提升整体对比度,但会增强噪声、丢失弱小目标 |
|
改进型直方图算法 |
双平台直方图均衡化、对比度受限自适应直方图均衡化等 |
减少噪声,优化对比度提升效果 |
|
自适应分段线性变换 |
拓宽目标分布窄区域,增强目标与背景对比度 |
突出感兴趣区域,强化细节边缘 |
|
Retinex增强 |
基于物体表面反射率与光照无关的理论,分解图像亮度为反射率和入射光 |
提升图像细节和动态范围 |
|
傅里叶变换增强 |
低通滤波平滑图像、高通滤波锐化图像,突出轮廓特征和细节 |
兼顾平滑与锐化效果 |
|
小波变换增强 |
分离不同分辨率细节特征,非线性变换增强细节、抑制噪声 |
增强细节的同时减少噪声放大 |
此外,美国FILIR公司提出的数字细节增强技术,能有效压缩红外图像动态范围、保留弱小目标信息,是目前先进的红外图像增强方法,但核心技术未公开。
3.2 盲元检测与补偿
红外焦平面阵列中存在盲元(过热元、死元),会导致图像出现亮斑或暗斑,需通过“检测-定位-补偿”流程处理,避免过检测(正常像素误判为盲元)和漏检测(盲元误判为正常像素)。
3.2.1 盲元检测方法
|
检测方法 |
核心原理 |
|
滑动窗口法 |
以待检测像素为中心构建(2n+1)(2n+1)窗口,计算窗口内像素灰度值的最大值、最小值、平均值,当偏差Δ≥10%时判定为盲元 |
|
响应特性法 |
对比过热元、死元、正常像素的响应温度曲线,死元/过热元曲线基本不变,正常像素曲线随温度变化 |
|
运动场景法 |
采用n×n窗口,以偏差Δ≥0.1为判定标准 |
|
积分时间调整法 |
调整积分时间,获取不同时刻红外焦平面响应输出值,通过输出差值检测盲元 |
3.2.2 盲元补偿算法
|
补偿算法 |
核心原理 |
适用场景 |
|
邻域替换法 |
用盲元周围有效单元值的平均值替换盲元像素值 |
孤立盲元(大面积盲元效果差) |
|
时空相关性补偿法 |
结合像素时间相关性(前一帧补偿后单元值)和空间相关性,计算补偿值 |
各类盲元(补偿效果更优) |
3.3 红外热成像测温技术
3.3.1 测温原理
热成像相机通过接收物体辐射能量生成信号,进而确定温度,接收的辐射能量包括物体辐射能、大气辐射能、环境反射辐射能。测温遵循斯蒂芬–玻尔兹曼定律:,其中:
?
E为物体辐射功率;
?
ε为材料发射率;
?
σ为斯蒂芬-玻尔兹曼常数;
?
T为物体绝对温度。
通过计算不同来源的辐射信号,对照标定曲线得到对应温度,最终在显示设备上呈现。
3.3.2 热像仪标定
黑体是测温标定的标准参考物,具有完全吸收任意波段电磁波、无反射无透射的特性(热平衡状态下发射系数和吸收系数均为1)。实际应用中,封闭等温腔体上的小孔可模拟黑体辐射(称为黑体炉)。
标定要求:
?
环境条件:室内温度(23±5)℃,湿度≤85%RH,无强环境辐射;
?
标定流程:将热像仪对准多个已知温度的黑体,记录每个黑体的辐射信号与温度对应关系,形成标定曲线并存储;测温时,红外探测器接收辐射信号后,通过标定曲线转换为温度。
3.4 目标检测与跟踪
红外热像仪的目标检测主要针对人和车辆,核心流程为“图像预处理→目标检测→轨迹跟踪”,不受光照条件影响,可在昼夜、雨雾等恶劣环境下工作,但远距离监控时无法清晰识别面部和外貌特征。
3.4.1 预处理环节
包括图像去噪、增强、非均匀性校正,为后续目标检测奠定基础。
3.4.2 检测算法分类
|
算法类型 |
核心流程/特点 |
代表性算法 |
|
传统检测算法 |
目标区域框选→特征提取→分类器分类 |
特征提?。貉≡裥运阉鳌dge Boxes;分类器:Adaboost、SVM |
|
基于深度学习的检测算法 |
两阶段检测(候选区域划分→目标判断)或单阶段检测(区域划分与目标判断结合) |
两阶段:R-CNN、Fast R-CNN、Faster R-CNN;单阶段:SSD、YOLO系列(YOLOv2/3/4/5) |
深度学习算法优势:训练过程中自动提取红外图像特征(底层卷积获取位置信息,高层卷积获取语义信息),检测效率和精度优于传统算法。
4 多/高光谱热红外遥感
4.1 技术分类(按波段数量与光谱分辨率)
|
技术类型 |
波段数量 |
应用场景 |
|
多光谱成像技术 |
可见光-近红外范围内少数波段 |
常规地物识别、大范围监测 |
|
高光谱成像技术 |
可见光-近红外范围内数百个波段 |
精细地物细分、光谱特征分析 |
|
超高光谱成像技术 |
可见光-近红外范围内数千个波段 |
高精度物质识别、微量成分检测 |
4.2 核心特性与技术要点
高光谱遥感技术的核心是“图谱合一”,获取的数据为“数据立方体”,包含空间、辐射、光谱三重信息:
?
空间维度:呈现目标的空间分布;
?
光谱维度:每个空间单元可分解为数十至数百个窄波段,实现连续光谱覆盖。
高光谱红外成像系统采用面阵红外探测器,通过光学分光棱镜或光栅固定光谱波段,结合平台移动扫描实现高光谱三维成像。
关键技术包括:
1.
高光谱图像分类与特征识别;
2.
数据处理(数据降维、大气校正等):
?
降维方法:卷积运算、最小噪声分量变换;
?
大气校正:ATREM模型、ACON模型、FLAASH模型(基于MODERAN 4+辐射传输模型,校正精度高)。
4.3 技术不足
?
数据冗余与维度灾难:需有效降维和选波段;
?
空间分辨率低:光谱分辨率提高导致混合像元增多;
?
抗噪声能力弱:相比全色、多光谱图像更易受噪声干扰;
?
信息利用不充分:空间和光谱信息在目标检测、分类中未充分挖掘。
5 应用领域
5.1 红外热成像处理技术的应用
(1)交通领域
?
铁路:火车车轮、轴承、热轴箱测温报警;
?
汽车:发动机、轮胎测温,汽车防撞系统;
?
船舶:桥梁防撞预警系统;
?
航空:机身内部缺陷检测、机场跑道异物识别与预警。
(2)医疗领域
?
疾病诊断:组织器官炎症、疼痛、血液循环检查,恶性肿瘤辅助诊断及转移趋势判断;
?
体温筛查:新冠疫情期间广泛用于人员密集场所;
?
制药监测:实时监测药片表面温度分布。
(3)军事领域
?
侦察:地面/海洋/航天侦察,穿透伪装探测地下/水下目标;
?
武器相关:导弹预警、夜视作战、炸药温升特性研究。
(4)电力领域
?
设备检修:输变电设备、变压器、配电柜等过热故障检测与定位;
?
优势:非接触测温、精度高、安全性强,预防设备损坏和电网大面积停电。
(5)安防领域
?
火灾救援:穿透烟雾和障碍物寻找被困人员及隐藏火源;
?
森林火灾检测:结合卫星导航建立快速预警系统;
?
公共安全:安防监控、刑事证据搜索。
5.2 多/高光谱遥感技术的应用
|
应用领域 |
核心应用场景 |
技术优势 |
|
地质调查 |
蚀变带识别、矿产勘探、地下目标表征、煤火动态检测 |
精细光谱特征分析,提升找矿和地质灾害监测精度 |
|
农业与植被遥感 |
植物物种区分、水分胁迫检测、作物长势监测与产量预估 |
光谱发射率反演,实现精准农业管理 |
|
海洋遥感 |
海洋油污染监测、海水温度分布分析、海洋植被生长状况评估 |
大范围、无接触监测,快速获取海洋生态环境信息 |
|
环境监测 |
矿山污染检测、土壤水分时空分布监测、地表温度估算 |
动态监测能力强,为环境治理提供数据支撑 |
|
其他领域 |
军事目标识别、材料表面发射率检测、岩性分类mapping |
高光谱分辨率优势,实现高精度物质识别 |
6 结论
红外成像技术具有隐蔽性好、抗干扰强、目标识别能力突出、可全天候工作等特点,能在黑暗、烟雾等环境中探测目标,极大拓展了人类感知范围。随着产品成本降低,其民用领域应用不断扩大(2020年全球民用红外市场因新冠疫情测温需求大幅增长,长期来看仍将快速发展)。
多/高光谱红外遥感技术凭借“图谱合一”的优势,在地质、农业、环境等领域的精细监测中发挥重要作用,但需持续解决数据冗余、空间分辨率低、抗噪声能力弱等问题。
未来,红外热成像设备将成为自动驾驶车载摄像和检测设备的核心组成部分。目前其在汽车辅助驾驶中的应用仍处于较低水平,但随着自动驾驶技术的发展,应用空间和潜力巨大。
