本文来自清华大学黄翊东教授、崔开宇副教授课题组的特邀综述“基于超表面的实时超光谱成像芯片”，从基本原理、结构设计、重建算法、实际应用等方面综述了超表面光谱成像芯片的最新研究进展，系统分析了这些研究的主要成果和发展趋势，被编辑部选为专题内封面文章。
封面解析：封面展示了超表面光谱成像芯片的基本结构和工作原理。芯片由超表面层、微透镜和图像传感器三部分组成，其中，超表面层由多个不同的超表面单元组成，它们对入射光具有不同的光谱调制作用；微透镜将调制后的光聚焦到图像传感器上进行探测，从探测光强中可以重建得到入射光的光谱信息。
光谱一般是指波长覆盖紫外到红外波段的电磁波频谱，该频谱区间内的光子能量同常见物质的能级间距相近，因而光谱携带着丰富的光与物质相互作用的信息，光谱也被称为物质的“指纹”。通过光谱分析可以鉴别物质并确定其化学组成。
传统的光谱成像技术一般采用空间扫描或波长扫描模式，无法实时获取视野场景中各像素点的光谱信息。基于超表面的快照式光谱成像技术方案，通过设计不同结构的超表面单元，能够实现对空间各点入射光频谱的宽带调制，采用图像传感器采集调制光信号，通过计算重建得到入射光的光谱信息，将计算光谱仪进行空间阵列化便可实现光谱成像。
超表面光谱成像芯片的结构示意图如图1（a）所示，芯片由超表面层和下方的CMOS图像传感器组成，超表面层包含多个超表面单元，每个超表面单元都是具有亚波长周期的微纳结构阵列。通过改变超表面单元的结构参数，可以实现不同的光谱调制函数。入射光经超表面单元调制后被其下方的图像传感器像素所探测，根据若干个光强探测值便可重建得到入射光的光谱，实现微型光谱仪的作用，如图2（b）所示。对于整个光谱成像芯片而言，测量光谱信号时，可以得到一幅透射强度图，如图2（c）所示。对于任一点而言，可以选取该点附近的任意 N 个测量值进行计算。例如，图2（c）中的红框、黄框、蓝框分别表示包含25个、49个、33个超表面单元的微型光谱仪，利用这种空分复用原理可以极大地提高光谱成像的空间分辨率。
图1 基于超表面的光谱成像原理。（a）超表面光谱成像芯片的结构示意图；（b）单个超表面微型光谱仪的光谱重建原理；（c）超表面的空分复用原理
2022年，作者团队基于规则形状的超表面单元研制出国际首款实时超光谱成像芯片，设计的超表面单元分为五种类型：圆孔型、方孔型、十字孔型、方孔和十字孔经过 45°旋转后得到的图案。该款实时超光谱成像芯片将单点光谱仪的尺寸缩小到百微米以下，单次拍照可以获得空间中超过15万个点的光谱信息，每个微型光谱仪的工作谱宽为450～750 nm，单色光的测量精度达到0.04 nm，光谱分辨率高达0.8 nm。
为突破规则形状的设计自由度限制，该团队进一步提出了一种自由形状超原子（Freeform Shaped Meta-Atoms）的超表面设计方法，通过对一个超原子内的区域进行网格划分、格点值随机分配以及滤波和二值化处理来生成自由形状，相应的设计自由度与规则形状相比扩大了2～3个数量级。得益于超表面参数设计空间的扩大，基于自由形状超原子超表面的超光谱成像芯片性能有了进一步提升，波长分辨率提升至0.5 nm。
对于超表面光谱成像芯片，通常需要对图像各点通过求解欠定线性方程组进行光谱重建，以得到最终的光谱图像。这种逐点迭代光谱重建算法存在重建耗时长、重建图像存在马赛克现象等问题。作者团队提出利用基于ADMM（Alternating Direction Method of Multipliers）迭代算法的深度展开神经网络ADMM-Net实现光谱图像的快速重建。如图2（a）所示，网络由多个子网络级联而成，每个子网络都包含线性变换部分 W (·)和卷积神经网络降噪部分（CNN）。网络的输入包含各个超表面单元透射谱信息的传感矩阵 Ф 和对目标物体成像后的测量图像 y ，输出为目标物体的重建光谱图像。
图2（b）给出利用ADMM-Net对标准色卡进行光谱图像快速重建的结果，以及商用光谱相机的采集结果、传统的利用CVX算法进行逐点光谱重建的结果、采用传统的迭代算法GAP-TV的重建结果和采用端到端神经网络λ-net的重建结果。可以看到，ADMM-Net的光谱重建准确性更优，且显著改善了图像的马赛克现象。在重建速度方面，采用ADMM-Net重建大小为256×256×26的数据立方，在GPU（NVIDIA GeForce RTX 3080）上仅需18 ms，在CPU（Intel Xeon Gold 6226R）上也只需要1.72 s ；相比之下，采用CVX算法进行逐点光谱重建则需要4854 s。由此可见，ADMM-Net的重建速度相比于CVX提高了约5个数量级。
图2 ADMM-Net的基本架构及对标准色卡的重建结果。（a）ADMM-Net的网络结构；（b）ADMM-Net对标准色卡的光谱图像重建结果
图3（a）展示了利用芯片对大鼠脑血管进行光谱成像，从测量的灰度图像重建得到数据立方，进而得到伪彩色图像和多波长下光谱图像的全过程。通过获取大鼠脑部不同位置的动态光谱变化情况，可以得到对应的血管区和非血管区的血红蛋白含量变化情况，并可进一步利用神经血氧耦合机制得出脑部神经元的活跃状态。皮肤在540 nm和580 nm左右有两个特征吸收峰，利用超表面光谱成像芯片能够将人脸和伪装材料有效区分。
在自动驾驶场景中，利用超表面光谱成像芯片结合快速重建算法可以实时获取视野场景各点的光谱，如图3（c）所示，对于颜色相近但光谱特性不同的天空和白色车辆，可以通过实时光谱成像进行区分，有助于避免白色车辆被误认为天空而引起交通事故。
本文从基本原理、结构设计、重建算法和潜在应用等方面对超表面光谱成像芯片相关研究进行了总结。未来，具备精度高、成本低、可量产等优势的超表面光谱成像芯片，将有望成为人工智能和大数据行业发展的基础，为智能手机、医疗器械、机器视觉、增强现实、自动驾驶、智慧城市等应用场景拓展出新的传感维度，真正让光谱感知无处不在。
清华大学微纳光电子学实验室成立于2004年，面向智能化社会在信息、能源、环境、生物医学等重大科技领域相关光电技术的创新突破，致力于微纳结构光电材料中新颖奇特的物理效应和光电特性的研究，探索研发新一代光-量子功能器件。实验室拥有百余项授权专利，创建了科研成果产业化企业华慧芯科技、与光科技、光函数科技，总估值逾20亿。