王文会课题组Nat. Commun.：基于神经形态技术的视频流式细胞仪

近日，清华大学精密仪器系王文会（点击查看介绍）课题组提出了基于神经形态技术的视频流式细胞分选仪，对粒子3D形貌进行时空表征，据此实现实时分选。该方法操控多粒子流经宽流道，利用一种神经形态视觉传感器（事件相机）成像全视场中异步流动的粒子，获得每个粒子的稀疏数据视频，通过部署在类脑计算芯片上的脉冲神经网络对每个粒子进行分类。得益于简单的“多目标追踪-SNN分类”流水线模式和类脑计算芯片的异步、稀疏驱动的轻量级计算，该方案能够实现准确和高通量的粒子分选。整套方案采用了相对经济的混合硬件方案（控制系统仅约7万元）和易于制造使用的微流控芯片（如流速仅为传统流式细胞仪的10%）实现,分选通量约1000细胞/秒。在区分与血液疾病相关的健康红细胞和病态红细胞应用展示中，该视频流式细胞仪将病态红细胞的分类错误率从传统基于单帧图像的约20%降到了基于视频的约1%。该成果近日以“基于神经形态技术的视频流式细胞分选仪”（Neuromorphic-Enabled Video-Activated Cell Sorting）为题在期刊《自然通讯》（Nature Communications）上发表。

研究背景与成果

近年来，得益于微流控、成像和计算技术的进步，成像流式细胞仪（Imaging Flow Cytometry, IFC）已成为一种强大而重要的方法，用于非侵入性和高通量表征单细胞。其中成像流式细胞分选仪（Image-activated Cell Sorter，IACS）作为IFC的最完备形态之一，往往基于单幅图像实现对细胞的实时高通量分选。然而，当前的成像流式细胞分选仪架构中所需的复杂高速摄像头和大量计算资源对吞吐量、系统复杂性和表征时空范围之间的权衡提出了巨大挑战。与此同时，成像流式细胞分选仪在实时分选上遇到了诸如粒子3D信息丢失和处理延迟等挑战，限制了其潜力。

图1. 基于神经形态技术的视频流式细胞仪

针对以上难题，清华大学精仪系仪器科学与技术研究所王文会教授课题组提出并建立了独特的神经形态视频流式细胞分选仪（Neuromorphic-Enabled Video-Activated Cell Sorter，NEVACS）框架，旨在实现高维时空的粒子表征和实时分选。基于降冗增效的策略，NEVACS在成像方面采用了一种神经形态视觉传感器，即事件相机，来捕获稀疏异步的事件数据，在捕获运动粒子信息的同时最小化视野中的背景信息。相应地，NEVACS采用脉冲神经网络（SNN）模型对粒子进行分类，并将SNN模型部署在类脑计算芯片上进行异步、事件驱动的轻量化计算，以实现精确的高通量粒子分选。进一步地，NEVACS将所提出的神经形态视频流式细胞仪用于分选常规红细胞和血液疾病相关的球形红细胞，以展现其相对于传统成像流式细胞仪的优势。

图2. 基于神经形态技术的视频流式细胞仪控制系统工作流

技术成果展示

本文所提出的神经形态视频流式细胞仪实现如图1所示。事件相机与倒置显微镜耦合，用于大视野（800×400像素）多粒子成像，获得的事件流传输到上位机。通过多目标跟踪（MOT）模块跟踪事件流中的斑点（即粒子的事件成像），以获得视野中每个粒子的时空成像序列。多个粒子异步地进入和离开视野，每个粒子都分配有其唯一的SNN分类器。分类任务被映射到众核架构神经形态芯片灵汐HP 201的功能核上，该芯片的60个核能够异步支持多达30个目标的分类任务。经测试，HP 201每次推理的时间为394.96±81.42 µs，而显卡RTX 3080 GPU的推理时间为675.67±309.11 µs。在效率方面，神经形态解决方案实现了1134.10±20.86 任务/s的总体效率，而基于RTX 3080总体效率则为634.05±47.60任务/s，这赋予神经形态视频流式细胞仪约1000 cell/s的通量。除此之外，HP 201的功耗为14.36±0.02 W，而RTX 3080的功耗为137.55±1.15 W，因此神经形态视频流式细胞仪也更适用于功率受限的应用场景。

图3. 神经形态视频流式细胞仪基本性能表现

点击查看视频

对于遗传性球形红细胞增多症或自身免疫性溶血性贫血患者，球形红细胞比例超过15%，而健康成人<3%。为了证明神经形态视频流式细胞仪的优势，混合常规红细胞和球形红细胞的样品导入微流控芯片中，通过垂直鞘液使细胞向前翻滚。细胞的视频包括其多角度成像，可输入神经形态视频流式细胞仪中进行细胞分类。为了比较，从视频中随机选择包含细胞完整外观的单帧图像，以模仿传统成像流式细胞仪的单帧图像激活分选控制。传统成像流式细胞仪中的单帧图像激活分类由于健康红细胞的盘状形态而容易受到不同角度的影响，造成较大错误。本研究使用视频和模拟的单帧图像对混合细胞样本进行检测，平均错误率分别为0.99%和19.93%，这表明NEVACS在血细胞形态学筛查和血液疾病诊断中的应用潜力。

图4. 正常红细胞与球状红细胞分离

除此之外，NEVACS可以将视野分成不同的区域，每个区域负责一个通道的成像，从而通过单个视觉传感器和单个计算节点实现多通道明场、荧光场时空成像，极大地简化了系统设计，从而减少延迟。在各种环境（例如水、空气、食品）甚至人体中观察到塑料微粒，对人类健康造成了极大的危害。在许多流体样品（例如血液）中，这些微粒将与细胞混合，可能需要从中分选出活细胞用于进一步分析以研究塑料微粒的作用。使用相同尺寸和相似球形形态的Hela细胞和塑料微球作为此类混合生物模型，NEVACS系统可从混合样品溶液中分选出活的Hela细胞。旋转的颗粒首先穿过荧光场，然后穿过明场。控制系统记录并关联同一粒子的不同通道视频，利用荧光场识别死细胞，明场识别细胞和塑料微粒，确保分选决策的鲁棒性和准确性，最终实现了95.74%的活细胞分离纯度。

图5. 神经形态视频流式细胞仪多通道成像配置

作为一种全新的成像流式细胞术，NEVACS预计可在单细胞/粒子分型方面发挥作用，尤其是3D形貌特征很重要的情况下，比如对藻类细胞、气溶胶粒子、塑料微粒子、血液细胞，使用场景可包括药筛、疾病诊断、医院检验化验、环境/污染监测等。

本工作的完成单位为清华大学精密仪器系、精密测试技术与仪器全国重点实验室。精仪系博士研究生何炜华、朱焌文为共同第一作者，精仪系王文会副教授为通讯作者。精仪系博士丰泳翔、梁非等为论文工作做出了重要贡献。精仪系赵蓉教授、邓磊副教授，中科院自动化所李国齐研究员，华中科技大学赵精晶教授为论文提供了重要指导。本研究得到了科技创新2030“脑科学与类脑研究”重大项目与国家自然科学基金的资助。

原文（扫描或长按二维码，识别后直达原文页面，或点此查看原文）：

Neuromorphic-enabled video-activated cell sorting

Weihua He, Junwen Zhu, Yongxiang Feng, Fei Liang, Kaichao You, Huichao Chai, Zhipeng Sui, Haiqing Hao, Guoqi Li, Jingjing Zhao, Lei Deng, Rong Zhao & Wenhui Wang 

Nat. Commun., 2024, 15, 10792, DOI: 10.1038/s41467-024-55094-0

导师介绍

王文会

https://www.x-mol.com/university/faculty/49857