Neurophotonics | Turbo-Satori:实时fNIRS神经反馈与脑机接口工具箱的开发与应用
近年来,基于近红外脑成像(fNIRS)的脑机接口(BCI)技术不断发展,逐渐成为人机交互(HCI)和脑状态解码等研究的关键工具,并在神经康复领域得到了应用。fNIRS 由于具备非侵入性、便携性和低成本的优势,在许多应用中替代了功能性磁共振成像(fMRI)。fNIRS 基于血氧水平依赖(BOLD)效应,即通过检测大脑血液中氧合和脱氧血红蛋白浓度的变化来反映脑部活动状态。这种方法不仅便于操作,且随着信号质量的提升,fNIRS 在 HCI 和 BCI 领域的应用前景日益广阔。
许多 BCI 研究依赖个性化的分析方法,通常使用支持向量机(SVM)等机器学习方法对信号进行分类处理,这类方法虽然能够实现脑机接口的基本功能,但通常难以评估信号质量及每次实验中的参与者表现。为了解决这一问题,研究人员开发了 Turbo-Satori 这款工具包,其目的是为使用fNIRS进行实时神经反馈和脑机接口实验的研究人员提供一款高效易用的工具。Turbo-Satori 采用递归最小二乘法(rlsGLM)进行实时通用线性模型(GLM)计算,并支持高级的 BCI 应用。软件直接兼容 NIRx 的 fNIRS 硬件,并经过全面测试,能够在实验进行的整个过程中实时处理数据,即使在长达6小时的实验中也保持性能稳定。
Turbo-Satori 的优势在于它为研究人员提供了实时的信号质量监控。例如,在神经反馈实验中,通道的信号质量对实验效果至关重要,因为个别通道的信号会直接用于反馈显示,错误的信号可能导致错误的反馈。Turbo-Satori 允许用户实时检查 fNIRS 信号的质量,并且能在所有通道的整体信号质量和单个通道的详细数据之间进行切换,从而对信号有更清晰的掌控。
本研究的目的是开发和验证 Turbo-Satori,这是一款用于实时功能性近红外光谱(fNIRS)神经反馈和脑机接口(BCI)应用的软件工具箱。Turbo-Satori 旨在通过集成多种实时信号处理和分析方法,为 fNIRS 数据采集和处理提供一个高效、易用的平台。它特别适用于需要实时监控信号质量的应用场景,如神经反馈实验和脑状态解码。该工具箱通过递归最小二乘法(rlsGLM)实现了实时 GLM 计算,并引入支持向量机(SVM)等机器学习方法,以支持高级 BCI 应用。此外,Turbo-Satori 与 NIRx fNIRS 硬件直接兼容,提供灵活的网络接口,使其易于在多种实验环境中应用,为研究人员、学生以及非专业用户提供了开展实时 fNIRS 实验的有效工具。
2. 方法
Turbo-Satori 的用户界面主要分为四个部分,每个部分有特定的设置和选项,用户可以根据需要自由排列或隐藏。界面的第一个部分用于配置分析的全局设置,包括控制和绘图选项,用户可以在此部分启动或停止实时、在线或离线分析。左侧的显示区域列出了所有通道,并使用颜色显示每个通道当前的 beta 值,以便用户即时观察信号质量和数据模式。
界面的第二部分为通道选择和分析窗口,用户可以通过该区域检查每个通道的氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)数据,基于实时通用线性模型(GLM)计算得到的 beta 值。同时,用户可选择多个通道进行平均,得到整体趋势图。第三部分为预处理窗口,用户可配置原始或 HbO/Hb 数据的预处理参数。第四部分主要用于显示时间序列数据,包含各通道的时间序列数据概览,以便用户检查信号中是否存在整体伪影或个别通道的异常。
2.2 实时预处理
在实时分析中,为保证计算时间小于连续测量的采样间隔,Turbo-Satori 使用修改的 Beer–Lambert 定律(MBLL)将原始波长数据转换为 HbO 和 Hb 浓度值。数据采集开始时,软件从首批接收到的200个数据点中生成基线值。在预处理选项中,用户可选择去趋势和低通滤波,并提供多种无限冲激响应(IIR)滤波器,包括指数移动平均滤波器、简单移动平均滤波器、巴特沃斯、切比雪夫和贝塞尔滤波器等,以适应不同实验需求。此外,还实现了一种基于 HbO 和 Hb 动态负相关性的实时运动校正方法,可自动提升信号质量。
2.3 实时数据分析
Turbo-Satori 使用递归最小二乘法(rlsGLM)实现实时 GLM 计算,对每个时间点的数据进行递归更新,从而高效计算 beta 值。GLM 计算结果以数值和颜色编码的形式显示在界面中,使用户能快速评估通道的信号质量。此外,为避免因时间序列中序列相关性带来的误差,Turbo-Satori 使用 beta 值作为默认输出,这一设置确保在实时实验中数据的稳定性和准确性。
2.4 实时多变量模式分类
多变量模式分类(MVPC)能够分析分布式激活模式,是神经影像学中检测条件差异的有效方法。Turbo-Satori 采用了广泛应用的支持向量机(SVM)算法来实现 MVPC,集成了 LIBSVM 库。用户可以在“多通道模式分类”对话框中训练 SVM,对已经完成的实验数据进行训练和离线测试,最后在实时实验中进行在线分类。系统支持多类问题,即分布模式可以被分类到两个或多个不同类别。
多通道模式分类对话框。选中了试验估算选项卡,用于控制每次试验的响应值估算
多通道模式分类训练对话框。此处显示了训练 SVM 分类器的选项,用户可以指定分类任务和用于训练的通道
神经反应对话框
2.5 神经反馈计算
在神经反馈的临床应用中,通常希望通过视觉反馈帮助参与者理解自己的脑活动水平。Turbo-Satori 提供了神经反馈界面,允许用户选择单个通道或通道平均值来生成反馈信号,实时显示在类似温度计的界面中。神经反馈信号通过将当前 HbO/Hb 值与基线水平对比计算生成,其中脱氧血红蛋白值的偏移会被反向显示,以便参与者更直观地理解反馈信号。
2.6 实时预处理和验证分析
为了验证 Turbo-Satori 的计算性能,研究者使用了四种不同的实验数据集。第一个实验为20通道,采样率为10.4167 Hz,时长约6小时,模拟长时间实验;第二个实验为64通道,采样率为7.8125 Hz,时长7分钟;第三个和第四个实验为左右手指敲击实验,分别使用256通道、采样率7.8125 Hz 和3.91 Hz,时长分别为6分钟和10分钟。所有实验均在3.0 GHz 的 Intel® Core™ i7-5500U CPU、8 GB RAM 和 512 MB SSD 的笔记本电脑上运行,结果表明计算时间在实验过程中保持稳定。
使用 Turbo-Satori 进行实时 fNIRS 神经反馈实验的设置
3.1 手指敲击实验
在手指敲击实验中,递归最小二乘 GLM 分析显示左右手指敲击任务在 Turbo-Satori 界面的布局视图中产生了不同的激活模式。对于左手敲击任务,在右半球出现了特定的激活模式(红色任务期),而右手敲击任务在左半球显示出相应的激活(绿色任务期)。每次任务后,使用固定的 beta 值阈值提取当前布局的状态图,结果表明,随着任务重复次数的增加,在左右半球的相应区域出现了超出阈值的通道模式。此外,在线分析的 beta 值与离线分析的相关性较高,Pearson 相关系数平均值为 0.999,且 p 值小于 0.0001。
3.2 手指敲击实验的支持向量机分析
在手指敲击实验的支持向量机(SVM)分析中,训练完成后可以观察到不同类别的平均响应模式。在左手敲击任务中,右半球的通道显示出较强的响应,而右手敲击任务中,左半球通道的响应更为显著。使用留一实验轮次法进行分类验证,并进行 1000 次置换检验。结果表明,利用两轮训练数据(每个条件 12 个试验)和一轮测试数据,分类准确率达到 100%,并且显著性水平 p < 0.01。
3.3 计算时间
Turbo-Satori 在一台标准的笔记本电脑(3.0 GHz Intel® Core™ i7-5500U CPU,8 GB RAM,512 MB SSD 存储)上进行了四项不同实验的计算时间测试。实验结果表明,平均计算时间显著低于采样间隔。第一项实验平均计算时间为 0.361 毫秒,第二项实验为 0.741 毫秒,第三项实验为 2.661 毫秒,第四项实验为 2.753 毫秒。这些实验结果展示了 Turbo-Satori 在长时间实验中的稳定性,计算时间没有显著的线性增加趋势。

4. 讨论
随着 fNIRS 在 BCI 和神经反馈领域的应用日益增长,研究和临床领域对易于使用且能够实现实时分析的软件工具需求也在增加。Turbo-Satori 的设计目标正是为了满足这些需求,通过集成快速的 C++ 计算引擎和直观的用户界面,Turbo-Satori 能够在各个通道上提供关于信号质量的实时反馈。此外,软件还提供了统计分析和支持向量机(SVM)分类等功能,为 BCI 应用提供了有力的支持,同时也可用于神经反馈的实时处理和展示。
Turbo-Satori 中实现的递归 GLM 方法已在实时 fMRI 应用中广泛使用,这一方法的加入帮助实验者在实验过程中监测参与者的表现。例如,如果参与者在实验初期未达到预期表现水平,实验者可以更早停止局部实验,为后续指导和解释预留更多时间。此外,递归 GLM 还可用于从数据中回归出混杂因素(如漂移),为神经反馈和分类子模块提供更干净的输入数据。
在高采样率的 fNIRS 实验中,由于时间序列中存在显著的时间自相关性,使用普通最小二乘法的 GLM 可能会导致信号自由度和误差协方差估计不准确。因此,当前版本的 Turbo-Satori 默认输出 beta 值。然而,已有多种有效的方法可以减小这一影响,例如数据“预着色”或“预白化”方法。最近的研究提出了一种在线最小二乘估计算法,该算法通过“预白化”技术优化了实时 fNIRS 信号处理,未来的 Turbo-Satori 版本计划整合这一功能,以进一步提高信号质量。
尽管 Turbo-Satori 已提供多种实用功能,但实时 fNIRS 处理和分析工具的进一步改进仍有必要。为满足不同实验需求,软件内建了插件接口,使得开发人员可以扩展其功能。此外,Turbo-Satori 提供的多种无限冲激响应(IIR)滤波器为研究人员提供了更大的灵活性,可以针对不同实验条件和个体特征调整信号质量,尤其在数据质量欠佳的情况下,更显其重要性。
随着 fNIRS 技术在神经反馈治疗领域的关注度逐渐增加,研究者对更多实时处理工具的需求日益增长,Turbo-Satori 的发展将为这一领域的研究和治疗提供更多的支持。标准化 fNIRS 数据访问方式的实现也至关重要,它将促进多种硬件的实时应用,进一步推动该技术的发展。当前,Turbo-Satori 基于 NIRx 硬件开发,但未来计划集成更多通用的数据采集接口,以支持不同实验需求的实时处理应用。
5. 结论
本研究介绍了 Turbo-Satori,这是一款功能丰富的软件工具包,专为实时 fNIRS 神经反馈和脑机接口应用而设计。该工具包通过清晰的模块分离实现了数据采集、处理和反馈展示的顺畅工作流程,并提供了简洁直观的用户交互方式。通过四项实验数据的测试,展示了 Turbo-Satori 在预处理和分析方法上的稳定性和计算性能,证明了其在数小时实验中的持久性和可靠性。Turbo-Satori 的开发为 fNIRS 实验提供了一个强大的实时分析平台,适用于学术研究和临床应用,为进一步的 fNIRS 实时应用探索提供了有效支持。
NIRX近红外用户交流群:
一家科研设备供应商及科研技术服务公司,公司致力于为神经科学和脑科学及运动领域研究提供卓越的解决方案及后续技术服务。我们的产品线涵盖了近红外脑成像系统、便携式脑电设备、生理多参数仪器、眼动仪、电刺激设备、生物力学跑台以及自行车训练台等领域,为用户提供高品质、高性能的科研工具
南京尖创科技有限公司秉承质量至上,精益求精的服务理念,现已为北京大学,北京师范大学,复旦大学,浙江大学,中国科学技术大学,南京大学,天津大学,深圳大学 ,南京理工大学,东南大学,河南大学,北京理工大学,西安交通大学,中国兵器集团兵器研究所,中国电子科技集团等超过五十所国内高校和科研院所提供了完备的产品服务