连上脑机接口后,瘫痪的他们已经可以靠意念玩游戏
2024-09-18 16:51

连上脑机接口后,瘫痪的他们已经可以靠意念玩游戏

本文来自微信公众号:果壳 (ID:Guokr42),作者:代天医、黎小球,编辑:Odette,题图来自:AI生成


当地时间9月17日,马斯克的脑机接口公司Neuralink宣布,Blindsight(盲视)已获得美国食品药品管理局(FDA)的“突破性设备认定”。


如果一种医疗设备对严重疾病的诊断或治疗至关重要,FDA可能会授予设备此类认定,目的是加快该设备的开发和审查。|X@elonmusk


早在今年1月,马斯克就在社交平台X上宣布了Blindsight项目。它旨在通过脑机接口技术,帮助视障者恢复视力。今年3月份的时候,植入物已经在盲猴身上发挥作用。


一部分视障患者是由于眼睛或视神经受损失去了正常视力,但他们大脑的视觉皮层是完好的。如果将脑机接口设备植入到大脑的视觉皮层中,在电刺激的帮助下,视觉信息便可以绕过受损的眼睛或视神经直接传递给大脑,这类患者便有希望“看见”。


马斯克3月份说:分辨率一开始会很低,就像早期的任天堂显卡一样,但最终可能会超过正常的人类视觉。但也有研究者认为靠盲视这样的皮质植入物不太可能超过人类正常视力。丨X@elonmusk


盲视是脑机接口将外界信息传输到大脑的其中一种应用,目前脑机接口还可以将触觉等信息传入大脑。在输出大脑信息、用思想控制设备方面,脑机接口已经可以做到移动光标、轮椅或假肢,以及发声说话等。


脑机接口连接人脑的这一端,可分为非侵入、侵入和半侵入三类。其中,盲视等项目采用的侵入性接口需要打开颅骨,将皮层内微电极植入人脑,是三类中信号质量最好的。下面是这类脑机接口的一些新近突破。


瘫痪10年用机械臂喝水,假手也有触感


通过脑机接口(brain-computer interfaces,BCIs)控制机械臂,帮助瘫痪者完成日常动作,是研究者最先尝试实现的功能之一。


2012年的一项开创性研究,将脑机接口与机械臂相连,让一位因卒中四肢瘫痪14年的患者恢复了部分手部功能,第一次实现自己用“手”喝水


接下来的研究不断提高脑机接口控制的精细程度,增加机械臂可活动部位和运动方向,但做出的动作始终不如人类的快速和准确。部分原因是,健全人拿取物体时依赖触觉,如果手部丧失感觉,仅靠视觉判断,拿起杯子这种简单动作也会变得缓慢笨拙。


通过脑机接口控制机械臂时,也存在同样的问题。于是,研究者为机械臂使用者提供了触觉反馈,并将结果发布在2021年的《科学》


研究参与者是一位28岁男性,因颈部脊髓损伤而四肢瘫痪10年。研究者为他植入了2个有88个电极的微电极阵列,位于大脑运动皮层控制手臂和手的位置,用来测量并分析他想要做出什么动作。大脑神经元发出的信息,解码后传递至机械臂,控制机械臂做出抓握等动作。


另外2个有32个电极的微电极阵列,被植入到引起手掌和手指感觉的大脑感觉皮层。机械臂手中的传感器接收到压力信号后,通过脑机接口将信号传导到参与者大脑,引起手触摸到物体的感觉。


双向脑机接口示意图。A:参与者通过大脑皮质内BCI实时控制机械臂,控制包含5个维度(深蓝色箭头);B:4个微电极阵列被植入大脑左半球。运动皮层阵列(浅蓝色)记录人控制假肢的神经活动,感觉皮层阵列(红色)传递刺激信号,唤起手部感觉,两个方向上的信号同时传导;C:机械手电极的扭矩测量,彩色方块代表感知手部刺激的电极和位置;D和E:感觉和运动信号处理;F和G:两种测试任务的俯视图。|Kenzie Green


参与者分别在有和没有触觉反馈的条件下,做了9种拿取物体的测试,共108次。没有触觉反馈的时候,测试总得分为17分,仅一次测试获得满分3分;有触觉反馈的时候,总分21分,满分15次。添加触觉反馈,将成功完成测试的时间减少了51.2%,中位数时间从20.9秒减少到10.2秒。速度提高主要来自尝试抓起物体的时间缩短,因为没有触觉反馈时,参与者需要花更多时间把手放在确保能抓稳物体的位置上。


目前,控制机械臂的脑机接口,已经可以帮助四肢瘫痪者完成一些日常动作,并且通过提供一定的触觉反馈提高了动作速度。未来的研究,还将继续探索如何让思想对设备的控制更精细,以及设备如何更有效地为大脑提供反馈,最终使人对外部设备的控制能力尽量接近对人体的控制。


四肢瘫痪者通过脑机接口控制机械臂抓取物品。左图为开启触觉反馈,移动物体速度较快;右图为关闭触觉反馈,仅依靠视觉,抓稳耗时较长。|参考文献[11]


另外一种帮助瘫痪者的脑机接口不指挥机械臂,而是用功能性电刺激指挥患者自己的肢体。2014年,一名53岁的脊髓损伤男性加入BrainGate2临床试验,于大脑运动皮层手臂区域植入2个微电极阵列,右侧手臂植入36个电极。微电极阵列记录到神经活动后,活动被解码为命令,通过肌肉内的电极刺激手臂肌肉收缩,并控制手臂支架。


脑机接口和功能性电刺激系统开启之前,患者只能做出轻微的肘部抽动,完全无法移动手部。开启后,患者可以自愿进行肩、肘和手部关节运动,比如抓住咖啡杯并将其送到嘴边(植入后463天),以及自己吃饭(植入后717天)


无论是通过机械臂还是自己的手臂,恢复失去的手部功能,为瘫痪患者提供了完成日常生活活动的可能性,帮助他们提高独立性和生活质量。


患者通过脑机接口和功能性电刺激系统,伸出手臂接住咖啡杯并送到嘴边,最后松开咖啡杯。|参考文献[10]


Neuralink,让瘫痪患者用意念玩起电脑


在科技领域,埃隆·马斯克(Elon Musk)的脑机接口公司Neuralink一直备受关注。Neuralink的植入设备侵入性强,它会将非常细小的电极直接植入大脑组织中,以尽可能接近目标神经元、捕捉到更准确的电信号。


目前,已经有两位参与者植入了Neuralink的脑机接口设备。


第一位参与者叫诺兰·阿博(Noland Arbaugh),他于2024年1月接受了植入手术。诺兰2016年在一场游泳事故中受伤,导致四肢瘫痪,生活也从此改变。


诺兰接受的是Neuralink的N1植入物,也称为“链接”(the Link)。该设备有1024个电极,分布在64根导线上。为了将这些柔软的导线顺利插入受试者的大脑,Neuralink还开发了一种手术机器人。


N1植入物、N1充电器、Neuralink应用程序和R1手术机器人交互图丨Neuralink


在Link的辅助下,手术后诺兰很快便可以用意念控制鼠标光标,浏览互联网、看直播、和朋友一起玩在线电脑游戏等,并且这一切都可以躺着进行。手术前,诺兰想使用电脑要利用“口杆(mouth stick)”这种辅助设备,它需要护理人员帮忙安装,并且诺兰只能站立着用嘴操作,不仅妨碍正常说话,时间长了还会有肌肉疲劳、压疮等不适。


在首次研究会议中,诺兰就打破了人类脑机接口光标控制的世界纪录,达到4.6BPS,随后更是达到了8.0BPS。BPS又叫每秒比特数,是光标控制速度和准确性的标准度量。BPS越高,表示光标控制越好。


不过,诺兰在使用Link一个月后遇到了植入物功能大幅下降的问题,原因是85%的电极线缩回或移位。尽管通过调整算法恢复了部分功能,但这表明该项技术仍需进一步研究和改进。


Neuralink第二位参与者是Alex,脊髓受伤之前他曾是一名汽车技术员,主要负责修理各种类型的车辆和大型机械。


2024年7月,Alex通过手术植入了Link。考虑到诺兰遇到的情况,为了降低电极线后续回缩的可能性,Neuralink采取了一些措施,包括减少手术过程中的脑部运动以及缩小植入物与大脑表面之间的间隙等。


根据8月公布的最新进展,从Link连接到电脑的那一刻起,不到5分钟,Alex就能用意念控制光标移动;短短几个小时之内,他在Webgrid任务(一款用来测试计算机控制精确度的游戏)中表现出的速度和准确度,就超越了以往使用其他辅助技术所能达到的最佳水平。在第一天,他就打破了之前使用非Neuralink设备脑机接口进行光标控制的世界纪录。


除此之外,目前Alex还解锁了两项新技能,能力得到了拓展。


首先,喜欢制作的他在Link的辅助下,首次尝试使用计算机辅助设计(CAD)软件Fusion 360,为他的Link充电器设计了一个定制支架,并通过3D打印技术将其变为现实。


Alex在Link的帮助下,用意念控制电脑绘图。丨Neuralink


其次,在玩《反恐精英2》(CS2)这类射击游戏时,他能够同时进行移动和瞄准操作。脊髓受伤后,他玩射击游戏要依赖一种叫做Quadstik的设备。这是一种“嘴控”操作设备,上面安装有吸气式压力传感器、用于点击的唇位传感器,但该设备的问题是只有一个操纵杆,无法让玩家同时移动和瞄准,比如从移动切换到瞄准时,需要先松开操纵杆、然后吹吸另一根管子,这很影响体验感。有了Link之后,Alex能够将Link与Quadstick结合使用,同时移动和瞄准,从而解锁更流畅、更直观的游戏体验。


Neuralink公司表示,他们将继续与Alex合作,探索和扩展他的技能范围,以期实现更多的可能性。


难以发声的“渐冻症”患者重新说话


除了通过大脑皮层活动控制鼠标,脑机接口还可以把大脑中想说的句子转化为语音,代替不能发音的患者说话


凯西·哈勒尔(Casey Harrell)在40岁时出现肌萎缩侧索硬化症(amyotrophic lateral sclerosis,ALS)症状,之后5年里,他逐渐四肢瘫痪并出现严重的构音障碍,说话时音量低、发音不清楚。著名物理学家史蒂芬·霍金也曾患这种疾病,它又被称为“渐冻症”。


一般人无法听懂哈勒尔说的话,最熟悉他的人平均每分钟能听懂6.8个词,他使用头部控制的鼠标每分钟可输入6.3个词。他觉得失去与人沟通的能力非常痛苦,尤其是与他女儿的沟通。


2023年7月,哈勒尔在临床试验BrainGate2中接受了脑机接口手术。医生把他的头骨打开5x5厘米,将4个微电极阵列插入大脑皮层1.5毫米。每个微电极阵列大小为3.2x3.2毫米,排列着64个电极,植入位置是大脑的左侧中央前回,也就是术前医生通过MRI识别的他控制发音的部位。手术持续了5个小时,哈勒尔在术后第3天出院。


a:4个微电极阵列(以黑色方块表示)植入位置示意图;b:脑机接口工作图。256个电极从中央前回检测大脑皮层神经活动,没有麦克风采集声音。当哈勒尔尝试说话时,机器学习技术每80毫秒将神经活动解码为一个英语基本音节,通过一系列语言模型,音节被组合成单词,显示在屏幕上,单词再组成句子。句子结束时,文本转语音软件读出句子,尽力还原他患病前的声音。丨参考文献[5]


术后第一次使用脑机接口时,哈勒尔先进行了30分钟的校准,方法是复述包含50个词汇的指定句子。然后,他尝试用这些词随意造句,脑机接口读取大脑向肌肉发送的命令,转化为单词显示在屏幕上并读出来,单词识别准确率达到了99.6%。第二次使用时,词汇库扩充到125000个单词,训练1.4个小时后准确率为90.2%。


经过进一步校准,脑机接口在术后8.4个月内,单词识别准确率保持在97.5%,速度为每分钟31.6个单词,大约是正常人说话速度的一半。这远远超过了哈勒尔发音说话或者使用头控鼠标的沟通效率,准确率也超过了普通人使用手机语音识别单词(准确率约为95%)。他每天通过脑机接口跟家人聊天、参加工作会议、发邮件和上网,他的家人和朋友认为系统发出的声音很像他本人的。


a:哈勒尔正在使用脑机接口的照片;b:第二次使用脑机接口时,他对女儿说的话;c:使用脑机接口的累计时间;d:解码准确性。丨参考文献[5]


在之前的研究中,脑机接口需要在约半月的时间里,经过近20小时的校准,才能达到74.5%~76.2%的单词识别准确率,并且需要频繁重新校准。


这项研究将微电极数量增加了一倍,并改进了语言模型,使哈勒尔快速准确地恢复了沟通能力,展示了脑机接口将大脑活动精确解码为语言的潜力


之后,进一步研究将继续尝试提高脑机接口识别单词的准确率,并扩大适用疾病的范围,如纳入更常见的卒中,帮助人们重返生活和社会。


哈勒尔第二次使用脑机接口的片段,他正在对女儿说话。第一次的数据被研究排除,因为他看到想说的词显示在屏幕上时高兴地哭了,研究团队暂停了评估,让他和家人庆祝这个时刻。|参考文献[5]


从脑电图的发现,到如今能够实现基本的神经信号解码与设备控制,脑机接口已经从科幻走向了现实。前景广阔的脑机接口技术,不仅能为残障人士提供更多的自主性,未来或许也能帮助健全人士实现“想象中的场景”。当然在实现愿景的路上,挑战也并存着,比如技术层面上需要进一步提高脑机接口的精确度和稳定性,减少潜在风险,伦理和法律上要考虑隐私保护、数据安全等问题。


但不管怎么说,脑机接口都是目前最“振奋人心”的技术之一,它可能会重塑我们对大脑和意识的理解,人类与数字世界的互动方式也可能因它而彻底改变。


参考资料

1.https://neuralink.com/blog/prime-study-progress-update/

2.https://neuralink.com/blog/prime-study-progress-update-user-experience/

3.https://www.scientificamerican.com/article/neuralinks-first-user-describes-life-with-elon-musks-brain-chip/

4.https://neuralink.com/blog/prime-study-progress-update-second-participant/

5.Card NS,Wairagkar M,Iacobacci C,Hou X,Singer-Clark T,Willett FR,Kunz EM,Fan C,Nia MV,Deo DR,Srinivasan A,Choi EY,Glasser MF,Hochberg LR,Henderson JM,Shahlaie K,Brandman DM,Stavisky SD.An accurate and rapidly calibrating speech neuroprosthesis.N Engl J Med.2024;391(7):609-618.

6.https://www.als.org/blog/advances-brain-computer-interface-technology-help-one-man-find-his-voice

7.https://twitter.com/elonmusk/status/1752202239744102646

8.https://twitter.com/elonmusk/status/1770817187285995939

9.Ione Fine et al,A virtual patient simulation modeling the neural and perceptual effects of human visual cortical stimulation,from pulse trains to percepts,Scientific Reports(2024).DOI:10.1038/s41598-024-65337-1

10.Ajiboye AB,Willett FR,Young DR,Memberg WD,Murphy BA,Miller JP,Walter BL,Sweet JA,Hoyen HA,Keith MW,Peckham PH,Simeral JD,Donoghue JP,Hochberg LR,Kirsch RF.Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia:a proof-of-concept demonstration.Lancet.2017;389(10081):1821-1830.

11.Flesher SN,Downey JE,Weiss JM,Hughes CL,Herrera AJ,Tyler-Kabara EC,Boninger ML,Collinger JL,Gaunt RA.A brain-computer interface that evokes tactile sensations improves robotic arm control.Science.2021;372(6544):831-836.


本文来自微信公众号:果壳 (ID:Guokr42),作者:代天医、黎小球,编辑:Odette

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定