我们的技术圈 ,关注商业科技,国内创新技术交流与转化的平台
×

  会员登录

现在注册

第三方登录
                         
悦智网 > 悦科技 >
大脑竞赛者
2017-12-08 13:22
原创  Ieee Spectrum
评论

大脑竞赛者aa.jpg

2016年10月,苏黎世一个体育馆内座无虚席,一位名为努马•普卓利(Numa Poujouly)的男子驾驶着轮椅驶向体育馆中央。伴随着瑞士国歌,世界首届半机械人奥运会的组织者将金牌颁给了普卓利。现年30岁的普卓利因十几岁时骑自行车发生车祸而导致瘫痪。他赢得了联赛中最为科幻的赛事。在该赛事中,竞赛者通过用大脑控制其在视频游戏中的化身来进行比赛。

半机械人奥运会是仿生版的残奥会。在6个不同赛事中,残疾人巧妙地利用高技术辅助设备环绕赛道,穿越障碍。当身体瘫痪的选手借助外骨骼套装走入会场,截肢者利用电动假肢操控物体时,体育馆内的观众发出阵阵欢呼。

一群有远见的人在苏黎世联邦理工学院(ETH)的罗伯特•瑞纳(Robert Riener)的带领下,组织了本次在苏黎世举行的半机械人奥运会,他们的目标包括:首先,效仿XPrize基金会的做法,通过比赛促进辅助技术的发展;其次,希望技术的终端用户能同工程师、临床医师及创业者一道设计相关设备;最后,希望提高人们对前沿科技的了解,这些科技在未来或许可给予残疾人非凡的能力。

我们位于日内瓦的瑞士联邦理工学院(EPFL)脑机接口(BCI)实验室的团队,选派了Brain Tweakers组参加半机械人奥运会的脑机接口比赛。金牌获得者普卓利是我们选派的两名驾驶员之一,他们仅通过大脑来控制化身穿越赛道。在脑机接口系统中,从驾驶员脑中获得的信号,通过解码算法,被转化为具体命令。在比赛中,该命令可以控制其化身的行为;此外,其他脑机接口系统可帮助患有严重运动障碍的患者控制轮椅、假肢及电脑鼠标等设备。

半机械人奥运会只允许使用非侵入性脑机接口系统,也就是使用放置于头皮上方的电极获取神经信号;不得使用植入脑组织的电极实验系统。非侵入性系统获取的神经信号噪声较强,但配合适当的信号处理软件,就可产生质量良好的命令信息,而且该系统不存在脑部手术的医疗风险。

我们的成功秘诀就是团队协作。利用普卓利及另一位驾驶员埃里克•安塞尔莫(Eric Anselmo)的反馈信息,我们研发了整套技术;通过他们的帮助,我们得以判定他们凭直觉生成的大脑控制命令,并对他们的化身进行可靠的控制。我们的系统在人和机器之间创设了一种共生关系,在训练过程中,驾驶员和脑机接口软件不断相互适应。我们的两名驾驶员均进入了决赛,而普卓利最终获得金牌也证明了我们的策略是成功的。

半机械人奥运会的组织者设计脑机接口赛事的初衷是让观众们在欣赏赛事的同时为参赛者们欢呼加油。但在评价该等脑机接口技术时,他们又十分谨慎,因为这些技术需进一步改进方可成为真正为大脑所控制的技术,例如,可远程操控的机器人或通过大脑移动电脑鼠标选取字母打字的通讯软件。

任何脑机接口软件均需要复杂的信号处理及统计学机器学习技术从大脑信号中提取相关信息,同时该软件必须配有校准和训练程序,以帮助用户提高信噪比。从实验室走向实践的过程中,脑机接口软件还必须准确快速地解码用户意图,避开无意识的命令,同时保持长期高效的状态。

多年来,我们一直从事脑机接口软件的研究,旨在通过脑机接口软件使人们可以控制相关设备并在与周围环境进行互动,我们的驾驶员为该技术的进步做出了诸多积极贡献。现年48岁的安塞尔莫因车祸伤及脊髓,在21岁时便身体瘫痪。他和普卓利一样,属四肢瘫痪,腰部以下没有任何感觉肌肉控制,对其手臂的控制也有限。

日常生活中,他们会使用轮椅及其他辅助设备,包括手机。他们渴望打字更快,更为灵活地操控物体,但现今最为先进的技术都无法做到,他们很是沮丧。

在半机械人奥运会的大脑竞赛中,屏幕上显示的赛道包括16个具有颜色编码并随机排列的分区。在化身到达一个新的分区时,驾驶员必须通过大脑发出一个明确的命令:在蓝绿色分区发出“加速跑”的命令;在布满突出障碍物的紫色分区发出“跳跃”的命令;在设有电网的黄色分区发出“滑行”的命令。如果命令发送错误,则会使化身减速。还有一种灰色分区,它需要驾驶员不发出任何指令;这时,驾驶员需要控制他们的所有思想,脑机接口软件也要避免将杂散神经信号解码成命令。

这场赛事也巧妙地测试了脑机接口系统识别多种不同命令并准时做出指示的能力。赛事环境极大地增加了比赛的难度:驾驶员须在嘈杂的体育馆内集中注意力并克服在观众面前进行竞赛的心理压力。如果驾驶员能在如此紧张的环境中使用该技术,那么他们大概也能在日常生活中使用类似的系统,赛事组织者如此假设。

大脑竞赛者b.jpg

为捕捉驾驶员的大脑信号,我们使用了附有电极和专门生物信号放大器的轻量脑电图(EEG)帽子。所使用的组件均可以买到,且经常用于神经学研究中。虽然脑电图帽子可以测定数百万个脑细胞的脑电活动,但其通过皮肤、骨骼及组织记录的信号却非常杂乱。因此,我们与驾驶员合作寻找相对可靠的强烈信号,同时我们对脑机接口信号处理软件进行了相应调整,使其能在比赛中有效处理驾驶员发出的信号。

为发出强健的神经信号,驾驶员们会想象他们在用四肢完成特定的动作。在这些脑力活动中,脑电图电极会检测到大脑运动皮质(控制人体自主活动的脑部区域)中脑电活动模式的变化。每个人的大脑构造如同其指纹一般独一无二,因此各驾驶员发出信号的运动皮质区域并不相同,而且信号的频率也会不同(一般介于8到30赫兹之间)。脑机接口软件须识别不同驾驶员独特的脑电图模式,并将其想象的运动转换成对化身的命令。

为适应半机械人奥运会的要求,我们对信号处理软件进行了调整,首先滤除了眼部和头部肌肉的电信号,因为脑电图电极也会获取这些信号而构成干扰。滤除程序既精确划定了神经信号的范围,同时也更符合半机械人奥运会的要求;组织者曾强调过,通过眼部或肌肉信号控制脑机接口软件的行为视为作弊。我们也要针对3个命令来修改我们的算法(我们之前做实验时都是2个命令),同时也要使其可以识别“空白”状态,这在实验系统中经常被忽视,但对软件的实际应用却是至关重要的。

对我们的成功起了最重要作用的其实是训练驾驶员时使用的“互相学习”法,该方法要求用户和脑机接口软件之间相互适应,以期实现后者性能的最大化。这就使得驾驶员的反馈尤其重要。

大脑竞赛者c.jpg

我们的研发团队之前同安塞尔莫合作进行过脑机接口软件的实验。在半机械人奥运会开始前6个月,安塞尔莫开始训练使用脑机接口软件进行比赛。在赛事开始前3个月,普卓利才开始训练,之前他从没使用过脑机接口软件。我们在驾驶员的家中进行训练,开始时每周训练2小时,后来随着赛事的临近,我们提高了训练频率。

我们的首要任务就是校准脑机接口系统,识别安塞尔莫和普卓利的神经行为模式。我们要求他们想象移动他们的右手、左手或双脚,同时脑机接口软件会建立相关大脑模式的模型,并将其同大脑竞赛所要求的3个命令关联起来。但在进行了几次训练后,我们发现想象这3个动作并不会产生十分清晰和强烈的信号。所以我们换了个思路。我们调整了脑机接口系统,使其仅识别2个大脑行为模式:想象移动双手及双脚。为产生第3个可识别的信号,驾驶员想象了一组快速动作,先移动双手,之后移动双脚。

在初始校准后,驾驶员开始了训练。刚开始他们进行的是简单的非竞赛类训练,要求他们看着电脑屏幕并试着用他们的神经信号将一个横条上下移动。随着不断的视觉反馈,他们慢慢学会了发出更为明显的信号。随着驾驶员发出的信号越来越清晰,我们会定期重新校准脑机接口系统,来显示两位驾驶员变化的大脑活动。

在驾驶员同软件可以协调一致后,我们便开始专注于大脑竞赛的训练。我们将移动双手的信号同“加速跑”命令联系起来,双脚移动对应“跳跃”,先移动双手后移动双脚对应“滑行”命令。

在开始的训练赛中,驾驶员同单一电脑对手进行竞赛。安塞尔莫同电脑进行了182场竞赛,平均比赛完成时间为127秒,最短时间为83秒。普卓利同电脑进行了57场竞赛,平均比赛完成时间为130秒,最短时间为86秒。在电脑竞赛阶段,我们通过确定平衡各驾驶员发出命令的准确性及速度的最佳参数,为他们专门设计了特殊的脑机接口系统。最后,在半机械人奥运会开始的前一个月,我们在实验室进行了两次联合训练。在这两次对峙中,驾驶员相互竞争,我们围在左右为其加油,以营造同真实比赛相同的氛围。

我们在10月份到达苏黎世体育馆的时候,发现我们的训练规程是有效的。我们的驾驶员能在真正的半机械人奥运会赛事上发挥出色,在比赛中,他们同其他参赛者进行较量,并在数百位观众的注视下冷静地比赛。安塞尔莫和普卓利通过了预赛,进入决赛,并取得了脑机接口系统比赛的最佳成绩,分别为90秒和123秒。在决赛中,安塞尔莫出现失误,因此无缘奖牌,而普卓利则按照他的正常速度比赛获得了金牌,为整个Brain Tweakers团队赢得了最终的荣誉。他的成绩是125秒,超出第二名31秒。

大脑竞赛者d.jpg

虽然赢得半机械人奥运会意义非凡,但我们的团队知道,更大的挑战在于将脑机接口这一实验性技术变成能够真正帮到残疾人的设备。

通过驾驶员的反馈,我们明白了当前脑机接口技术的局限性。他们说,佩戴和设置脑电图帽子至少需要10分钟,而且那帽子有些显眼。一般的脑电图系统均需要使用凝胶增加各电极透过头皮的传导性,因此用户在这一过程中需要他人的帮助。但在不使用凝胶的干电极方面,研究者也取得了相关进展,这应该会使系统使用更加方便。一些专家建议将电极永久植入头皮内部,但任何需要手术才能完成的系统均会面临监管障碍。

安塞尔莫和普卓利表示,校准过程持续时间过长、步骤繁琐,不适合日常使用。因此,我们的研发团队现在正在致力于改进校准软件,使其可由不了解脑机接口技术的康复医疗师甚至是由用户自己进行相应操作。我们已针对脑机接口打字系统进行了实验,该系统可以通过一系列简单步骤指导用户进行校准,并无须用户做动作去适应脑机接口解码器。使脑机接口训练变得不再繁琐的另一个方法是设计一个包括校准在内的游戏。

尽管当前存在诸多限制,但我们的脑机接口技术在半机械人奥运会上的表现证明了该技术是多么直观并令人满意。两名驾驶员均表示,在训练的最开始阶段便感觉到很强烈的控制感。“当化身第一次回应我的想法时,我真的很高兴。”安塞尔莫说道。驾驶员在掌握了简单的控制系统后,就可以通过本能控制他们的化身了。“我没有想着移动我的四肢,而是只想着化身的动作。”普卓利说道。

虽然脑机接口竞赛在现实生活中似乎没有任何直接和明显的用途,但脑机接口系统的本质就是将脑信号转换成命令。这就意味着,支撑脑机接口系统获胜的主要技术可用于诸多实用设备,包括电脑鼠标或假肢的控制系统。

大脑竞赛者e.jpg

要使该技术走出实验室,走进日常生活,我们需要考虑多种因素。熟练使用脑机接口软件仍需要精力非常集中;普卓利在赛前甚至进行了冥想来集中注意力。对于使用脑机接口技术处理日常事务的用户而言,能否做到如此专注?另外,脑机接口技术对三大命令(及空白状态)的实现在技术领域是一项重要成就,但现实生活中的用户则需要更多的功能。

为使脑机接口更为自然地控制设备,我们可以从人体运动中获得相关启示。例如,我们可使脑机接口解码器不仅识别想象的特定动作,而且识别这些运动的其他方面,例如运动方向和速度,然后运用该信息调整输出的命令。我们也在研究识别认知信号的脑机接口技术,例如,用户对错误的识别以及对关键决策点的预期。为研究对关键决策点的预期,我们曾将脑机接口技术用于汽车,在司机准备刹车和加速时测定其神经信号。

两位参加半机械人奥运会的驾驶员对脑机接口技术的前景十分乐观,并设想了应用该技术的诸多场景,以使他们在日常生活中获取更多的自主权。Brain Tweakers团队的工程师将努力使该技术成为实现这些场景的一个组成部分。另外,我们始终记得,我们能赢得金牌靠的是“互相学习”的方法,即人和机器相互适应并最终形成一个共生的系统。■

作者: Serafeim Perdikis, Luca Tonin , José del R. Millán

0
分享
   相关成果报告
2018-01-11
   发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反 动的言论。
评价:
用户名: 验证码: 点击我更换图片
   发表评论进入详细评论页>>
    友情链接申请链接    
科技纵览官网      阿里云      悦智官网      百度      360      腾讯      网易      凤凰网      新浪网      搜狐网      IEEE     
京ICP备15039501号-1

京公网安备 11010102002341号

本站由 提供计算与安全服务
关于
关于我们
商务合作
联系我们
订阅
RSS订阅
邮箱订阅
线下活动订阅

Copyright © 悦智网