据国外媒体报道,加州大学旧金山分校的Joseph Makin及其同事最近在《自然-神经科学》上发表的一篇论文报告了一种机器翻译算法,该算法可以
据国外媒体报道,加州大学旧金山分校的Joseph Makin及其同事最近在《自然-神经科学》上发表的一篇论文报告了一种机器翻译算法,该算法可以解码神经活动,并以高准确度将其翻译成句子。
人类大脑信号首次解码语音十年后,其准确率和速度仍远低于自然语言。
研究人员盘点了机器翻译领域的最新进展,并利用这些方法训练循环神经网络,将神经信号直接映射到句子中。
据了解,这四名受试者都被植入了电极来监测癫痫,电极会记录他们在大声朗读句子时的神经活动。
之后,这些记录被加入到一个循环神经网络中,从而表达出有规律出现的神经特征,这些特征可能与语音中的元音、辅音或发音器官接收到的指令有关。
然后,另一个递归神经网络逐字解码这个算法,形成句子。
作者还发现,明显参与语音解码的脑区也参与语音产生和语音感知。
这种机器翻译方法将每个被试的神经活动解码成口语句子的平均错误率低至3%。
最后,研究人员还展示了如何通过多个参与者的数据来训练网络的某些层,并使用传输学习来提高有限数据的解码。
声明本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们