论文部分内容阅读
失语者真的可以正常说话吗？现如今，随着科技的进步，很多不可能悄然变成了可能。北京航空航天大学研究生王娜娜和清华大学研究生黄爽就是把这个不可能变为可能的人，她们是怎么做到的呢？
为了失语好友，决心帮助失语者群体
王娜娜和黄爽分别出生于1994年、1995年。两年前，她们同为北京航空航天大学的本科生，也是同寝室的闺蜜。在一次朋友聚会上，王娜娜结识了聋人朋友张权。因为王娜娜不懂手语，他们沟通起来十分困难，即使和张权面对面，她也不得不用微信打字和张权交流。当许多人在一起聊得热火朝天时，张权默默地坐在角落里，周围的热闹好像与他无关。而他眼里流露出的那种茫然无助的眼神，让王娜娜看到后不由得一阵阵心痛。她为张权感到抱歉，担心朋友们的忽略，会加重他的自卑。
回到宿舍，王娜娜把张权的事告诉了黄爽。她俩开始关注失语者群体，并思考着为他们做点什么。
为了让朋友们能感同身受，学会换位思考，多给“失语者”一些关爱，少一些歧视，几天后的一个周末，王娜娜和黄爽举办了“假如给我一天成为你——一日失语者体验”活动。
在超市里，因为结账时需要了解价格，体验失语者的王娜娜只能通过手机和店员沟通，时间稍长排在后面的人开始不耐烦地催促。而黄爽在与小朋友沟通时，差点被认为是拐卖儿童的坏人。在跟随的记录人员与家长说明后，她才顺利地帮小朋友将风筝放飞到蓝天。
通过这次活动，王娜娜体会到，生活中，失语者面临着极大的沟通困难。他们很难说明自己的意图和想法，很难表达自己的困境。在网上，她们了解到，如何帮助失语者，是世界上很多研究机构的课题，但成果大多还停留在实验阶段。
她们想，假如有种机器能够辨识手语，并将其同步翻译成正常人能听到或看到的语言，那么一般人就能轻易地理解聋哑人要表达的意思，帮他们脱离困境。
于是，她俩着手研究手语翻译的可行性。查论文、做实验、写代码，用以前得到的“冯如杯”奖金5万元作为启动资金行动起来。
她们知道，产品的设计一定不能突出失语者与别人不同，要让失语者戴着它看上去一如正常人。因为在众人眼中自己异于常人，是失语者心里的隐痛。
提供有用的产品固然重要，最重要的是要保护失语者的尊严！
发明翻译臂环，让手语“发声”
一天课余时间，王娜娜听一位老师抱怨，说她孩子在学弹钢琴，仅凭每周一次的课程，很难纠正手型习惯上的错误，上课效率低下。钢琴老师向家长推荐了一款钢琴臂环，能识别钢琴演奏中手指、手臂的细微动作，孩子戴上后不多久，效果还不错。王娜娜很纳闷，这样精确的识别究竟是如何做到的？老师解释说，这要归功于一项名为肌肉电识别的技术。神经在传递信号驱动肌肉动作时会释放电流，通过对人体表面肌电信号的采集，就可以做到对细微的动作变化的识别。配合手环上的陀螺仪和手机、平板的麦克风，即可精确地收集到所需数据。将数据通过算法处理后，系统可以将钢琴演奏量化，输出为可被教师、学生、家长利用的可视化数据。
听完这些话，王娜娜立马就想到了手语。手语是用手来表达语言，通过手的形状、位置、运动来传递信息。不同的手指动作，定会触动不同区域的小臂肌肉，发出不一样的肌肉电信号。
王娜娜和黄爽打算也应用这项技术：将每个手语词汇的肌肉电信号录入系统，让人工智能深度学习，再次遇见时，识别和转化成语音。另外，在运动手环、智能手表普及的今天，佩戴臂环也不会让失语者显得突兀。
确定研发方向后，关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性，最初只有两个人录入手语的数据，整天戴着臂环在那儿抬手放手做动作。一个多月时间，王娜娜和黄爽对着手语教材，完成30个手势的录入，每人至少重复比划了一万五千多次。证实方案可行后，她们将更多志同道合的朋友拉入团队。她们后来联系了天津理工大学聋人工学院，合作进行数据采集和智能臂环开发，还与北京市朝阳区残联达成合作意向，为产品提供咨询、指导。朋友张权也成了团队的顾问。
为了这款取名为“手音”的APP能带给用户最佳体验，加班熬夜成了他们的家常便饭。团队放弃了“史上最长寒假”，回家过了几天春节，便匆匆赶往学校，继续开发研制。他们没有办公室，开会都是打游击战，咖啡厅、餐厅、教室都曾被征用过，做研发都是在自己的實验室里。团队里还有其他很多技术人员，大家一起熬夜写代码的时候，两个女生也会偶尔化身为“程序员鼓励师”，一起为团队加油打气。
如今，“手音”已经涵盖了200个手语动作，为了保证精确度，每一个动作录制了一千人次。在有了自己的手势数据库之后，团队还搭建了一个7层BP神经网络对数据速度进行训练。在识别手势后，会利用蓝牙将数据无线传输到电脑上，电脑根据传来的连续数据分析出是否符合某个手语动作，再通过扬声器将对应的词语或短句读出来。
整个流程看起来似乎并不复杂，但它能够像助听器一样成为失语者日常生活的一部分，极大地方便了他们的日常交流。
手语翻译器在联合国创业大赛上夺冠
为检验这款APP的效果如何，王娜娜拿着测试样机到一家超市给用户体验。正巧，她遇到了一位聋哑母亲，当时正焦急地向路人比划着什么，但是没一个人看得懂。王娜娜给这位母亲戴上臂环后，这位母亲打着手势，“我的孩子走丢了”的文字快速地反应在APP“手音”的界面上，并转化为语音说出“我的孩子走丢了”。当他们帮助她找到孩子后，她又做了点赞的手势，语音说出了“谢谢！”
这次体验的成功给了王娜娜团队很大信心。“当你真正去帮助他们，他们就知道你是为他们好，就会非常配合。”王娜娜说。在许多听障人士的帮助下，他们在使用APP过程中不断迭代更新，完善软件，同时得到越来越多的肌电数据，然后通过大数据进行分析，最后越来越精确。
2017年4月底，“极·致未来”责任创新挑战赛于北京举行，现场邀请了包括联合国开发计划署国别主任文霭洁、谷歌首席科学家在内的11位评委嘉宾。臂环研究团队的顾问张权上台，他手臂上的黑色臂环，看上去像跑步时用的护腕。当张权用含混的发音介绍他自己时，人们还在疑惑怎么都听不清楚他在说什么，接着才突然意识到，他是一个失语者。
然后，他用手指向前方，做出点赞的手势，“你好”的文字快速地反应在APP界面上，并转化为语音清晰地说出了“你好”，台下已经掌声雷动。王娜娜介绍，他们针对失语者设计了这种臂环，可以将手语翻译成语音，目的是解决听障人士的沟通问题，也就是帮助失语者“说话”。
联合国开发计划署驻华代表罗世礼先生十分认同中国青年人解决社会问题的想法和态度。据专家鉴定，该项研发成果具有广泛的应用前景，而且，随着人工智能的成熟，实现失语者像普通人一样流利对话，许多技术难题都将迎刃而解。届时，手语识别臂环将成为失语者的福音。
最后，王娜娜团队的“看见声音，听见手语”项目，从两千多份参赛方案中脱颖而出，获得了决赛第一名“最佳人气奖”，被誉为最有包容性的项目。
关于未来，王娜娜和黄爽有很多设想，“手音”可以实现面对面小聊和长时间对话的功能，未来还可以推出手语教学、手语字母和智能臂环，解决手语教师缺乏等各种问题。此外，这种人工智能技术成熟后还可以应用在其他方面，例如可以教学钢琴的孩子更加准确地弹琴。
责编/昕莉
为了失语好友，决心帮助失语者群体
王娜娜和黄爽分别出生于1994年、1995年。两年前，她们同为北京航空航天大学的本科生，也是同寝室的闺蜜。在一次朋友聚会上，王娜娜结识了聋人朋友张权。因为王娜娜不懂手语，他们沟通起来十分困难，即使和张权面对面，她也不得不用微信打字和张权交流。当许多人在一起聊得热火朝天时，张权默默地坐在角落里，周围的热闹好像与他无关。而他眼里流露出的那种茫然无助的眼神，让王娜娜看到后不由得一阵阵心痛。她为张权感到抱歉，担心朋友们的忽略，会加重他的自卑。
回到宿舍，王娜娜把张权的事告诉了黄爽。她俩开始关注失语者群体，并思考着为他们做点什么。
为了让朋友们能感同身受，学会换位思考，多给“失语者”一些关爱，少一些歧视，几天后的一个周末，王娜娜和黄爽举办了“假如给我一天成为你——一日失语者体验”活动。
在超市里，因为结账时需要了解价格，体验失语者的王娜娜只能通过手机和店员沟通，时间稍长排在后面的人开始不耐烦地催促。而黄爽在与小朋友沟通时，差点被认为是拐卖儿童的坏人。在跟随的记录人员与家长说明后，她才顺利地帮小朋友将风筝放飞到蓝天。
通过这次活动，王娜娜体会到，生活中，失语者面临着极大的沟通困难。他们很难说明自己的意图和想法，很难表达自己的困境。在网上，她们了解到，如何帮助失语者，是世界上很多研究机构的课题，但成果大多还停留在实验阶段。
她们想，假如有种机器能够辨识手语，并将其同步翻译成正常人能听到或看到的语言，那么一般人就能轻易地理解聋哑人要表达的意思，帮他们脱离困境。
于是，她俩着手研究手语翻译的可行性。查论文、做实验、写代码，用以前得到的“冯如杯”奖金5万元作为启动资金行动起来。
她们知道，产品的设计一定不能突出失语者与别人不同，要让失语者戴着它看上去一如正常人。因为在众人眼中自己异于常人，是失语者心里的隐痛。
提供有用的产品固然重要，最重要的是要保护失语者的尊严！
发明翻译臂环，让手语“发声”
一天课余时间，王娜娜听一位老师抱怨，说她孩子在学弹钢琴，仅凭每周一次的课程，很难纠正手型习惯上的错误，上课效率低下。钢琴老师向家长推荐了一款钢琴臂环，能识别钢琴演奏中手指、手臂的细微动作，孩子戴上后不多久，效果还不错。王娜娜很纳闷，这样精确的识别究竟是如何做到的？老师解释说，这要归功于一项名为肌肉电识别的技术。神经在传递信号驱动肌肉动作时会释放电流，通过对人体表面肌电信号的采集，就可以做到对细微的动作变化的识别。配合手环上的陀螺仪和手机、平板的麦克风，即可精确地收集到所需数据。将数据通过算法处理后，系统可以将钢琴演奏量化，输出为可被教师、学生、家长利用的可视化数据。
听完这些话，王娜娜立马就想到了手语。手语是用手来表达语言，通过手的形状、位置、运动来传递信息。不同的手指动作，定会触动不同区域的小臂肌肉，发出不一样的肌肉电信号。
王娜娜和黄爽打算也应用这项技术：将每个手语词汇的肌肉电信号录入系统，让人工智能深度学习，再次遇见时，识别和转化成语音。另外，在运动手环、智能手表普及的今天，佩戴臂环也不会让失语者显得突兀。
确定研发方向后，关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性，最初只有两个人录入手语的数据，整天戴着臂环在那儿抬手放手做动作。一个多月时间，王娜娜和黄爽对着手语教材，完成30个手势的录入，每人至少重复比划了一万五千多次。证实方案可行后，她们将更多志同道合的朋友拉入团队。她们后来联系了天津理工大学聋人工学院，合作进行数据采集和智能臂环开发，还与北京市朝阳区残联达成合作意向，为产品提供咨询、指导。朋友张权也成了团队的顾问。
为了这款取名为“手音”的APP能带给用户最佳体验，加班熬夜成了他们的家常便饭。团队放弃了“史上最长寒假”，回家过了几天春节，便匆匆赶往学校，继续开发研制。他们没有办公室，开会都是打游击战，咖啡厅、餐厅、教室都曾被征用过，做研发都是在自己的實验室里。团队里还有其他很多技术人员，大家一起熬夜写代码的时候，两个女生也会偶尔化身为“程序员鼓励师”，一起为团队加油打气。
如今，“手音”已经涵盖了200个手语动作，为了保证精确度，每一个动作录制了一千人次。在有了自己的手势数据库之后，团队还搭建了一个7层BP神经网络对数据速度进行训练。在识别手势后，会利用蓝牙将数据无线传输到电脑上，电脑根据传来的连续数据分析出是否符合某个手语动作，再通过扬声器将对应的词语或短句读出来。
整个流程看起来似乎并不复杂，但它能够像助听器一样成为失语者日常生活的一部分，极大地方便了他们的日常交流。
手语翻译器在联合国创业大赛上夺冠
为检验这款APP的效果如何，王娜娜拿着测试样机到一家超市给用户体验。正巧，她遇到了一位聋哑母亲，当时正焦急地向路人比划着什么，但是没一个人看得懂。王娜娜给这位母亲戴上臂环后，这位母亲打着手势，“我的孩子走丢了”的文字快速地反应在APP“手音”的界面上，并转化为语音说出“我的孩子走丢了”。当他们帮助她找到孩子后，她又做了点赞的手势，语音说出了“谢谢！”
这次体验的成功给了王娜娜团队很大信心。“当你真正去帮助他们，他们就知道你是为他们好，就会非常配合。”王娜娜说。在许多听障人士的帮助下，他们在使用APP过程中不断迭代更新，完善软件，同时得到越来越多的肌电数据，然后通过大数据进行分析，最后越来越精确。
2017年4月底，“极·致未来”责任创新挑战赛于北京举行，现场邀请了包括联合国开发计划署国别主任文霭洁、谷歌首席科学家在内的11位评委嘉宾。臂环研究团队的顾问张权上台，他手臂上的黑色臂环，看上去像跑步时用的护腕。当张权用含混的发音介绍他自己时，人们还在疑惑怎么都听不清楚他在说什么，接着才突然意识到，他是一个失语者。
然后，他用手指向前方，做出点赞的手势，“你好”的文字快速地反应在APP界面上，并转化为语音清晰地说出了“你好”，台下已经掌声雷动。王娜娜介绍，他们针对失语者设计了这种臂环，可以将手语翻译成语音，目的是解决听障人士的沟通问题，也就是帮助失语者“说话”。
联合国开发计划署驻华代表罗世礼先生十分认同中国青年人解决社会问题的想法和态度。据专家鉴定，该项研发成果具有广泛的应用前景，而且，随着人工智能的成熟，实现失语者像普通人一样流利对话，许多技术难题都将迎刃而解。届时，手语识别臂环将成为失语者的福音。
最后，王娜娜团队的“看见声音，听见手语”项目，从两千多份参赛方案中脱颖而出，获得了决赛第一名“最佳人气奖”，被誉为最有包容性的项目。
关于未来，王娜娜和黄爽有很多设想，“手音”可以实现面对面小聊和长时间对话的功能，未来还可以推出手语教学、手语字母和智能臂环，解决手语教师缺乏等各种问题。此外，这种人工智能技术成熟后还可以应用在其他方面，例如可以教学钢琴的孩子更加准确地弹琴。
责编/昕莉