她轻松“愚弄”人工智能,并立志为其打上补丁

来源 :海外星云 | 被引量 : 0次 | 上传用户:longweii
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  32 岁,带 7 位博士生,还是最年轻的中国女性得主!她到底有多不简单?27 岁,李博博士毕业后,一个月飞行几十趟,走遍全美 50 多个城市,最终斩获 20 多个录用通知,且均由世界知名大学发来,如伊利诺伊大学香槟分校、马里兰大学、佛罗里达大学等高校。面试一家中一家,妥妥的超级“面霸”。
  而李博本次上榜 TR 35 榜单的原因在于,她在对抗机器学习方面,有着出色的研究。同时,她也是全球首批研究对抗机器学习的学者。
  如今,她是美国 “公立常春藤” 伊利诺伊大学香槟分校计算机科学系的助理教授,还曾获得全球只有3位入选的赛门铁克奖金,此奖金由美国赛门铁克颁布,用来奖励对计算机安全做出创新贡献的学者。

英國老牌博物馆展出成果


  2019 年 6 月,有着150多年历史的英国科技博物馆,展示了李博的研究成果。这是在该博物馆展出的、为数不多计算机领域成果。
英国科技博物馆展出李博及其团队生成的“对抗性路标”

  作为维多利亚女王曾亲自参与建设的博物馆,缘何展出这样一位年轻教授的成果?原因在于这项研究的目的很重磅,过程有突破,结果有应用。该研究的目的,在于发现 AI 技术的薄弱点,以及提出提高 AI 鲁棒性(计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性)的潜在方法、以及它们的重要性。
  自动驾驶汽车中的 AI 系统安全度不足,一直是行业痛点,其对于路况的识别,决定着乘客的安全。如何发现 AI 系统的薄弱点、以及在不同物理场景下 AI 系统被恶意攻击的原因,最终通过提高 AI 鲁棒性来提高 AI 安全性,是业界面临的重大难题。
李博

  为应对该问题,李博及其团队开启了一项研究。研究中,他们在停车牌上,贴上了黑色和白色的小贴纸,人眼看上去是随机的,并且不会遮挡标牌上的 “STOP” 等字样。然而,这种安排是经过精心设计的,如果自动驾驶汽车驶近,汽车神经网络就会误读停车标志。
  之前也有研究人员尝试过“对抗性攻击”,用对人无害的输入数据的处理、来愚弄神经网络,但多囿于数字化案例。比如,更改图像中的几个像素,并且让肉眼无法看到。总结来说,此前的对抗机器学习研究,主要存在于非物理世界中。而李博是最早证明 AI 对抗性、可以存在于物理世界中的专家之一。但是,证明过程并不顺利,因为她发现用来 “愚弄” 数字图像的方法,并不适用于路牌这样的物理对象。后来她把物理对象的特征如形状和纹理等,作了细微的改变。改完之后,她用神经网络来识别和利用另一个系统中的漏洞,从而让 AI 系统互相攻击。
  在应对目标网络的训练上,李博利用博弈论、来为攻击者与防御者建模。同时,她使用数据和机器学习算法上的空间、以及时序的连续性,来判断数据是否经过修改,并通过模型是否输出不一致,去查看是否存在潜在攻击。通过上述过程,她实现了让 AI 更强大、更鲁棒的目标。
  “车牌”研究之后,李博打算吃透基于路标的物理攻击。相比生成图形对抗样本,生成物理界中的对抗样本,主要面临以下技术难点:物理对抗样本不能像图形对抗样本那样,使用小量级的恶意修改,否则无法被真实世界中的相机等仪器捕获;物理对抗样本需要同时满足大量级、且不引起人类注意;物理对抗样本的恶意篡改,不能像图形对抗样本那样分布于整个图片,前者只能集中于某个具体物体表面;物理对抗样本需要在光照、距离和角度不同的条件下,都能成功地攻击机器学习模型;物理界对抗样本的生成,可能会受到打印机等硬件制成效果的限制而造成偏差。
STOP 交通牌上贴的标签

  为解决上述难题,李博和团队提出了 “空间可控的物理对抗样本” 生成模型。他们从不同实际条件中采集样本分布,来保证生成的对抗样本、可以在较大的样本分布中达成有效攻击,从而确保生成物理对抗样本的鲁棒性。
  如今,李博的研究已经在商业应用中开花结实。IBM 受该研究启发,以同样的方式保护其 AI 系统 Watson AI,该 AI 系统堪称“AI 界的老大哥”,在 AlphaGo 面世之前,Watson AI 一直是人工智能的代名词。亚马逊则使用李博的研究成果,来保护智能音箱 Alexa。一些自动驾驶汽车公司,也在使用其研究、来提高机器学习模型的稳定性。

身在海外,不忘华夏


  李博执教的伊利诺伊大学,和中国有着深厚的渊源。1906 年,该校时任校长爱德蒙 · 詹姆斯致信美国总统罗斯福,建议将庚子赔款用于发展中国的教育事业。后在罗斯福的推动下,美国国会通过法案,同意将部分庚子赔款用于中国学生留美项目,1909 年庚子赔款奖学金开始运作。
  钱学森、竺可桢和杨振宁等,均凭借该奖学金留学海外。其中,竺可桢还曾在伊利诺伊大学农学院读过书。1911年~1920年9年间,伊利诺伊大学收留和培养了多达 1/3 的留美中国学生,是对中国学生最友好的大学之一。到了当代,据教育观察媒体 Inside Higher Ed 统计,早在 2015 年,中国留学生就已成为该校的最大国际学生群体。   而李博当初在 20 多份录用通知中选择该校,则因这里非常注重 AI 发展、且有很多不错的合作者。李博带的很多博士生都来自中国。同样留过学的她,格外能体会中国留学生的困难如签证等问题。
  与业界的交流上,她也很重视和中国互联网巨头的合作。由于腾讯公司的微信事业部,面对着巨大的社交网络数据,靠谱的用户信用分析系统,成为微信团队处理数据的刚需。基于此,李博展开了和微信的合作。该合作着眼于研究用户是否有机会通过修改自己的数据如通讯录等,来 “愚弄” 当前的机器学习系统,从而达到修改信用分数等目的。面对微信的期望,李博给出了肯定的答案:恶意用户极有可能通过修改小部分数据,达到一些具体目的。
  后续,李博和微信团队一起提出了“恶意网络连接检测和防御算法”,来判断某些数据比如好友信息是否可信,同时利用对抗训练,来提供更多的符合恶意攻击数据分布的数据去训练图神经网络,使生成的图神经网络有更强的鲁棒性。

名字带“博”的博士


  从本科到博士,李博累计发表论文几十篇, 引用高达 4700 多 H-index 28(科研影响力的指标)。尽管她的名字略显男孩子气,上中学之前从未留过长发,但电话中的李博却声音轻柔,甚至主动替记者考虑采访时差问题。
  由于名字里带有一个“博”,从小家人就希望她可以考上博士。三四岁时,她就戴着借来的博士帽子照相。爸爸有時也会带她去和认识的博士学者们吃饭,对知识的憧憬早在童年就已埋下。
李博带的中国留学生

  作为一名学霸,她第一次认识到学习的重要性,是因为一次转学。李博爸爸是广东湛江人,妈妈是山西阳泉人。由于父母工作原因,小学四年级时,李博从广东转学到山西。刚到新学校时,同学们质疑她是因为成绩差、或者表现差才转学的。结果第一次考试,她就是前几名,同学们对她的偏见也得以改观。中学时,李博非常喜欢物理,还会阅读《时间简史》等高难度书籍。不过她比较文理兼备,曾很喜欢余秋雨的书,学生时代经常滑旱冰、弹钢琴。高中时,李博就已成为党员。大学期间去台湾地区作了一年交换生,从大二开始就跟着导师以及学长学姐们写论文。
  谈及出国读书和在美国工作,她表示希望可以通过在世界一流的计算机科研环境中,研究出更多成果,帮助更多来自祖国的学生,来反哺自己曾经生活过的地方。在计算机研究以男性居多的时代背景下,李博的研究必将激励更多女性投身科研。女性得天独厚的细心,也会让科研更有温度。她的经历也告诉我们,科研女性并不是古板板,她们照样留长发、弹钢琴、读文艺书籍,照样声音柔和,但却热爱科学!(本刊综合整理)(编辑/莱西)
其他文献
话说,当初哈里梅根宣布正式退出王室时,女王曾给过一颗“限期后悔药”:如果他们在一年内反悔,“王室随时欢迎他们回来”。  可惜,现在看来女王的一再让步毫无作用。尽管传闻哈里完全不能适应好莱坞的生活,曾数次跟好友表达想念王室和亲人,可种种迹象都表明,哈里梅根似乎是铁心要留在美国了……梅根:离开英国退出王室是命运安排  自从BLM运动在美国如火如荼,被英国媒体称为凡事都爱插一脚的梅根却安静得近乎诡异……
安吉拉·阿伦茨安吉拉和库克  苹果终于动手了!近日苹果官方宣布,第一高薪Angela Ahrendts,将于今年四月份离职。是的没错,就是安吉拉·阿伦茨,苹果公司的副总裁、二号人物,“被离职”了!  关注苹果公司的人,对这个安吉拉·阿伦茨,肯定不陌生。这姐们可不是一般的角色:她曾任巴宝莉首席执行官,被形容为来自时尚界的“女魔头”;她是苹果首席執行官库克下了大力气,从奢侈品牌巴宝莉挖过来的,也是苹果
哈里斯、沃伦、吉利布兰德(左起)  美国会迎来第一位女总统?随着四位女性政治人物宣布参加2020年总统大选或表达参选意向,让这个问题继2016年大选后再次成为舆论焦点。  她们是谁?  以下的四位女性政治人物正式宣布参选或表达了参选意向:卡玛拉·哈里斯(Kamala Harris,又译为贺锦丽)哈里斯  54歲的哈里斯是代表加州的联邦参议员。作为牙买加与印度移民后代,她是非裔与亚裔的双重少数族裔,
杰西卡·辛德曼是美国一名年轻的小提琴手,但她却有着不寻常的音乐人经历。  辛德曼擅长演奏古典音乐,确切地说,应该是擅长模仿演奏古典音乐。  辛德曼在2019年出版的《Sounds Like Titanic》(意译:听似泰坦尼克)回忆录中,讲述了自己在2002年~2006年4年中跟随假乐团演出的经历。  辛德曼在乐队中担任小提琴手,他们的乐队曾经在商店、礼堂、慈善机构等许多地方演出。  他们出镜、上
”5、4、3、2、1……“  没有飞机机长会在起飞前给乘客倒计时,但这并非一架普通的飞机。除机组人员外,这架飞机的所有乘员都是科学家。他们已经通过了包括心脏检查在内的全面体检。这不是为普通乘客服务的航班。  “拉起!30度、40度……”  此时,飞机正在做一项复杂而危险的飞行动作,需要驾驶舱内的三名飞行员通力合作才能完成。飞机从平飞状态迅速拉起,爬升角度不断增大,30度,然后40度。在进行零重力飞
我们的肠道含有大约100万亿个微生物,统称为肠道菌群。没有两个人的微生物群是完全相同的,它们和我们出生时从母亲那里的遗传,以及我们的饮食、环境和生活方式有关。  已经确定的是,肠道在我们的身体的许多系统中通过多重机制发挥作用,包括消化系统,控制饥饿和饱腹的感受系统。但现在,研究人员已经开始发现肥胖和苗条的人的微生物群落之间的具体差异,并根据他们的研究成果开发个性化的减肥疗法。  人类基因组中有几百
在办公室等公共场合要注意不要干扰他人  你有没有留意过,生活中有些人总是显得坐立不安、手脚没处放、动作多多。  他们或是双腿不断抖动,没事咬手指甲、玩头发、不断按手中的圆珠笔笔头等。总而言之,就是小动作多多,让人看了有点累。  但是,现在研究人员发现,这些小动作很可能并不是什么坏事。  阿尼博士表示,像抖腿、没事在纸上涂鸦乱画等小动作还可能给人的身心带来潜在的益处。对身心有益?  纽约神经科学家安
《中国绘本故事》  这其实是《纽约客》派驻中国的专栏作家项美丽两本书的集合:《中国故事绘本》和《中国ABC》。读库重新策划,将两本小书合二为一的这本书,它有一个平淡无奇的外封,打开来却让你绝对惊喜。  20世纪三四十年代,项美丽在中国生活了近九年,辗转上海、重庆、北京、香港,是个中国通。《中国故事绘本》是她为自己五岁的女儿所写,向那个生活在美国的小女孩介绍中国,让她了解地球另一面那些同龄的中国孩子
蛋白质,是组成人体一切细胞和组织的重要成分,是生命的物质基础。蛋白质在生物制药领域有着重要的作用,其中许多蛋白质可被用于研发治疗糖尿病、癌症和关节炎等疾病的药物。  但是,人工合成蛋白质是一个十分复杂、耗时的过程,在生物学上,多个氨基酸通过肽键连接形成多肽,多肽经过多级折叠后形成蛋白质。如何快速合成蛋白质?这一问题是近年来科学家一直试图解决的问题。  人工缩短氨基酸之间的连接时间,或许是一个潜在的
在国际空间站(ISS)工作的3名宇航员  新冠肺炎全球蔓延之际,在国际空间站(ISS)工作的3名宇航员任务完成准备回家,结果发现地球跟他们出发前已经大不相同。这前后也就几个月时间。  4月17日格林尼治时间早晨05:16,他们的着陆舱返回地球。打开舱门,外面等候的人都戴着口罩。他们事先已经经过严格隔离,出发搜寻返航着陆舱之前刚刚做了病毒检测,确保没有感染风险。  着陆舱里离开地球时间最长的是美国宇