Beyond Narrative Description: Generating Poetry from Images by Multi-Adversarial Training.

https://arxiv.org/pdf/1804.08473.pdf

这是一首由 AI 根据背景图片“有感而发”的诗歌。它源于日常生活中的一个画面，寥寥数语中，静谧的晴空一览无余，霎那的休止中又有微风拂动，语言平实自然，却真实地给人带来触动。

“这首诗最妙的地方，在于末尾句中‘You’的模糊指代，它指的可能是一棵树，可能是一位朋友，也可能是读诗的我自己。这是诗歌的魔力，而我们的工作正在创造这种魔力。” 这个极富浪漫气息的“AI 诗人”研究一举获得了 ACM Multimedia 2018 的“最佳论文奖”。

作为论文第一作者的刘蓓，当时是微软亚洲研究院的一名研究实习生，当她在两年后的夏天从京都大学博士毕业，再度回到熟悉的微软亚洲研究院时，已经成为了多媒体搜索与挖掘组的一名年轻的研究员。

正是“看图写诗”的研究项目，让这个喜爱诗歌、电影，富有人文艺术气息的女生对 AI 创作（AI Creation）产生了浓厚的兴趣。刘蓓将主要研究方向从博士时期的图像检索转向了 AI 创作，她希望自己的研究可以在绝对理性的算法模型与人类的光韵——艺术的力量、丰沛的情感与创作的激情中，找到某种奇妙的方式，将它们交融在一起。

当人类遇到动人的场景时，总能以充盈的情感和丰富的意象传达当下的思想感情。谈到让 AI 进行创作的初衷，刘蓓说：“当时让 AI 从图片生成文字描述的工作大多都在关注文本的准确性，但我认为让 AI 根据图片进行诗歌创作是更为有趣，同时难度也更高的课题。我也期待 AI 的创作能力能为大家带来审美体验，让更多人对诗歌这样的文学艺术产生兴趣。”

在看图写诗任务中，AI 不但要用充满想象力的方式自由探索图像中的关键信息，还要用有诗意的语言进行表述，这是计算机视觉与自然语言处理两个领域的联姻。AI 的表达不仅要与图像内容高度相关，还要符合一种连人类都难以捉摸的标准——富有“诗意”。

为了让 AI 更好地传达图片中的意境，刘蓓将图像理解与诗歌生成纳入了一个整体框架，由一个深度集成嵌入模型（Deep coupled visual-poetic embedding model）和一个基于 RNN 的生成模型共同进行联合学习，再采用序列学习用采集的 MultiM-Poem(Ex) 数据集进行模型训练，从扩展数据集中提取和建模更多有助于产生“诗意”的信息。最后，两个鉴别网络通过多重对抗训练，对生成诗歌与图像的关联性和诗意进行奖励和优化。这样的方法让 AI 的表情达意与图片高度相关又富有绝妙的想象力，这项研究也让微软小冰拥有了“看图写诗”的新技能。

刘蓓的“看图写诗”研究项目获得 ACM Multimedia 2018 最佳论文奖

正式加入微软亚洲研究院后，刘蓓还和研究团队一起与微软的产品部门合作了一些有趣的研发项目。例如，为了在 PowerPoint 中为用户推荐更加多样化的背景图片，刘蓓和 Office 团队合作，共同开发了在不降低图片质量的情况下改变图片配色的技术，让每一张图片都能自动变换多种合理的配色，这个技术不仅让用户在设计自己的 PowerPoint 过程中能够一键获得心仪配色的图片，也省去了不少搜索和处理图片的时间。

PowerPoint 背景图自动更换配色技术

“我们也一直在探索更多有意思的研究，比如根据一段文字故事生成一组图片的故事板（Storyboard），结合更多情感和美学因素变换图片的整体风格等等。这些技术正在陆续转化到微软的产品中，期待我们的研究能为用户的日常工作带来更多便捷和美感。”刘蓓说。

由于对日本文化十分感兴趣，刘蓓在南京大学完成本科学习后，在日语完全零基础的情况下踏上了京都留学之旅。

尽管国际课程大多采用英语授课，但当她抵达全然陌生的城市，推开实验室的大门，实验室秘书连珠炮似的日语着实让她体会了一把日语“苦手”的难处。

在接下来几个月里，刘蓓开始通过学校开设的课程“恶补”日语，渐渐地能够在日常生活中用日语进行对话，“只要你敢开口，当地人都会非常友善地和你交流，迎面而来的登山客都会热情地和你打招呼。而且你会发现日本的年轻一代英语非常好，完全打破你可能抱有的‘日式英语’的刻板认知。”

在读博期间，刘蓓的两位导师田中克己教授和吉川正俊教授都非常鼓励大家独立进行探索性的研究。在吉川正俊教授眼中，刘蓓勤奋而具有高度的自驱力，她在博士期间执着于寻找崭新的研究选题，并一个人投入其中进行探索性地尝试。“有时会感觉很吃力，甚至成果也不太显著，但是这种寻找全新问题、完整地完成独立研究的过程对我的成长来说非常重要。”刘蓓认为，做研究最不可缺少的就是这种“第一个吃螃蟹”的勇气。

刘蓓导师吉川正俊教授寄语

京都大学还有一项特殊的要求，在给学生配备本校导师的同时，还需要另一位来自其他高校或科研机构的学术导师共同参与指导。校内外双导师的制度也为刘蓓的博士生涯带来了更宽阔的学术视野，让她体会到了切换思维、从不同的角度去思考问题的重要性，了解主要方向之外的研究也时常会给她带来新的启发。

刘蓓（左二）与京都大学导师吉川正俊教授（右二）以及小导师加藤诚（左一）在实验室

也正因为实习时产生的兴趣，刘蓓果断地转换了研究方向。无论是“看图写诗”这样的文本生成，还是图像生成和艺术风格转换，每每跨入一个新领域，都是一次从零开始，而刘蓓总是抓住机会，一次又一次将自己置身于陌生的挑战中，让自己在短时间内快速地成长起来。

6年的留学生涯也给刘蓓留下了许多难忘的经历和文化体验。每年年末，她所在的实验室都会根据日本“忘年会”的传统习俗共同辞旧迎新。实验室将来自中国、日本、泰国、波兰、法国、西班牙等国家的同学们汇聚在一起，不仅让刘蓓收获了来自五湖四海的真挚友谊，也让她对多元的文化和见解产生了更深入的理解和包容。

刘蓓感受最深的是，日本注重细节体验、绝不给他人添麻烦的思维渗透到了生活中每一个细致入微的角落，譬如街边隔100米必有自动贩卖机，施工地段在封闭的同时，还会安排专人24小时照看以防路人碰伤。这样的文化环境也让原本就细心的刘蓓在待人接物时更能将心比心，关照他人的情感和体验。

当然，漫长的求学和科研道路需要披荆斩棘。在研究起步的早期，长时间没有论文发表，课题接连被导师否定，这些都会伴随着焦虑、沮丧，甚至自我怀疑。在刘蓓博士毕业时，实验室有不少同学没能坚持完成博士学业，刘蓓觉得很可惜，“常年求学异国他乡，心理防线确实很容易脆弱，但我认为，既然选择了读博，就要有一颗坚毅的‘大心脏’，不要因为一时的困难而放弃。”

刘蓓（前排左二）与导师田中克己教授（前排左一）及实验室小伙伴一起出游

作为 STEM 领域“少数派”中的一员，刘蓓认为自己的成长环境总体来说十分友善，但有时，偏见恰恰暗藏在一些看似“友善”的表达中。

刘蓓清晰地记得博士期间的一次团队合作项目，小组中的男性成员想当然地为了“照顾女生”而给刘蓓分配了 UI 这样的“更轻松的任务”，而由男生们来承担最主要的算法与开发工作。这让刘蓓一瞬间心情复杂， “这并不是他们所以为的‘女生在享受性别带来的优势’，而是一种偏见和不公。”

这件事让刘蓓意识到，传统的性别分工观念依然根深蒂固地存在于许多人的脑海中，他们会自然而然地认为“编程”是一项更具有男性气质的工作。除了外界贴上的标签，更可怕的是从内心给自己套上枷锁，“承认”自己不擅长某方面的工作而放弃努力。

而刘蓓想要告诉更多对科技领域感兴趣的女生，女性的编程能力完全可以非常扎实和强大。无论是读博，还是从事科研，女生都有很多优势，比如细致耐心，善于沟通表达，能够全面地思考问题，并提出一些创新性的独特视角。这些与生俱来的特点都足以让女生在计算机领域中出类拔萃。

刘蓓在微软亚洲研究院 Kick Off 晚会上担任主持

读博期间在微软亚洲研究院的半年实习，不仅将刘蓓引入了 AI 创作研究的大门，更让她被微软亚洲研究院自由开放的氛围和环境深深吸引。

多元与包容的文化深深地镌刻在微软的基因中。微软关注女性的成长与职业发展，也为女性群体间的交流、共情、互助提供了很多机会，在微软举办的多元化论坛 Ada Workshop 和 Global Women’s Conference 等活动中，优秀的女性研究者、工程师、学术界教授和产业界管理者会分享前沿技术、科研经历与工作生活的感悟，为更多女性传递经验和力量。

刘蓓非常享受微软亚洲研究院的工作和学习氛围，因为无论是研究选题方向，还是和微软内部不同的产品组合作，都可以跟随自己的好奇心，去将脑海中的创造力和想法实现。

在从实习生到研究员的角色转换中，微软亚洲研究院主管研究员傅建龙也给予了她很多帮助，“从当我的实习 mentor 到现在指导我当 mentor，建龙帮助我更好地给公司的产品提供最新的技术研究支持，也让我更好地作为 mentor 给实习生提供指导建议。”刘蓓认为自己有了不小的收获，也对未来广阔的成长空间有了更清晰的认识。

刘蓓（前排左二）与傅建龙（后排右二）和微软亚洲研究院研究团队

“我很高兴看到现在学习计算机的女生越来越多，很多大公司也正在给女生提供更多的机会，” 微软亚洲研究院每年举办多元化论坛 Ada Workshop 时，刘蓓都会鼓励身边的实习生们去参加，“微软非常鼓励女性为自己发声。我希望大家能够更有勇气去探索未知、把握机会，发掘自己内在的潜能，更加大胆、自信地去追求心之所向。”

“我也希望更多女性同胞们意识到，当妳遇到瓶颈与挫折，沮丧与焦虑，妳不是一个人在战斗，千千万万的女性拥有相似的经历，我们都和妳一样，是推进当下科技世界进步的一份力量。”

你也许还想看：