机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括 ACL 2020 公布的最佳论文、最佳主题论文、最佳 Demo 论文以及其他奖项论文，此外还有 MIT 和香港科技大学学者的贝叶斯深度学习综述论文。

目录：

Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data

GAIA: A Fine-grained Multimedia Knowledge Extraction System

A Survey on Bayesian Deep Learning

Deep Isometric Learning for Visual Recognition

Data Science: A Comprehensive Overview

Adaptive Graph Encoder for Attributed Graph Embedding

ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

作者：Marco Tulio Ribeiro、Tongshuang Wu、Carlos Guestrin、Sameer Singh

论文链接：

摘要：尽管衡量留出（held-out）准确率是评估模型泛化性能的主要方法，但它通常会高估 NLP 模型的性能，而其他评估模型的替代性方法要么专注于单项任务，要么只看特定行为。

受软件工程中行为测试原则的启发，这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用语言能力和测试类型以促进全面的测试，还包括一个软件工具，能够快速生成大量不同测试案例。研究人员在三项任务中测试了 CheckList 的效果，在商业化模型和 SOTA 模型中都发现了严重的问题。

一项用户调查显示，负责商业化情感分析模型的团队在一个经过大量测试的模型中发现了新的 bug。而在另一项用户调查中，使用 CheckList 的 NLP 从业者创建的测试数量是未使用 CheckList 的两倍，发现的 bug 数量是后者的三倍 。

商业情感分析模型的 Checklist。

情感分析测试。

用户研究结果。

推荐：本文斩获 ACL 2020 最佳论文奖。

论文 2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data

作者：Emily M. Bender、Alexander Koller

论文链接：

摘要：大型神经语言模型在许多 NLP 任务上获得成功。但是，在本文中，来自华盛顿大学和萨尔大学的两位研究者发现这些成功有时会被过度夸大。这些模型经常被描述成「理解」语言或者捕获语言的「意义」。

该研究认为，仅接受形式训练的系统不具备学习语言意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下，该研究认为，清晰地理解「形式」与「意义」的区别有助于引导该领域在自然语言理解层面有更科学的发展。

研究者使用的示例。

推荐：本文斩获 ACL 2020 最佳主题论文奖。

论文 3：GAIA: A Fine-grained Multimedia Knowledge Extraction System

作者：Manling Li、Alireza Zareian、Ying Lin 等

论文链接：

项目地址：

摘要：在本文中，来自 UIUC、哥大等机构的研究者提出了首个综合开源的多媒体知识提取系统，该系统可基于不同的内容源和语言提取大量非结构化异构多媒体数据，并遵循丰富细粒度本体，创建出连贯且结构化的知识库、索引实体、关系和事件。

该研究提出的系统 GAIA 可实现复杂图 query 的无缝搜索，并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。

GAIA 多媒体知识提取的架构。

与以往研究中的粗粒度知识提取系统相比，GAIA 支持细粒度实体、关系和事件提取。

基于人脸识别、地标识别和国旗识别的视觉实体链接示例。

推荐：本文斩获 ACL 2020 最佳 Demo 论文奖。

论文 4：A Survey on Bayesian Deep Learning

作者：Hao Wang、Dit-Yan Yeung

论文链接：

摘要：一个全面的人工智能系统不仅需要通过视觉和听觉等不同的「感官」来感知环境，还需要对条件甚至因果关系以及相应的不确定性进行推理。在过去十年里，感知任务已经陆续取得重大进展，比如视觉目标识别以及使用深度学习模型的语音识别。但是，对于更高层次的推理，具有贝叶斯属性的概率图模型（Probabilistic Graphical Model, PGM）仍然更加强大和灵活。

近年来，作为一种统一的概率框架，贝叶斯深度学习（Bayesian Deep Learning, BDL）已经紧密结合了深度学习与贝叶斯模型。并且在这个通用框架中，借助深度学习感知文本或图像可以提升更高层次推理的性能。

在本文中，来自麻省理工学院和香港科技大学的两位研究者对贝叶斯深度学习进行了全面的介绍，综述了贝叶斯深度学习在推荐系统、主题模型和控制等方面的最新应用。此外，研究者还探讨了贝叶斯深度学习与神经网络贝叶斯处理等其他相关主题之间的关系和区别。

贝叶斯深度学习示例的概率图模型结构。

左为协同深度学习（Collaborative Deep Learning, CDL）的图模型，右为退化协同深度学习的图模型。

推荐：本文一作王灏（Hao Wang）为 MIT CSAIL 博士后研究员，论文已被 ACM Computing Surveys 接收。

论文 5：Deep Isometric Learning for Visual Recognition

作者：Haozhi Qi、Chong You、Xiaolong Wang、Yi Ma、 Jitendra Malik

论文链接：

摘要：初始化、归一化和残差连接（skip connection）被认为是训练深度卷积神经网络（ConvNet）并获得最优性能的三大必备技术。

最近，来自加州大学伯克利分校和圣迭戈分校的研究者发布一项研究，提出不使用归一化和残差连接的深度 ConvNet 在标准图像识别基准上也能实现优异的性能。其实现方式是：在初始化和训练期间，令卷积核具备近似保距性（near isometric）；使用 ReLU 激活函数的变体，实现保距性。

研究人员进行了大量实验，结果表明此类近似保距网络与残差连接结合后，在 ImageNet 数据集上的性能与 ResNet 相当，在 COCO 数据集上的性能甚至超过 ResNet。

ISONet 的基础构造块图示。

ISONet 的 Top-1 准确率接近 ResNet。

不同层数（18、34、50 和 101）时 ISONet 在 ImageNet 上的 top-1 准确率。

推荐：靠暴力土豪 trial and error 的方式寻找网络结构的风气，应该会很快过去。

论文 6：Data Science: A Comprehensive Overview

作者：Longbing Cao

论文链接：

摘要：在本文中，来自悉尼科技大学的研究者对数据科学的基础知识进行了全面的综述，涵盖数据分析到数据科学的演变、数据科学的概念、数据科学时代的愿景、数据创新的主要挑战和发展方向、数据分析的本质、数据经济中的新型工业化和服务机遇、数据教育专业和能力、以及数据科学的未来。

数据科学领域的一些关键术语。

谷歌在线搜索数据科学关键词的逐年变化曲线。

数据科学概念图。

推荐：这篇论文首次勾勒出了数据科学领域的全面视图，还提供了关于数据科学和分析的丰富观察、教训和思考。

论文 7：Adaptive Graph Encoder for Attributed Graph Embedding

作者：Ganqu Cui、Jie Zhou、Cheng Yang、Zhiyuan Liu

论文链接：

摘要：在本文中，来自清华大学等机构的研究者提出了一种新颖的属性图嵌入框架自适应图编码器（Adaptive Graph Encoder, AGE）。该框架由两个模块组成，其一，为了更好地减轻节点特征中的高频噪声，AGE 首次应用了精心设计的拉普拉斯算子平滑滤波器；其二，AGE 采用的自适应编码器能够取得滤波后特征的迭代增强，以实现更好的节点嵌入。

在实验部分，研究者使用四个公共基准数据集进行实验，以验证 AGE 在节点聚类和链路预测任务上的效果。

AGE 框架图。

自适应图编码器算法。

AGE 与其他方法在节点聚类任务上的实验结果比较。

推荐：实验结果表明，AGE 在节点聚类和链路预测任务上始终优于当前 SOTA 图形嵌入方法。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Improving Event Detection using Contextual Word and Sentence Embeddings. (from Evangelos Milios)

2. TICO-19: the Translation Initiative for Covid-19. (from Philipp Koehn)

3. On-The-Fly Information Retrieval Augmentation for Language Models. (from David McAllester)

4. Principal Word Vectors. (from Joakim Nivre)

5. Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features. (from Joakim Nivre)

6. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion. (from Kun Zhou, Ji-Rong Wen)

7. Interpreting Hierarchical Linguistic Interactions in DNNs. (from Xiaoyi Bao)

8. What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets. (from Louis-Philippe Morency)

9. Learning Neural Textual Representations for Citation Recommendation. (from Massimo Piccardi)

10. KQA Pro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base. (from Juanzi Li)

本周 10 篇 CV 精选论文是：

1. Long-term Human Motion Prediction with Scene Context. (from Jitendra Malik)

2. 3D Shape Reconstruction from Vision and Touch. (from Jitendra Malik)

3. LabelEnc: A New Intermediate Supervision Method for Object Detection. (from Xiangyu Zhang, Jian Sun)

4. AutoAssign: Differentiable Label Assignment for Dense Object Detection. (from Jian Sun)

5. End-to-end Interpretable Learning of Non-blind Image Deblurring. (from Jian Sun, Jean Ponce)

6. Video Prediction via Example Guidance. (from Xiaokang Yang, Trevor Darrell)

7. Human Trajectory Forecasting in Crowds: A Deep Learning Perspective. (from Sven Kreiss)

8. Explainable Deep One-Class Classification. (from Klaus-Robert Müller)

9. Dynamic Group Convolution for Accelerating Convolutional Neural Networks. (from Matti Pietikäinen, Li Liu)

10. ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation. (from Joshua B. Tenenbaum)

本周 10 篇 ML 精选论文是：

1. 3D Topology Transformation with Generative Adversarial Networks. (from Albert-László Barabási)

2. Network Embedding with Completely-imbalanced Labels. (from Zheng Wang, Philip S. Yu)

3. Personalized Federated Learning: An Attentive Collaboration Approach. (from Jiangchuan Liu, Jian Pei)

4. Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data. (from Gang Wang, Georgios B. Giannakis)

5. Strong Generalization and Efficiency in Neural Programs. (from Pushmeet Kohli, Oriol Vinyals)

6. Estimating Generalization under Distribution Shifts via Domain-Invariant Representations. (from Antonio Torralba)

7. Deep Partial Updating. (from Lothar Thiele)

8. PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest. (from Jure Leskovec)

9. Neural Subgraph Matching. (from Jure Leskovec)

10. Semi-Supervised Learning with Meta-Gradient. (from Ming-Ming Cheng, Ming-Hsuan Yang)