Frederik Träuble, Anirudh Goyal, Nasim Rahaman, Michael Mozer, Kenji Kawaguchi, Yoshua Bengio, Bernhard Schölkopf.
ML中的重点将慢慢转移到域外泛化，归纳偏差将变得更加相关。
将高维输入（例如，图像）编码为在大数据集中预先训练的编码器的嵌入。将嵌入分解为低维头部C，并从训练时被冻结的一组预定义向量中寻找最近邻。然后利用最近邻在头部上的表示来重建嵌入。解码器将重建的嵌入作为输入，并产生特定于任务的输出：
该实验集中在为一个分布的训练数据上进行训练的模型，适应另外一个新的分布，如下图所示。 该模型是通过在I.I.D上进行训练来初始， 当使模型适应新的分布时，解码器被冻结，只更新codebook。
他们的实验证明了这种方法如何减少灾难性遗忘，并获得更稳健的预测。这项工作不会有很大的短期影响——结果不是开创性的——但其中一些想法可能是下一个飞跃的关键催化剂。
9、Language Model CascadesDavid Dohan, Winnie Xu, Aitor Lewkowycz, Jacob Austin, David Bieber, Raphael Gontijo Lopes, Yuhuai Wu, Henryk Michalewski, Rif A. Saurous, Jascha Sohl-dickstein, Kevin Murphy, Charles Sutton.
大型语言模型已经变得很强大，它们越来越多地被用作其他应用(如强化学习或数据增强)的黑盒构建块。
这项工作从概率编程的角度形式化了语言模型的交互:随机变量的定向图模型，它映射到自然语言字符串。
Tailin Wu, Megan Tjandrasuwita, Zhengxuan Wu, Xuelin Yang, Kevin Liu, Rok Sosič, Jure Leskovec.
ZeroC是一种将概念表示为组成模型的图方法。本文的主要目的是建立一个能够在推理时识别不可见概念的系统。例如在下面的图中，字母F没有被模型看到，但它能够解开它的组件(线)和它们的关系(角度和位置)，将它们表示为一个包含3个节点和3条边的显式图
