Time-aware ComplEx (TNTComplEx) scores. Source: Lacroix et al
上图中，你可以看到这个模型如何对描述法国总统的事实的可能性进行评分：自2017年以来，伊曼纽尔·马克龙的得分更高，而弗朗索瓦·奥朗德在2012–2017年的得分更高。
9、Inductive representation learning on temporal graphs
文章链接：https://openreview.net/pdf?id=rJeW1yHYwH
再进一步，Xu等人提出了临时图注意力机制TGAT（temporal graph attention），用于建模随时间变化的图，包括可以将新的先前未见的节点与新边添加在一起时的归纳设置。其思想是基于经典和声分析中的Bochner定理，时间维度可以用傅里叶变换的时间核来近似。时间嵌入与标准嵌入（例如节点嵌入）串联在一起，并且全部输入到自注意力模块中。
Source: Xu et al
作者将TGAT在具有单关系图（不是KG的多关系图）的标准转导与归纳GNN任务上进行了评估，TGAT显示出了很好的性能提升。个人认为，这个理论应该可以进一步扩展到支持多关系KG。
再回到传统的感应式KG嵌入设置（transductive KG embedding setup）：
— GNN？是的!— Multi-多关系？是的!— 建立关系的嵌入？是的！— 适合知识图谱吗？是的！— 适用于节点/图形分类任务吗？是的。
10、Composition-based Multi-Relational Graph Convolutional Networks
文章链接：https://openreview.net/pdf?id=BylA_C4tPr
Vashishth 等人提出的 CompGCN体系结构为你带来了所有这些优点。标准的图卷积网络以及消息传递框架在考虑图时，通常认为边是没有类型的，并且通常不会构建边的嵌入。
知识图谱是多关系图，边的表示对链接预测任务至关重要。对于(Berlin,?,Germany) 的query，你显然是要预测capitalOf，而不是childOf。
在CompGCN中，首先会为输入的 KG 填充反关系（最近已普遍使用）和自循环关系（用来实现GCN的稳定性）。CompGCN采用编码-解码方法，其中图编码器构建节点和边的表示形式，然后解码器生成某些下游任务（如链接预测或节点分类）的分数。
CompGCN intuition. Source: Vashishth et al
节点表示是通过聚集来自相邻节点的消息而获得的，这些消息对传入和传出的边（图中的Wi，Wo以及那些自循环）进行计数，其中交互函数对 (subject, predicate)进行建模。
作者尝试了加法（TransE-style），乘法（DistMult-style）和圆相关（HolE-style）的交互。在汇总节点消息之后，边的表示将通过线性层进行更新。你几乎可以选择任何你喜欢的解码器，作者选择的是 TransE，DistMult 和 ConvE 解码器。CompGCN在链接预测和节点分类任务方面都比R-GCN要好，并且在性能上与其他SOTA模型相当。性能最好的CompGCN是使用带有ConvE解码器的基于循环相关的编码器。
11、Probability Calibration for Knowledge Graph Embedding Models
文章链接：https://openreview.net/pdf?id=S1g8K1BFwS
Last, but not least，Tabacoff和Costabello考虑了KGE模型的概率校准。简单来说，如果你的模型以90％的置信度预测某个事实是正确的，则意味着该模型必须在90％的时间里都是正确的。但是，通常情况并非如此，例如，在下图中，表明TransE倾向于返回较小的概率（有点“悲观”）。
Source: Tabacoff and Costabello
作者采用Brier评分来测量校准，采用Platt缩放和等渗回归来优化校准评分，并提出了在没有给出“hard negatives”的典型链接预测方案中对负样本进行采样的策略。于是，你可以校准KGE模型，并确保它会返回可靠的结果。这是一个非常好的分析，结果表明在一些工业任务上，你可以用KGE模型来提升你对自己算法/产品的信心。
四、用GNN做实体匹配
不同的知识图谱都有他们自己的实体建模的模式，换句话说，不同的属性集合可能只有部分重叠，甚至URLs完全不重叠。例如在Wikidata中Berlin的URL是https://www.wikidata.org/entity/Q64，而DBpedia中Berlin的URL是http://dbpedia.org/resource/Berlin。
如果你有一个由这些异质URL组成的知识图谱，尽管它们两个都是在描述同一个真实的Berlin，但知识图谱中却会将它们视为各自独自的实体；当然你也可以编写/查找自定义映射，以显式的方式将这些URL进行匹配成对，例如开放域知识图谱中经常使用的owl:sameAs谓词。维护大规模知识图谱的映射问题是一个相当繁琐的任务。以前，基于本体的对齐工具主要依赖于这种映射来定义实体之间的相似性。但现在，我们有GNNs来自动学习这样的映射，因此只需要一个小的训练集即可。
我们在「知识图谱@AAAI2020」的文章中简要讨论了实体匹配的问题。而在ICLR 2020 中这方面的研究有了新的进展。
12、Deep Graph Matching Consensus
文章链接：https://openreview.net/pdf?id=HyeJf1HKvS
Fey 等人推出了DGMC框架（深度图匹配共识，Deep Graph Matching Consensus），这个框架包括两大阶段：
