relational learning关系学习

诸神缄默不语-个人CSDN博文目录

本文介绍relational learning关系学习。
目前的介绍比较简略，会持续更新的。

1. 场景

学习样本之间存在关系，或样本内部存在结构（样本由多个components组成，components之间存在关系）。
有点学习上下文的感觉。

关注面对现实世界数据的不确定性和复杂结构时，建模关系数据的联合分布。
（出自R-former¹，相关参考资料²³）

1.1 样本之间存在关系的情况（external relationships）

如网页之间以超链接连接。
或者attribute-value format，如电影的关联实体（Studio, Director, Producer, and Actor）本身还具有不同的attributes。任务可以是预测电影周末票房。

样本之间并非独立或同样本分布（i.i.d）。
在分类样本时考虑相关案例标签的方法：collective classification⁴

1.2 样本内部存在结构的情况（internal structure）

常用individual-centered representations，如logical interpretations或strongly typed terms

如药物可能的组成分子（一个图）的数据库。任务可以是根据分子结构区分组成分子是否active

我总感觉这样说来，RNN/Transformer这种模型面对的序列数据也算这种类型

2. 解决方案

2.1 Inductive Logic Programming

2.2 Learning from Graphs

2.3 Multi-relational Data Mining

2.4 Statistical Relational Learning/Probabilistic Logic Learning

用于关系数据分类的统计关系学习方法主要用概率图模型建模标签依赖性。直接在概率图模型上推理posterior label distribution很难（因为关系结构复杂），因此常使用估算推理方法，如mean field methods⁵或belief propagation⁶。
CRF⁷等很多方法会应用马尔科夫网络，包括关系马尔科夫网络³和马尔科夫逻辑网络⁸。

probabilistic relational models (PRMs)
Bayesian logic programs (BLPs)
Naïve Bayes
Hidden Markov Models⁹
Stochastic logic programs (SLPs)

强调表征学习的SOTA方法：
Neural Markov Logic Networks
Graph Markov Neural Network：GMNN: Graph Markov Neural Networks（用标签依赖性帮助实现inference/prediction model）

2.5 Relational Reinforcement Learning

2.6 时序数据处理

（注意：我并不确定这种算不算关系学习）

Transformer的自注意力机制将输入序列token之间的关系从RNN上的序列依赖拓展为了全局依赖。

3. 本文撰写过程中使用的其他参考资料

1. Relational Learning | SpringerLink：主要参考了问题定义部分和后续部分的标题
2. 这篇开头就没看懂：What is Relational Machine Learning? | by Gustav Šír | Towards Data Science
3. 与上一条同作者，还是看不懂：From Graph ML to Deep Relational Learning | by Gustav Šír | Towards Data Science
4. 还没看，但是感觉会有用的：
   1. From Graph ML to Deep Relational Learning | by Gustav Šír | Towards Data Science
   2. 《Relational recurrent neural networks》阅读笔记 - 知乎
   3. Probabilistic Inductive Logic Programming

---

1. Legal Judgment Prediction via Relational Learning ↩︎

2. A survey on statistical relational learning ↩︎

3. Introduction to statistical relational learning ↩︎ ↩︎

4. 我之前的这一篇笔记中提及到了这一概念：cs224w（图机器学习）2021冬季课程学习笔记6 Message Passing and Node Classification_诸神缄默不语的博客-CSDN博客_iterative classification ↩︎

5. Advanced mean field methods: Theory and practice ↩︎

6. Understanding belief propagation and its generalizations
   此外我之前的这篇笔记中也提到过置信度传播的概念：cs224w（图机器学习）2021冬季课程学习笔记6 Message Passing and Node Classification_诸神缄默不语的博客-CSDN博客_iterative classification ↩︎

7. Conditional random fields: An introduction ↩︎

8. Markov logic networks ↩︎

9. 可参考我之前撰写的笔记：隐马尔科夫模型HMM_诸神缄默不语的博客-CSDN博客 ↩︎