Background

Motivation

现有的deep hierarchical topic model没有将prior belief结合到topic hierarchical learning中

• 许多的现有的hierarchical topic model都是纯数据驱动的，没有考虑prior domain knowledge，这会导致学习到的主题无法描述一个语义连贯的概念
• 添加prior knowledge的不灵活性也在一定程度上限制了分层主题模型的适用性

Idea

将prior structural knowledge作为inductive bias注入到学习当中，提出的TopicNet将每个主题表示为一个高斯分布的嵌入向量，将各层主题投影到一个嵌入空间，探索高斯嵌入向量之间的对称性和不对称性。

• 假设一个预定义的topic hierarchy形式的structured prior，其中每个主题都由一个语义概念描述，相邻层的概念遵循上一层的关系。
• 层次结构可以通过通用知识图（如WordNet）或者用户自定义来轻松构建

---

本文提出了一种新的基于知识的分层主题模型，其核心思想是将每个主题表示为高斯嵌入，然后将各层主题投影到共享嵌入空间中，便于向模型中注入结构化的先验知识。
Gaussian-distributed embedding + SawETM => Gaussian SawETM
Gaussian SawETM +prior belief 在相邻的层之间约束主题，鼓励其捕获满足预定义的hypernym relation，再使用auto-encoding variational inference，通过最小化ELBO和正则化项来实现端到端的训练。

---

Challenges

• 如何建模这种语义的层次（semantic hierarchy）
• 如何将它与其主题模型联系起来

Related Paper

Model

Gaussian SawETM

对称相似度

简单的取两个高斯均值做内积的方法没有利用Gaussian-distributed embedding中的语义信息。所以采用期望似然核来作为相似度度量：

带有sawtooth factorization和Gaussian embedding的文档解码器

T隐藏层的decoder可以表示为：

文档编码器：Weibull upward and downward encoder network

采用了更加适合建模稀疏和非负文档表示的伽马分布潜变量。但，由于重参数化伽马分布的随机变量很困难，所以使用Weibull upward-downward variational encoder

Inference 和 Estimation

最大化ELBO

TopicNet: Semantic graph-guided topic discovery

描述如何将prior knowledge融合到Gaussian SawETM中

TopicTree: Semantic graph constructed by prior knowledge

Partial order: Asymmetric entailment relationship

Objective: ELBO with a prior regularity