[论文笔记]SiameseNet

引言

这是Learning Text Similarity with Siamese Recurrent Networks的论文笔记。

论文标题意思是利用孪生循环神经网络学习文本相似性。

什么是孪生神经网络呢？满足以下两个条件即可：

• 输入是成对的
• 网络结构和参数共享(即同一个网络)

如下图所示：

看到这种图要知道可能代表是同一个网络，就如本篇论文中所画的图一样。这种画法重点可能在于强调这两个输入是独立的，即互相是没有交互的。

本文描述的场景是岗位标准化(job title normalization)，目的是接收一个字符串将其映射到一个有限的岗位编码。虽然这可以通过一个多分类来解决，但作者这里尝试学习一个字符串的表示，使得同义的岗位在表示上更近。比如"软件工程师"和"X工"(很多公司喜欢用姓＋工来称呼不熟的同事，有些不是的，比如平安是通过名+老师来称呼)。

这种做法的灵活性更强，比如，学习到的表示可以作为分类器的输入，也可以用于找到相似字符串或用于聚类。

作者说该模型的优越性在于可以学到不同文本之间的语义差异性(semantic differences)和语义不变性(invariant to non-semantic string differences)。比如"Java developer"和"HR man