关系抽取——Neural Relation Extraction with Selective Attention over Instances
-
论文原址 提出了基于sentence-lever attention关系抽取方式
- 为解放标注劳动力,2009年Mintz最早提出了distant supervision去自动地根据KBs和texts整合训练数据,他假设,如果有两个实体在KBs中有关系,那么包含这两个实体的sentence也会继承这种关系。但显然,这不全对,muti-instance可以缓解一部分这种错误,muti-instance选取的是包含两个实体最有可能性的sentence,但显然,这也不全对。
- 针对上述问题,这篇文章提出了一下模型结构:
- 对sentence中包含的每一对entity pair加权重。
- 为定位distant supervision中的错误标签的情况,提出了selective attention,来选择对的sentences。
- Sentence Encoder
- 注:
(1)使用Word Embeddings+Position Embeddings
(2)用卷积处理不定的句长,得到大小的sentence输出,l为滑动window的长度,图中l=3。
- 注:
- Selective Attention
为 的打分, 为输入sentence, 为预测出的关系:
softmax层,计算条件概率:
最后输出:
muti-instance learning 可以视为一个最高可能结果的句子为s为1,其余为0的特殊情况。 - 效果图 ATT为本论文模型,AVE指Average Attention,ONE指at-least-one multi-instance learning。