关系抽取——Neural Relation Extraction with Selective Attention over Instances



  • 论文原址 提出了基于sentence-lever attention关系抽取方式

    • 为解放标注劳动力,2009年Mintz最早提出了distant supervision去自动地根据KBs和texts整合训练数据,他假设,如果有两个实体在KBs中有关系,那么包含这两个实体的sentence也会继承这种关系。但显然,这不全对,muti-instance可以缓解一部分这种错误,muti-instance选取的是包含两个实体最有可能性的sentence,但显然,这也不全对。
    • 针对上述问题,这篇文章提出了一下模型结构:
      0_1558255146992_d730e183-7b8b-4c41-95e0-86ab6a7b5e6a-image.png
      • 对sentence中包含的每一对entity pair加权重。
      • 为定位distant supervision中的错误标签的情况,提出了selective attention,来选择对的sentences。
    • Sentence Encoder
      0_1558258330861_aae7774e-cefe-46e9-94e5-15f281ca3e57-image.png
      • 注:
        (1)使用Word Embeddings+Position Embeddings
        0_1558258904894_91367aeb-d9b2-456b-8195-e98b446867e0-image.png (2)用卷积处理不定的句长,得到dc(ld)d^c*(l*d)大小的sentence输出,l为滑动window的长度,图中l=3。
    • Selective Attention
      0_1558260497111_5fdb78ea-d210-44b6-97da-bf9f275c88d4-image.png
      0_1558260486756_4175d987-8e03-46e3-8439-f89f41cc259f-image.png
      eie_isis_i的打分,xix_i为输入sentence,rr为预测出的关系:
      0_1558260513540_4b12760f-c246-4727-baab-6c6297f82c0a-image.png
      softmax层,计算条件概率:
      0_1558260824875_911f4167-6977-4371-af01-5f49105b026e-image.png
      最后输出:
      0_1558260926222_dba3f989-77df-4fa2-a113-4351e6063fec-image.png
      muti-instance learning 可以视为一个最高可能结果的句子为s为1,其余为0的特殊情况。
    • 效果图 ATT为本论文模型,AVE指Average Attention,ONE指at-least-one multi-instance learning。
      0_1558265321310_731ec9c9-3713-4350-af7a-827fa6b35767-image.png

 

Copyright © 2018 bbs.dian.org.cn All rights reserved.

Looks like your connection to Dian was lost, please wait while we try to reconnect.