Need help with QANet_dureader?
Click the “chat” button below for chat support from the developer who created it, or find similar developers for support.

About the developer

SeanLee97
215 Stars 62 Forks MIT License 15 Commits 9 Opened issues

Description

QANet+DuReader中文机器阅读理解

Services available

!
?

Need anything else?

Contributors list

# 54,788
Python
Shell
spell-c...
Jupyter...
15 commits

QANet_dureader

本人曾随队在mrc2018机器阅读理解比赛中获得

TOP11
的名次,当时使用的是BIDAF,现尝试使用QANet去尝试dureader数据集

QANet

  • 残差块: 使用了残差网络来加深网络深度
  • 自注意: Google采用了自家的multihead attention 来计算
    self attention
  • 强化位置信息: QANet强化了位置信息,在每个卷积块中都加入了时间序列信息,可查看
    layers / residual_block / add_timing_signal_ld

小小改进

加入原始位置信息(position embedding)在decoder层做Attention计算

模型

requirements

tensorflow 1.6+
jieba

语料预处理

包括生成词典,使用预训练词向量,本模型支持Chinese-Word-Vectors中预训练词向量,下载该模型词向量后在

cli.py
中指定即可.
python3 cli.py --prepro

训练

python3 cli.py --train [arguments]

或者直接采用封装好的bash训练

bash
bash train.sh

使用全量数据训练

请先下载全量数据,已封装bash

bash
bash data/download_dureader.sh

Reference

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.