No Data
UniLM模型既可以应用于自然语言理解(NLU)任务,又可以应用于自然语言生成(NLG)任务。论文来自微软研究院。
模型虽然强大,但微软并没有开源中文的预训练模型。因此云问本着开源之前,将我们预训练好的中文unilm_base模型进行开源。
| | 模型地址 | 提取码 | | ------------- | ------------- | ------------- | | tf | 百度云盘 | tblr | | torch | 百度云盘 | etwf |
详细介绍见:知乎链接
在CLUE中的部分分类数据集和阅读理解数据集上进行了简单测试,具体效果如下:
| 模型 | AFQMC | TNEWS | IFLYTEK | CMNLI | CSL | CMRC2018 | AVG | | ------------- | ------------- | ------------- | ------------- | ------------- | ------------- | ------------- | ------------- | | bertbase | 73.70% | 56.58% | 60.29% | 79.69% | 80.36% | 71.60% | 70.37% | | ERNIEbase | 73.83% | 58.33% | 58.96% | 80.29% | 79.10% | 74.70% | 70.87% | | unilm_base | 73.79% | 56.27% | 60.54% | 79.58% | 80.80% | 73.30% | 70.71% |
对CLUE中新闻摘要数据,训练了摘要模型,并进行的简单的测试,具体效果如下:
| 模型 | rouge-1 | rouge-2 | rouge-L | | ------------- | ------------- | ------------- | ------------- | | f1 | 43.98% | 32.04% | 49.90% | | r | 41.74% | 30.50% | 47.35% | | p | 49.30% | 35.85% | 56.01% |
如何使用该模型进行NLU任务? * 可以直接使用BERT代码,只需加载unilm的model、config、vocab即可。
如何使用该模型进行NLG任务? * fine-tuning ~~~ nohup python3 -u runseq2seq.py --datadir /data/unilm/datafile/ --srcfile traindata.json --modeltype unilm --modelnameorpath /data/unilm/yunwenunilm/ --outputdir /data/unilm/outputdir/ --maxseqlength 512 --maxpositionembeddings 512 --dotrain --dolowercase --trainbatchsize 32 --learningrate 1e-5 --numtrainepochs 3 > log.log 2>&1 & ~~~ * test ~~~ python3 -u decodeseq2seq.py --modeltype unilm --modelnameorpath /data/unilm/yunwenunilm/ --modelrecoverpath /data/unilm/outputdir/model.bin --maxseqlength 512 --inputfile /data/unilm/datafile/test.json --outputfile /data/unilm/datafile/predict.json --dolowercase --batchsize 32 --beamszie 5 --maxtgtlength 128 ~~~
注:根据论文,在NLU任务时,typetokenid为[0,1];在NLG任务时,typetokenid为[4,5]
补充摘要模型对比实验(参考:CLGE) * 数据集CSL 中长文本摘要生成
百度网盘 提取码:y2zj
| 模型 | rouge-1 | rouge-2 | rouge-L | BLUE | 参数 | | ------------- | ------------- | ------------- | ------------- | ------------- | ------------- | | bertbase | 61.71% | 50.97% | 60.51% | 41.10% | batchsize=24, length=512, epoch=5, lr=1e-5 | | unilm | 62.13% | 51.20% | 60.61% | 41.81% | batch_size=24, length=512, epoch=5, lr=1e-5 |
百度网盘 提取码:htmh
| 模型 | rouge-1 | rouge-2 | rouge-L | BLUE | 参数 | | ------------- | ------------- | ------------- | ------------- | ------------- | ------------- | | bertbase | 39.74% | 28.69% | 38.68% | 20.02% | batchsize=24, length=512, epoch=5, lr=1e-5 | | unilm | 40.58% | 29.60% | 39.21% | 21.35% | batch_size=24, length=512, epoch=5, lr=1e-5 |
http://www.iyunwen.com/