直播预告 | 基于学习排序的对话模型预训练策略

3月3日，《基于学习顺序的对话模型预训练策略》将通过知领直播平台与大家见面。

上海交通大学副教授、博士生导师顾小东带来分享：基于学习排序的对话模型预训练策略。
预训练语言模型在对话生成领域取得一定的成功，然而现有的方法通常将多轮对话上下文视为一段较长的单词序列，采用字符级的自注意机制进行表示学习。该策略难以准确获取句子层级的连贯关系，并且在时间上很低效。
本文提出一种针对多轮对话生成的预训练模型DialogBERT，采用层次化BERT构建句子级的连贯关系，并提出两种预训练方法：掩藏句编码回归和分布式句子顺序预测。在微博、DailyDialog等长短对话数据集上的实验结果标明DialogBERT相比现有基于预训练的对话模型如BART, DialoGPT等可以生成更连贯、细致的应答。

直播地址：http://live.ckcest.cn/PC_play.html?id=1208

直播预告 | 基于学习排序的对话模型预训练策略

浏览过的版块