百度发布语义理解框架ERNIE 2.0 中英文任务超BERT和XLNet

今年3月份时，百度曾对外提出了NLP预训练语言模型 ERNIE，ERNIE通过建模海量数据中的词、实体及实体关系，学习真实世界的语义知识。较之BERT学习原始语言信号，ERNIE直接对先验语义知识单元进行建模，增强了模型语义表示能力。

而近日，百度宣布ERNIE正式升级到了2.0阶段，据了解Ernie2.0模型在16项任务(包括英语GLUE基准测试和各种中文语言任务)上优于Google的Bert和XLnet。

Ernie2.0应用了多任务学习和一系列的预训练任务，如大写字母预测(因为大写单词通常包含专有名词)以及学习句子之间关系或提供语义理解等任务。而其所有的预训练任务都使用无监督或弱监督学习，无需人工标记。

无监督的预训练语言模型，如BERT、XLNet和ERNIE 1.0，均推动了自然语言处理(NLP)的广泛应用，然而先前的预训练程序主要集中在词级和句子级预测或推理任务上。例如XLNet通过构造排列语言模型任务来捕获共现信息。随着共同出现的信息，在训练语料库中还有丰富的词汇，如句法和语义信息、句子顺序和句子接近信息、以及句子间的语义相似性等。

与传统的预训练方法不同，ERNIE 2.0是一个可持续学习的预训练框架，通过多任务学习不断增强知识整合，使其能够通过海量数据更全面地学习各种词法、句法和语义信息。

基于此框架，可以随时将大量自定义任务自由添加到ERNIE 2.0中，并通过相同编码网络的多任务学习进行训练，从而实现跨任务的词法、句法和语义信息的编码。值得注意的是，ERNIE 2.0可以按顺序逐步训练几个新任务，并积累在学习过程中获得的知识，以应用于未来的任务。