我们通常使用困惑度（perplexity）来评价语言模型的好坏。困惑度是对交叉熵损失函数做指数运算后得到的值。
- 最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1；
- 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷；
- 基线情况下，模型总是预测所有类别的概率都相同，此时困惑度为类别个数。
困惑度（perplexity）的基本思想是：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好
优点：
计算速度快，允许研究人员快速的淘汰不可能表现良好的模型
有助于估算 模型的不确定性和信息密度
缺点：
不适合最终评估，他只是测量模型的可信度，而不是准确性
很难在不同上下文长度、词汇大小、基于单词 与基于字符的模型等的数据集之间进行比较