您现在的位置是:首页 > 笔记 > 最大熵模型 讲义资料
推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

最大熵模型 讲义资料

更新时间:2018-08-23 15:41:52 大小:753K 上传用户:YETUO查看TA发布的资源 标签:模型 下载积分:2分 评价赚积分 (如何评价?) 收藏 评论(0) 举报

资料介绍

本资料的目标是

理解并掌握熵Entropy的定义

  理解“Huffman编码是所有编码中总编码长度最短的”熵含义 

 理解联合熵H(X,Y)、相对熵D(X||Y) 、条件熵H(X|Y)、互信息 I(X,Y)的定义和含义,并了解如下公式:

  H(X|Y) = H(X,Y) - H(Y)=H(X) - I(X,Y) 

 H(Y|X) = H(X,Y) - H(X)=H(Y) – I(X,Y) 

 I(X,Y) = H(X) - H(X|Y) = H(X) + H(Y) - H(X,Y) ≥0 

 掌握最大熵模型Maxent 

 Maximum Entropy Models 

 了解最大熵在自然语言处理NLP中的应用

  Natural Language Processing 

 与前序知识的联系:最大熵模型和极大似然估计MLE的关系 

 Maximum Likelihood Estimation 

 副产品:了解数据分析、函数作图的一般步骤


部分文件列表

文件名 大小
6.最大熵模型.pdf 753K

全部评论(0)

暂无评论