admin管理员组

文章数量:1638817

信息论(Information Theory）学习笔记

  • 绪论
      • 什么是信息？uncertain！
      • 怎样表示信息？
      • Dictionary and codebook : 系统化表示，所有可能被串接的字典和字符集
      • Compactness of codes ： 使用频率大数，平均码长；
      • 怎样度量信息？
        • Axioms:
    • 应用
      • 1.数据压缩
      • 2.数据恢复：信息冗余（代价大，可靠性和经济性矛盾）
      • 3.大数据：分布式计算和存储
      • 4.信息论和AI:
        • 香农电子老鼠走迷宫——强化学习。
        • cross-entropy loss function(交叉熵);
        • decision trees(信息增益);
        • ==Viterbi algorithm(NLP and Speech)，维特比算法==
      • 5.信息安全
  • 信息熵(基本的信息度量）
    • Entropy（熵）

  • 绪论

A Mathematical Theory of Communication) 通信的数学理论，是数学家克劳德·香农（Claude E. Shannon于1948年在贝尔系统技术期刊上发表的文章。在1949年出版的这本书中，它被重命名为《通信的数学理论》

  • 什么是信息？uncertain！

定义是对要解决问题的基本看法和描述！

  • 怎样表示信息？

  • Dictionary and codebook : 系统化表示，所有可能被串接的字典和字符集

  • Compactness of codes ： 使用频率大数，平均码长；

  • 怎样度量信息？

最好设计的平均码长就是信息熵的量；

Axioms:

事件概率的单调性
可加性：log
连续性
 self-information of an event  = log

本文标签： 信息论学习笔记informationTheory

版权声明：本文标题：信息论(Information Theory）学习笔记 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1729279910a1193935.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。