如何解决物理学与信息系统中的熵
任何人都可以用外行人的术语解释物理学中熵和信息系统中熵的等效性或相似性吗?抱歉,我不是数学家,但我仍在尝试理解这些概念,以便对这些概念有更好的理解。我对物理学中的熵有一个想法,但是我不明白有人说信息系统及其使用和应用中的熵。谢谢您的时间。
解决方法
信息熵(也称为香农信息)是对新信息的“惊奇”的度量。具有高熵的系统令人惊讶。熵低,不足为奇。
具有高熵的系统很难压缩,因为每一位都很令人惊讶,因此必须进行记录。
具有低熵的系统易于压缩,因为您可以根据以前的经验预测下一个。
从直觉上讲,这意味着显示静态(白噪声)的电视呈现大量信息,因为每个帧都是随机的,而电视节目显示的信息则相对较少,因为大多数帧可以大部分根据前一帧进行预测。同样,通过具有很高的熵/信息/惊喜来定义一个好的随机数生成器。
这也意味着熵的大小高度依赖于上下文。 pi的数字具有很高的熵,因为不可能预测到任意一个(假设pi为normal)。但是,如果我知道您将向我发送pi的数字,那么这些数字本身就会具有零信息,因为我可以自己计算所有这些信息。
所有这一切都发生在密码学中的原因是,密码系统的目标是生成与随机性没有区别的输出,也就是说,它接受低熵信息并输出高熵信息。密码算法的输出不能比其最高熵输入具有更多的熵。最高熵输入是人为选择的密码的系统将是非常差的加密系统,因为它们非常容易预测(信息很少;熵较低)。一个好的加密系统将包括一个高熵值,例如一个种子良好且不可预测的随机数。只要这个随机数是可以预测的(熵很低),系统就会被削弱。
在这一点上您必须小心,不要在热力学和信息熵之间过分模拟。特别是,人们几乎只对热力学中的熵梯度感兴趣,而在信息论中,熵被视为绝对值(以位为单位)。相反,信息熵有时被错误地认为是在生成随机数时“耗尽”的一种能量形式。这不是任何有用的方法,当然也不像热能。
此外,密码学家使用熵一词的方式与香农使用熵的方式也不完全相同。有关此内容的讨论,请参见Guesswork is not a substitute for Entropy。
关于这在广义上如何适用于热力学(特别是如何适用于著名的麦克斯韦恶魔),我建议Wikipedia article比较两种熵。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。