简介熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。但是在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。英语文本数据流的熵比较低，因为英语很容易读懂，也就是说很容易被预测。即便我们不知道下一段英语文字是什么内容，但是我们能很容易地预测，比如，字母e总是比字母z多，或者qu字母组合的可能性总是超过q与任何其它字母的组合。如果未经压缩，一段英文文本的每个字母需要8个比特来编码，但是实际上英文文本的熵大概只有4.7比特。如果压缩是无损的，即通过解压缩可以百分之百地恢复初始的消息内容，那么压缩后的消息携带的信息和未压缩的原始消息是一样的多。而压缩后的消息可以通过较少的比特传递，因此压缩消息的每个比特能携带更多的信息，也就是说压缩信息的熵更加高。熵更高意味着比较难于预测压缩消息携带的信息，原因在于压缩消息里面没有冗余，即每个比特...

熵的热力学定义鲁道夫·克劳修斯——最早提出“熵”这个概念的物理学家熵的概念是由德国物理学家克劳修斯于1865年所提出。克氏定义一个热力学系统中熵的增减：在一个可逆过程里，被用在恒温的热的总数（σσ-->Q{\displaystyle\sigmaQ}），并可以公式表示为：克劳修斯对S予以“熵”（希腊语：εντροπια，entropia，德语：Entropie，英语：entropy）一名，希腊语源意为“内向”，亦即“一个系统不受外部干扰时往内部最稳定状态发展的特性”。与熵相反的概念为“反熵”（希腊语：εκτροπια，ektropia，源意“外向性”；德语：Ektropie；英语ectropy）。1923年，德国科学家普朗克来中国讲学用到entropy这个词，胡刚复教授翻译时灵机一动，把“商”字加火旁来意译“entropy”这个字，创造了“熵”字，（音读：商），因为熵是Q除以T（温度）的商数...

相关条目等熵过程绝热过程参考资料G.J.VanWylenandR.E.Sonntag(1985),FundamentalsofClassicalThermodynamics,JohnWiley&Sons,Inc.,NewYorkISBN0-471-82933-1脚注

参见热力学

历史美国化学家莱纳斯·鲍林是第一个以余熵这一概念来描述水所结成冰块的人，特别是六方晶系的冰。在水状态下，每一个氧原子与两个氢原子结合在一起。但是当水结成冰时则会变成四方结构，每一个氧原子周围会有四个氢原子（因为周围会有相邻的水分子）。氧原子周围的氢原子也有一定范围的自由活动空间，只要每一个氧原子“附近”保持有两个氢原子，那么就仍然保持有其传统的水分子构成H2O。但事实证明，在这类有大量水分子的情况下，氢原子很有可能会遵循一种两进两出的原则（每一个氧原子必须有两个氢原子在其“附近”，另外两个氢原子距其较“远”）。氢原子的这种自由活动只存在于绝对零度下，因此以前也被视为绝无仅有的一种情况。存在有多种这样的匹配情况来满足绝对零度时的无序性，换言之，即满足绝对零度时的熵。水所结成的冰是第一个用来说明余熵概念的例子，然而一般情况下很难提取纯净且毫无缺陷的冰晶来进行研究。因此有大量研究都试图通过其他热...