君，已阅读到文档的结尾了呢~~
要 ................................................................. 1。Abstrast ..........
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
浅析几种系综熵的统一表述
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口最大熵在社会生活中有什么哪些应用呢?
少年同盟ld弬
简单说,就是若是一个封闭环境,专制下的等级制度(低熵)到民主下的自由平等(高熵)是一个自发过程和必然转变.专制等级制度(低熵)下,每一个个体被禁锢在特定的位置,自由度很低.要维持维护这种专制等级的低熵,就必须要有武装暴力、思想禁锢、言论管制等等强加的墙和壁垒,而这一切维稳需要不停地耗费资源、能量来输入,从而形成正反馈循环,直至崩溃瓦解到状态的改变.(最坏结果是变成所有个体都死亡寂灭,人人绝对平等的高熵状态.)而完全自由平等(高熵)下,每一个个体在每一个位置的概率都是一样的,没有特权、没有壁垒,从而维护这样一个状态,无需额外的输入和消耗.(当然也会是一个极度混乱没有秩序的社会,你拥有的东西也是别人拥有的.)然而社会不能真正的绝对自由和无政府,为了保障每一个人的自由而不侵犯他人的权利,就需要基本的契约、法治和敬畏,政府法治、道德规范、宗教信仰的作用就是以较小的输入和消耗,从而维护每个人被保障的自由.所以,一个有秩序的社会,根据其对每个个体自由的尊重和秩序维护成本的高低,可基本判断这个稳定的持续性.
为您推荐：
其他类似问题
扫描下载二维码涉案的三个来自德阳中江的95后女孩，家境都不算差。
他们刚执行完任务准备返回，还穿着厚重的消防服。
声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
　　瑞信董事总经理、全球金融策略首席Michael J. Mauboussin值其在华尔街激荡已满三十年之际，特地撰写了一篇特别版报告，将其过去三十年来总结的伟大投资者的十个特征与投资者共享。因为Mauboussin本人是股票分析师出身，且在哥伦比亚商学院教授了24年《证券分析》，所以其更偏向于从股票投资者的角度，来描述伟大投资者的特征。即便如此，十个特征中关于面对人类“心理陷阱”和“心理弱点”的挑战、对持仓仓位比例控制和对组合的构建等方面的“描述”，对于任何类型的投资均有普遍意义。
　　1. 对数字敏感
　　要成为成功的投资者必须要对数字敏感。虽然投资决策中很少涉及复杂的计算，但成功的投资者具有对数字和概率的“感觉”。
　　对数字敏感的重要体现之一，是理解财务报表。会计是一种商业语言，伟大的投资者对报表驾轻就熟，因为报表向他们展示了一家公司在过去和未来的表现。
　　熟稔财报的目标有两个，第一个是将财报的枯燥数字转换成体现公司价值精要的自由现金流（free cash flow)。计算自由现金流需要用公司的现金收益减去公司投资对现金的消耗，公司投资包括了流动资金投入、现金收购和资本开支等。自由现金流是扣除对未来发展投入的现金后，“剩余”的可向股东分配的现金量。
　　虽然收益是衡量公司经营表现最常用的指标，但伟大的投资者非常清楚收益增长跟价值增长是两回事。如果公司对未来的投资不足，或投资未能产生“合适”的收益，公司可以在增加收益的同时毁灭价值。所以精明的投资者一般更关注未来自由现金流的现值所代表的公司价值，而非公司当期收益情况。
　　熟稔财报的第二个目标是理解公司战略与价值创造间的联系。最简单的方法是对比同行业两家公司财报的每一条数据，从公司分配资源的方式推出其在行业竞争中所处的位置和所采取的竞争策略。
　　更简便直接的方式是看公司的投资资本回报率（ROIC: Return On Invested Capital）。ROIC由两部份组成，盈利率（税后净营业利润/销售收入）和资本流速（销售收入/投资资本）。拥有较高盈利率和较低资本流速的公司采用的是差异化竞争策略；而拥有较低盈利率和较高资本流速的公司采取的是价格策略。因此，对公司赚钱能力的评估，本质上是对公司能维持现有竞争优势多长时间的评估。
　　2. 理解价值（自由现金流的现值）
　　过去三十年金融市场发生了翻天覆地的变化，回头看看投资领域什么变化了，什么没有变，最终会发现多数东西都变了。上市公司的半衰期大约是10年，从足够长的时间跨度来看，可投资的公司如走马灯般在切换。然而有一点是亘古不变的：未来现金流折现后的现值决定了资产的价值，不管是股票、债券还是房产莫不如是。当然评估现值对于股票投资者而言更为困难，因为价值中的三大要素：现金流、时间和风险在股票投资中都是由预期决定，而相较之下，债券投资中的现金流和时间因素都是由合约事先规定好的。
　　伟大的基本面投资者关注并理解自由现金流的重要性，即其可持续性。具体而言，需要综合考虑公司所处的行业生命周期，公司在整个行业竞争中所处的位置，行业的进入门槛和公司管理层配置公司资源的能力等。所以伟大投资者都非常清楚表面指标，如市盈率和企业价值倍数等的局限性。这些指标并不直接代表公司价值，而只是评估价值过程中需要用到的中继工具而已。
　　3. 正确评估公司战略（即公司如何赚钱）
　　这一能力有微观和宏观两个方面。微观方面，伟大的投资者对公司如何赚钱有深层的理解，他们会细看整个公司的经营。举例来说，对于零售企业的分析需要细化到：建店的成本、购置商品库存的成本、开店后的营收、利润率等等。对于这些行业细节有所了解，才能真正理解整个公司的经营。伟大的投资者对于自己投资的公司如何赚钱可以娓娓道来，如数家珍；他们从来不投资自己不了解的公司。
　　宏观方面，是对公司竞争优势可持续性的理解。只有有竞争优势的公司才可能赚钱，其竞争优势在财务上的体现就是，投资回报率高于其投入资金的机会成本。伟大的投资者理解所投资的公司在产业中的独特地位，被投资的公司最好具有能够防止竞争者持续进入的“防御性优势”，这种优势的可持续性是公司估值的重要考量。
　　4. 知道真正该比较的是什么
　　比较在投资世界中俯拾皆是：股票与债券比、主动投资与被动投资比、价值股与增长股比、一只股票与另一只股票比，投资者们每天都在做各种比较。
　　但真正区分一般投资者和伟大投资者的，是会不会比较基本面和预期。公司的未来表现，销售增长、营收利润率和投资回报等方面反映了公司的基本面；而预期是市场目前对于公司未来表现的集体估计，直接体现在股价中。
　　要在市场中赚钱，就必须能够识别出市场预期定价中的“错误”。多数投资者都不具备这个能力，因为多数人的投资行为是基本面向好追买，基本面变差杀跌。所以伟大投资者独特的能力在于，不仅理解基本面和预期是两回事，而且还能通过比较发现这两者之间的差距。
　　但对于人类天生的认知能力而言，这是一项巨大的挑战。因为心理学家通过研究发现，人类并不擅长发现事物的绝对价值，但善于发现相对价值。但这在投资方面会造成很大“麻烦”，因为基于相对价值对比做出的投资决策并不是最有效的。例如，看到股价比之前高点下降了50%，就认为出手的时机已经到了，理由是之前这只股票上次也是在下跌50%后大幅反弹的。
　　另一个巨大的人性障碍是我们原先“固化”的观点会影响客观判断，我们的内心被“熟悉的偏见”所俘虏。心理学家在上世纪70年代初做过一项很有意思的实验：问实验群体东德和西德间的相似度大还是尼泊尔与斯里兰卡间的相似度大，三分之二的人选东德和西德；然后针对同样的两对国家，换了一种问法：东德和西德间的差异度大还是尼泊尔与斯里兰卡间的差异度大。理性客观的结果应该是有三分之二选尼泊尔和斯里兰卡，另外三分之一选东西德。但结果是有三分之二的人选了东西德。
　　最后一个“心理陷阱”是，人在建立因果关系关联性的时候，常常混淆表象联系和内在联系。拿鸟儿可以飞翔为例，拥有翅膀和羽毛可以飞翔是表象联系，但是鸟儿挥动翅膀通过空气原理生了拉升力，继而可以飞翔才是内在联系。所以伟大投资者在将现状与历史比较的时候，会去了解造成这段历史的内在机理，而不是仅仅是比较价格或其它表象。
　　5. 用概率来思考
　　投资是一门概率艺术。伟大投资者整个的思维框架是建立在概率上的，并在市场上寻找价格与概率错配所产生的投资机会。
　　虽然投资结果很重要，但是伟大投资者的关注点更侧重于决策过程，因为好的结果不代表决策过程优异。因为概率的存在，好的决策有时也会带来坏的结果，而坏的决策也会带来好的结果。但长期来看，如果拥有正确的决策过程，即便时而出现坏的结果，投资的“总成绩”也会令人满意。因此，学会将主要精力放在投资决策过程中，并接受偶尔不好的投资结果至关重要。此外需要足够长的时间和投资决策数量来让概率发挥作用。
　　伟大投资者的另一个伟大之处在于，他们清楚正确和错误的次数并不重要，重要的是每次正确时能带来多少收益（减去错误造成的损失）。这又是反“人性”的，因为人性是厌恶错误和损失的，但伟大的投资者摒弃了“人性”，不关注对错，只关注手中投资组合终值。
　　6. 更新自己的观点（观点是有待验证的假设，而非一成不变的原则）
　　多数人喜欢一直保持自己的观点，即便事实已经开始证明这一观点可能已经“失效”。因为人与生俱来具备保护自己的观点的“偏见”。为了保护自己的观点，多数人倾向于寻找可以印证自己观点的事实（同时忽略不利的信息），或将中性事实向有利于自己观点的方向理解。这种保护观点的行为阻止了对事件的不断思考，并避免根据新的变化做出行为上的改变。
　　但伟大的投资者与人性的偏见反其道而行之：他们主动寻找与自己观点向左的信息、观点和事实，并在有确凿证据证明自己观点错误时，果断更新自己的观点。看似容易的行为，实际上常人难以做到。
　　有研究显示，这种主动寻找与自己观点相反“论据”的人，在在预测方面做得更加出色。这种主动违反人性的努力，可以对冲人内在的保护自己观点的“偏见”。
　　最优秀的投资者理解周围的世界处在不断的变化之中，我们的观点因此具有流动性。他们不断寻找不同的观点，并根据新信息更新自己的观点。更新观点的结果是行动：更改头寸方向或增减其在组合中的比重。
　　7. 理解行为偏见的存在
　　心理学教授Keith Stanovich喜欢将IQ和RQ区分开来看。IQ众所周知代表一个人的认知能力，而RQ（Rationality Quotient）是指一个人做决策的能力。教授认为，IQ和RQ间其实并没有太多重合。
　　巴菲特曾经对着两种能力做过精辟的解释，他将IQ比作发动机马力（horsepower），RQ比作输出功率（output）:
　　“我认为IQ就像发动机的马力，实际输出功率取决于运用IQ的理性能力。许多人拥有400马力的发动机但是仅有100马力的实际输出，这还比不上200马力但有200马力输出的发动机。”
　　心理学研究发现，多数人倾向于遵循经验法则来进行决策，因为经验性法则一般情况下是正确的，所以可以省下许多决策时间。但是经验法则决策法自身会造成偏离逻辑和概率的偏见。伟大投资者对于这些偏见的存在具有强烈的意识和深刻的理解，并有意采取各种措施来管理或减少这些偏见对于投资决策的影响。
　　避开行为偏见的能力由三部分组成，一部分是天生的，一部分是后天的有意训练，最后一部分是从环境中习得的经验。伟大投资者对偏见的控制能力高于普罗大众，他们积极学习这些偏见并想方设法来管理它们，并在投资环境中不断磨练。
　　8.区分信息与影响
　　价格本身在金融市场中就是非常有用的信息，代表了对于未来公司表现的预期。然而投资活动本身并不是一门严格的科学，它本质上是一项社会活动，因此价格承担了信息和影响的双重职责。以历史上发生的互联网泡沫为例，随着科技股价格上升，相关投资者享受到了纸面财富。但这种现象会对还未购入科技股的投资人产生了影响，让其中的一些人“经不住诱惑”而跟买。这对股价会产生“良性循环”。所以当时科技股的飞速上涨并不是因为投资者对于公司前景的疯狂信心，而更多的是受众人怕错过赚钱机会心理的驱使。
　　但伟大的投资者有抗拒这种影响的能力，这种能力在社交上体现为，不在乎别人怎么看你。这又是“反人性”的特征。很多优秀投资者确实展现出这种矛盾：投资决策非常优秀，但在生活社交层面却让人头疼。
　　成功的投资者在制定策略时会综合考虑不同观点，然后最终形成一套合理但与众人共识不同策略。众人在多数时间里是对的，但一旦发生错误，要做出与众人“对赌”决定，需要极其强大的心理承受能力。
　　9. 深谙头寸大小的重要意义
　　有一部电影讲述了一群MIT的数学高材生，找到了一套针对21点赌戏的算牌方法，然后在拉斯维加斯赌场所向披靡的故事。这个“成功的故事”背后其实是由两部分组成。第一部分是最醒目的，即他们的算牌和计算概率的能力，小组成员们分头行动，并互相沟通哪桌的概率更好。但第二重要的部分经常被忽视：小组成员们知道该如何根据概率来分配手中的筹码。
　　在投资领域其实也是一样：先找到投资机会，然后通过适当比例的建仓从中盈利。而几乎所有投资公司都会告诉客户自己的投资策略，但鲜有公司会透露策略的持仓情况。
　　一般投资组合的建立要经过以下过程：首先明确策略执行方式（在一个固定阶段内一直持有直到实现最大盈利还是连本带利滚动下注），然后寻找投资机会组合（是一组短期机会还是一组长线机会，或兼而有之），最后再考虑组合所需要面对的各种约束（流动性、投资期内可能出现的现金支取和杠杆等）。只有完全回答完以上三个问题才能有效地分配头寸。长期盈利的投资者与一般投资者的区别就在于，前者理解合理分配头寸与识别投资机会对长期盈利而言同等重要。
　　10. 阅读
　　每年哥伦比亚商学院都会送学生到伯克希尔所在地奥马哈与校友巴菲特“聊一聊”。他们回来后我都会问一下他们的收获。几乎所有学生都有些难以置信似地说，伯克希尔的大佬们建议他们每天至少读500页的书。
　　芒格说他最喜欢的是爱因斯坦的一句名言：“成功来自于好奇心、专注力、执着心和自省，而自省是指能够改变自己固有想法的能力。”阅读可以说凝聚了以上成功要素的精要。芒格接着说道：“在我认识的成功人士中，没有一个不是坚持阅读人。”
　　而伟大投资者一般有三个主要的阅读习惯。首先是将阅读放在重要位置。巴菲特称自己每天80%的工作时间都在阅读。其次，阅读的内容包罗万象，不仅仅局限在商业和金融领域，而是让自己的好奇心来决定阅读内容。因为其他领域的想法或信息有时在不经意间就能变成很好的投资参考。最后，阅读时持批判性思维，找出你与作者持有的不同观点。经常思考和对比与自己想法不同的观点，可以保持自己头脑的开放性。
　　研究发现，成功人士的阅读目的更侧重自我教育，而非娱乐。阅读对于投资者而言尤为重要，因为投资需要综合多方面的信息和想法，才能不断找到盈利机会。
　　来源：华尔街见闻
　　声明：本文仅代表作者个人观点，与熵一资产管理（上海）有限公司无关。部分文章推送时未能及时与原作者取得联系，若涉及版权问题，敬请原作者联系微信删除。
　　――――――――――――――――――――
　　――――――――――――――――――――
　　如果您喜欢这篇文章，请分享给您的朋友，或点击右上角箭头查看公众账号，关注熵一荟。
　　熵者，混沌之度也，熵是我们的投资哲学。一者，大道至简，万变归一，一是我们的方法论。在经济转型与金融自由化的大时代，熵一资本致力于成为您的创富伙伴。
欢迎举报抄袭、转载、暴力色情及含有欺诈和虚假信息的不良文章。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
搜狐公众平台官方账号
生活时尚&搭配博主 /生活时尚自媒体 /时尚类书籍作者
搜狐网教育频道官方账号
全球最大华文占星网站-专业研究星座命理及测算服务机构
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：关于信息熵的几个现实意义--《科技资讯》2016年23期
关于信息熵的几个现实意义
【摘要】：无论是经济的发展还是王朝的更替,信息的传递和运用都起到了不可磨灭的作用。它是事件能否按照预想行进的关键,同样也是对于未知行为属性的一种探知和发现。而作为信息的度量单位,信息熵的作用显而易见。该文首先通过对信息与信息熵的关系入手,然后对于信息熵的推广进行了3个方面的简单叙述,说明了信息熵在物联网和教育系统中的意义,以及在广告中的重要作用。
【作者单位】：
【关键词】：
【分类号】：O236【正文快照】：
1信息与信息熵在这个信息爆炸的时代,能够掌握多少信息量会直接影响到人们所做事情的成败。而作为信息的度量单位,信息熵的作用显而易见。信息是可以用来研究不同种类随机事件的数学工具,是用来展开叙述物体不确定性的方式。信息是一种确定性的有序的象征,而熵则是无序的,不确
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号熵（统计物理与信息论术语）_百度百科
?统计物理与信息论术语
（统计物理与信息论术语）
熵的概念[1]
是由德国物理学家于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，按照从本质上说，这些具体的引申定义都是相互统一的，熵在这些领域都是十分重要的参量。
熵“熵”概念的提出
熵（希腊语：entropia 英语：entropy）的概念是由德国物理学家于1865年所提出。在希腊语源中意为“内在”，即“一个系统内在性质的改变”，公式中一般记为S。1923年，德国科学家普朗克（Plank）来中国讲学用到entropy这个词，教授翻译时灵机一动，把“商”字加火旁来意译“entropy”这个字，创造了“熵”字，（音读同：商），因为熵变dS是dQ除以T（温度）的商数。
克劳修斯将一个热力学系统中熵的改变定义为：在一个可逆过程中，输入热量相对于温度的变化率，即
T为物质的热力学温度；dQ为热传导过程中的输入热量，下标“reversible”表示是“可逆过程”。
首先这里解释一下什么是“可逆过程”。热力学过程是指一个系统热力学性质的改变过程，例如温度、体积、压强、内能等。当一个过程被界定为“可逆”时，即指改变过程在的每一个极短的步骤内，系统都保持非常接近平衡的状态，称为“准静态过程”。否则，该过程即是“不可逆的”。例如，在一含活塞的管中气体，其体积可以因为活塞移动而改变。“可逆”体积改变是指在进行得极其慢的步骤中，气体的密度一直保持均匀。“不可逆”体积改变即是指在快速的体积改变中，由于体积改变太快，可以形成密度梯度和压力波，并造成不稳定状态。无耗散的“准静态过程”即是“可逆过程”。若过程是不可逆的，则dS&（dQ/T）不可逆。这里过程的“可逆性”涉及到一个和“熵”密切相关的物理原理，称为“熵增原理”，也就是“热力学第二定律”。热力学第二定律有很多表述形式，例如：①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；②功可以全部转化为热(例如物体间摩擦使一部分机械能不可逆地转变为热)，但任何热机不能全部地，连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；③在孤立系统中，实际发生过程，总使整个系统的熵值趋于增大。
这些不同表述各有侧重，但彼此等价。例如：在一个孤立系统中有两个温度不同的物体，热量dQ 由高温（T1）物体传至低温(T2)物体，高温物体的熵减少dS1=dQ/T1，低温物体的熵增加dS2=dQ/T2，把两个物体合起来当成一个系统来看，熵的变化是dS=dS2－dS1&0，即熵是增加的。这说明了表述①和表述③的等价性。
熵“熵”的统计物理解释
1877年左右，提出熵的统计物理学解释。他在一系列论文中证明了：系统的宏观物理性质，可以认为是所有可能微观状态的等概率统计平均值。例如，考虑一个容器内的理想气体。微观状态可以用每个气体原子的位置及动量予以表达。所有可能的微观状态的须满足以下条件：（i）所有粒子的位置皆在容器的体积范围内；（ii）所有原子的动能总和等于该气体的总能量值。
玻尔兹曼提出一个系统的熵和所有可能微观状态的数目满足以下简单关系，
这个公式称为“玻尔兹曼公式”，其中
是玻尔兹曼常数，Ω则为系统宏观状态中所包含的微观状态总数。
根据这个公式，我们可以将熵看作是一个系统“混乱程度”的度量，因为一个系统越混乱，可以看作是微观状态分布越均匀。例如，设想有一组10个硬币，每一个硬币有两面，掷硬币时得到最有规律的状态是10个都是正面或10个都是反面，这两种状态都只有一种构型（排列）。反之，如果是最混乱的情况，有5个正面5个反面，排列构型可以有排列组合数
，共252种。
根据熵的统计学定义[1]
，热力学第二定律说明一个孤立系统的倾向于增加混乱程度，根据上述硬币的例子可以明白，每一分钟我们随便掷一个硬币，经过一段长时间后，我们检查一下硬币，有“可能”10个都是正面或都是反面，但是最大的可能性是正面和反面的数量相等。
我们发现，混乱程度倾向于增加的观念被许多人接受，但容易引起一些错误认识，最主要的是必须明白ΔS ≥ 0只能用于“孤立”系统，值得注意的是地球并不是一个孤立系统，因为地球不断地从太阳以太阳光的形式接收能量。但有人认为宇宙是一个孤立系统，即宇宙的混乱程度在不断地增加，可以推测出宇宙最终将达到“热寂”状态，因为（所有恒星）都在以同样方式放散热能，能源将会枯竭，再没有任何可以作功的能源了。当然”宇宙是一个孤立系统“严格来说只是个未被验证的假设。
可以严格证明，玻尔兹曼公式的另一种等价表述形式是
其中i标记所有可能的微观态，
表示微观态i的出现几率。
熵“熵”的信息论解释
1948年，将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”, 即
其中i标记概率空间中所有可能的样本，
表示该样本的出现几率，K是和单位选取相关的任意常数。可以明显看出“信息熵”的定义和“热力学熵”（玻尔兹曼公式）的定义只相差某个比例常数。数学上，可以证明“香农熵”的定义，具有以下良好性质：
该度量应该是连续的，即，若样本概率值有微小变化，由此引起的熵变化也是微小的。
样本重新排序后，该度量应保持不变，即
当所有样本等几率出现的情况下，熵达到最大值（所有可能的事件等概率时不确定性最高）
对于样本等几率分布而言，样本数越大，熵值越大（可能的时间越多，不确定性越高）　　
可加性　　
熵的值与过程如何被划分无关。它描述了一个系统与其子系统熵的关系。如果子系统之间的相互作用是已知的，则可以通过子系统的熵来计算一个系统的熵。例如：给定一个有n个样本的均匀分布集合，分为k个箱子（子系统），每个里面有 b1, ..., bk 个样本，合起来的熵应等于系统的熵与各个箱子的熵的和，每个箱子的权重为在该箱中样本的总概率。即，对于正整数bi其中b1 + ... + bk = n来说，
其中S的脚标，标记对应概率空间的样本点个数。
事实上，香农证明如果要求度量满足这些性质，则可以完全确定“信息熵”的定义表达式。[2]
熵“信息熵”和热力学熵的联系
根据Jaynes（1957）的观点，热力学熵可以被视为香农信息理论的一个应用（这从玻尔兹曼公式和信息熵的定义相似性明显可以看出。）：热力学熵被定义为与要进一步确定系统的微观状态所需要的更多香农信息的量成比例。比如，系统温度的上升提高了系统的热力学熵，这增加了系统可能存在的微观状态的数量，也意味着需要更多的信息来描述对系统的完整状态。
麦克斯韦在以他的名字命名的思想实验（“麦克斯韦妖”）中认为，如果存在一个小妖精知道每个分子的状态信息（热，或者冷），就能够降低系统的热力学熵。Landauer和他的同事则反驳说，让小妖精行使职责本身——即便只是了解和储存每个分子最初的香农信息——就会给系统带来热力学熵的增加，因此总的来说，系统的熵的总量没有减少。这就解决了“麦克斯韦妖”引发的悖论。Landauer法则能够解释现代计算机在处理大量信息时，必须解决散热问题。
．知乎[引用日期]
．维基百科[引用日期]
企业信用信息}