前言:
眼前大家对“集合是闭的是什么意思”大体比较注意,咱们都需要了解一些“集合是闭的是什么意思”的相关知识。那么小编同时在网上收集了一些对于“集合是闭的是什么意思””的相关文章,希望咱们能喜欢,我们快快来了解一下吧!信息,就是出人意料,而出人意料其实讲的是概率。
——坤鹏论
从今天开始,坤鹏论将进入到阶段性的思考整理。
脉络将是从信息熵,到熵,再到复杂性科学,一直回到这个系列的起点塔勒布的《反脆弱》。
一、这是一个概率的世界
随着不断地学习与思考,坤鹏论越来越感觉到,香农的信息熵与热力学的熵,基本就是一回事。
热力学的熵,还有后来由其派生出来的麦克斯韦妖,其最重要的贡献以及开创是:
由概率到统计,再到脱离成为普适的自然规律,信息熵亦然。
写到这里,坤鹏论突然有些顿悟——这所有的一切皆因为我们的世界、我们的宇宙完全是在概率统治之下。
那么,这个世界的最强法则应该是概率。
我们常说,除了死亡,一切皆有概率!
但是,如果不以肉体消灭为标准,而是从基因和遗传信息的角度看(想想之前坤鹏论举过的柳絮的例子),那真的是一切都有着概率。
既然如此,只要牢牢把握住概率这条真理,从它出发,坚定地前行,都能够获得不菲的成就。
那么——
不管是熵;
还是信息熵;
亦或者复杂性科学、复杂性系统;
其实都不过是概率下的蛋!
所以,不是它们牛,不是它们是自然规律。
而是它们摸到了支撑这个世界背后的真理——概率。
尽管都只能算是一方面,一点点。
并且,但凡能够理解概率,并应用到实践,都是很牛的事和很牛的人。
比如:保险、赌博、金融、投资等。
比如:巴菲特、索罗斯等投资大师,他们成功的关键就在于——风险的管理。
而概率就是风险的数学语言。
所有投资,不管是价值投资,还是投机。
只要是投入今天的钱购买未来,哪怕未来就是下一秒,都会有概率,都有风险。
所以,这种行为应该统一称为风险投资,或者概率投资。
而以概率为灵魂的学科则可以被视为人类探究概率的工具,比如:统计学。
统计力学也是,信息论也是。
没有概率,它们都不可能存在!
二、无序?不确定性?其实都是概率
正如上面所说,概率才是这个世界至高的规律。
所以,只有从概率的角度去理解熵、信息熵,才能算是本质级的理解。
下面,坤鹏论就以信息熵为例说明一下。
香农用熵度量的是不确定性。
而维纳则用熵度量无序程度。
如果站在概率的高度,就知道它们从根本上就是一回事。
一段文字的内在有序性越强,其可预测性也就越高。
换用香农的话来说,也就是后续字母所传递的信息量越少。
如果你对下一个字母是什么,信心十足,那么这个字母就是冗余的,它的出现没有贡献新的信息。
信息,就是出人意料!
而出人意料其实讲的是概率。
比如:在英语中,如果紧跟在字母t之后的是字母h,那么信息量就不大,因为字母h在此出现的概率相对较高。
而不管是维纳的无序度,还是香农的不确定性度,但它们都叫熵,这已经证明了,它们和热力学的混乱程度是一个意思。
我们再来重温理解一下,为什么熵越大混乱程度越大?
什么时候热力系统中没有熵呢?
就是只有一种微观态的时候。
这时的概率是1,其他微观态的概率为0,这就是完全的有序,没有混乱度。
那什么时候系统中熵最大?
自然是所有微观态的概率相等的时候。
这时,系统对于取什么微观态没有偏向性,所以混乱度最大。
接着,我们再理解,为什么熵越大,信息量越大?
因为熵越大,系统承载信息的能力越大。
道理很简单!
所有微观态等概率出现时,也就是系统中存在着所有微观态。
将微观态直接视为信息,想想看,明白了吗?
而一个熵为0的系统只能取一个微观态,自然承载不了任何信息。
因为,信息是消除不确定性的东西,一个微观态自然就没有不确定性,自然就能闭着眼选择,根本不用”还能说什么“,自然也就没有信息了,也就没了”还能说多少“——信息量。
然后,我们再理解,为什么信息熵中,语言越”混乱“,信息量越大?
这最好从语言的上下文关联度来分析。
英文单词中的字母相关度很高,比如:ing、tion,以及各种前缀后缀。
因为相关度大,所以就算从ing、tion中拿掉一个字母,也完全不会影响阅读。
显然说明了这些组合中单个字母提供的信息量很小。
而中文的上下文关联度低很多,所以,单个汉字信息量大。
由此,结论就是:
上下文关联度越高,也可以理解为符号系统越有序,不确定性程度越低;
上下文关联度越低,也可以理解为符号系统越无序,不确定性程度越高。
因此,将信息的不确定性用熵来命名再恰当不过,它和统计力学中的熵,就是同一个问题——概率。
还记得坤鹏论在复杂性科学中讲过的混沌边缘吗?
那是一种最好的系统状态。
琢磨一下,有没有发现语言其实也符合混沌边缘的道理。
简单联想一下就能明白。
假设一群人开会,人们越是意见不一致,越是混乱,人们越希望表现自己的意见,于是大量信息会不断产生。
而往往正是这样的会议才证明了公司的活力四射。
最可怕的会议是,只有有序,没有混乱。
也就是只有领导滔滔不绝,其他人全都默不作声。
所以,复杂性系统同样也是概率的问题。
这可能就是传说中的融会贯通,大道至简,殊途同归吧!
三、麦克斯韦妖
坤鹏论曾经讲过《人类就是麦克斯韦妖》。
在这个著名的思想实验中,麦克斯韦妖在密闭容器中所做的只是控制闸门。
它如何控制闸门?
分子过来时,它会根据它运动的速度和轨迹,判断是快分子,还是慢分子,从而选择是否开闸门。
而分子运动的速度和轨迹,就是信息。
也就是说,麦克斯韦妖根据获得的信息作出选择。
它每处理一个分子,都是做了一次信息与能量的转换。
提出这个观点的齐拉特的贡献非常伟大,因为自此之后,信息也是物理的了。
正如布里渊所论述的,麦克斯韦妖要看得清楚分子,不可能摸黑进行,必须要有灯光照在分子之上,光被分子散射,而被散射的光子被麦克斯韦妖的眼睛吸收,这样它才会看清。
这意味着,麦克斯韦妖不做功,要使系统熵减少,必须获得信息,这需要通过(眼睛)吸收外界能量实现。
因此,麦克斯韦妖这个思想实验的先决条件——密闭被打破了。
自此容器不再密闭,而是可以接收外部能量。
也只有这样,麦克斯韦妖才能干活。
我们可以这样设想修改版的麦克斯韦妖:
外部注入能量,使得麦克斯韦妖看得清分子,从而获得它们的运行速度和轨迹信息,根据信息,麦克斯韦妖做出是否开闸门的选择。
这是一个能量转换为信息,信息再转换为能量的过程。
有了上面这个基础,我们再来看香农的信息论和信息传输模型。
你会发现其实就是麦克斯韦妖实验的现实翻版。
容器:所有可能讯息组成的集合
分子:字符
麦克斯韦妖:信宿,接收者
外部能量:信源
麦克斯韦妖的功能是在获得分子运动的信息后,通过操作闸门做出选择,分离快分子和慢分子,从而减少系统的熵。
一个信息集合的接收者同样也是在接收到信源的讯息后,做出选择,减少信息集合的信息熵(不确定性)。
并且,不管是麦克斯韦妖还是接收者,他们都很单纯地做着是或否的二元选择题。
麦克斯韦妖只关心是快还是慢。
接收者只关心不确定性和确定性。
四、接收者=麦克斯韦妖
自从香农提出信息论后,他迅速成为了学术圈内的当红人物,享有偶像级的声望。
有时,他还会到大学和博物馆就“信息”进行通俗的演讲。
在这些演讲中,他曾引用过《新约·马太福音》第5章第37节的话:
“你们的话,是,就说是;不是,就说不是;若再多说,就是出于那恶者。”
这就牵扯出了信息熵另一个定义,它是通过只允许回答是或否的问题,来猜出一条未知信息时所需问问题的平均数目。
坤鹏论认为这个讲成实例,很容易让人理解信息熵是怎么一回事,那就不厌其烦地分享给大家,希望大家也不厌我烦地读一读。
假设你是麦克斯韦妖,如果分子是一快一慢成对过来,表面上看不出区别。
那么,你需要提几个问题可以知道它们的状态呢?
对的,只需要一个问题。
你可以问:“A是快(慢)分子吗?”;
或者问:”B是快(慢)分子吗?“
如果对面一下子来了A、B、C、D四个一模一样的分子,其中只有一个是快分子,你需要提几个问题来确定它?
有人可能会下意识地说,4个!
惯性思维害人呀。
明智的提问方法是二分法。
你可以先问:A和B中有一个是快分子,对吗?
分子回答说:是。
你可以接着问,快分子是不是A(或B)?
分子回答说:否。
那你就知道答案肯定是B。
整个过程,一共2个问题。
如果答案不是A,也不是B。
答案自然就在C和D中间,你只需要再问:快分子是不是C?
分子回答说:否。
你自然就知道正确答案是D了。
还是提两个问题搞定。
也就是,如果4选1,你平均需要提两个问题能够得到确定答案。
显然,你提问题的过程,就是在消除自己对分子的不确定性。
香农将对于分子的不确定性称为信息熵。
为了衡量信息熵,香农建立起了它与概率的数学关系,也就是从不确定性到确定性,需要提出问题的平均数量。
因此,上面的例子中,两个等概率的分子,提一个问题知道答案,信息熵就是1比特,四个等概率的分子,提两个问题知道答案,信息熵就是2比特。
坤鹏论以此为例,换个角度再讲一遍信息熵,其目的是,回到初心,回到热力学的熵,回到熵与信息发生关系的麦克斯韦妖,最终回到概率!
本文由“坤鹏论”原创,转载请保留本信息
请您关注本头条号,坤鹏论自2016年初成立至今,创始人为封立鹏、滕大鹏,是包括今日头条、雪球、搜狐、网易、新浪等多家著名网站或自媒体平台的特约专家或特约专栏作者,目前已累计发表原创文章与问答6000余篇,文章传播被转载量超过800余万次,文章总阅读量近20亿。
标签: #集合是闭的是什么意思