1. 首頁 > 云知道 > >

紀念信息論之父香農,信息熵

云知道

可轉債投資事后諸葛亮好做,如何事前呢?事后諸葛亮,馬后炮,都是投資中的后眼,除了增加后悔的成分,信息熵是比較小的,好在可轉債有一些復雜的規則,規則套規則,就會出現大概率事件 。
信息熵是什么？

紀念信息論之父香農,信息熵


【紀念信息論之父香農,信息熵】信息熵（Information Entropy）的概念來源于信息論 。而信息論的奠基人香農（Shannon）在1948年將熱力學中的熵引入了信息論，提出了信息熵（又稱香農熵） 。首先我們需要明白什么是信息 。香農認為：信息是用以消除隨機不確定性的東西 。這里舉個例子，競猜世界杯32支隊伍誰會奪冠 。開始時假設我們對每個球隊都不了解，那么所有隊伍的奪冠概率都是相同的1/32 。
但是一旦我們獲取了一些信息，比如查看往屆的世界杯冠軍，發現都是歐洲和南美的球隊奪冠 。通過這個信息，我就能消除一些不確定性，除去南美和歐洲的球隊都排除 。那么可能就剩下10支隊伍，這樣我猜中的概率就變成了1/10，大大的增加了 。而信息能夠降低事件的不確定性，那么想要確定出不確定性大的事件所需的信息就越多 。
因次就可以用所需的信息大小來衡量事件的不確定性 。并且發現概率同樣能夠表示事件的不確定性，概率越小不確定性就越大 。根據上面的推理，我們就可以用概率還描述某個事件的信息量，同時概率越小，信息量越大 。那么由此給出信息量I的公式：其中p為事件發生概率 。比如巴西奪冠的概率為1/3 。那么相應的信息量就約為1.58；而日本奪冠概率為1/60，信息量就為5.9；可見概率越低，所需要的消除不確定性的信息量就越大 。

    推薦閱讀