資訊是什麼？在上一集我們就提到過，資訊可以降低一個系統的不確定程度。這句話裡其實就已經暗含了對熵的描述。熵是對一個系統不確定的度量，而資訊可以降低不確定性。
也就是說，熵和資訊一定是有關係的，只要我們找到其中的關係，就能把熵是什麼搞清楚了。
這件事夏農做到了。而且夏農定義的熵是基於資訊量得出來的，所以也叫做資訊熵。
那麼資訊熵是什麼呢？就是簡單的把一個系統可以發出的所有資訊的資訊量加起來嗎？沒有那麼簡單。
還是用第一集裡簡化版的“世界盃比賽”來舉例，從 8 個球隊比賽不知道誰得冠軍，到確定阿根廷奪冠。賽前這個系統是不確定的，當決賽完成之後，冠軍就成了確定的了。
