Section 01不编码时,「率」还有意义吗
这个故事要从一个问题说起。而这个问题,是冲着一篇已经发表的论文去的。
1948 年那篇论文证明的事情,可以压缩成一句话:只要允许编码,就能以那个传输率传输,并且错误率任意小。这是编码定理的全部力量所在——它把「能传多快」和「会错多少」这两件事,用一个可以计算的量绑在了一起。
但凯利(John L. Kelly Jr.)问的是另一半:如果不编码呢?那个「率」还有意义吗?
在这之前,大家其实一直默认它有。雷达探测器的设计,就是按「最大传输率」来做的——工程上早就把它当成一个有用的数在用,只是没人说清楚它为什么有用。凯利的态度是:这个默认没有根据,你得给出个理由。
他没有去写抽象论证。他造了一个场景。
Section 02一个赌徒的私人线路
场景是这样的:一个拥有私人线路的赌徒。
信道把某场机会的结果,在结果公开之前传给他。他收到消息之后,仍然可以按原来的赔率下注。
两种情形,结果完全相反:
- 无噪声信道他全押。资金按 2n 涨——每收到一个比特,身家翻一倍。
- 有噪声信道(错误率 p)全押几乎必然破产。消息会错,而乘法世界的破产是吸收态——归零之后再也回不来。所以他只能押一部分。
于是问题变成了:押多少?凯利先定义资金的指数增长率:
然后最大化它。在二元对称、等额赔率的设定下,结果是:
而 1 − H(p),正是同一错误率下那个信道的容量。
不是比喻。是等式。
他后来还把它推广到多结果的赛马:因为边信息 Y 而增加的那部分增长率,等于互信息 I(X;Y)。这条推广比原式更能说明问题——它不再依赖「公平赔率」这种特殊设定,直接把「你多知道的那部分」和「你多赚的那部分」画上了等号。
Section 03为什么偏偏是对数
这一点值得单独说,因为它不是巧合,也不是数学上的顺手。
资金是相乘的。赢了乘 1.1,输了乘 0.9。乘法没法直接平均——你不能把 +10% 和 −10% 加起来除以二,然后说「平均没变」。实际上乘一遍是 0.99,你已经亏了。
取对数,乘法就变成了加法。
而这和信息量那儿的动作,是同一个动作。两件互不相干的事同时发生,概率相乘,信息量却应当相加——要让相乘的东西变得可加,唯一的办法就是取对数。
同一个理由,在两个地方出现。一个是「信息」,一个是「钱」。它们都要求可加。
所以这里的对数不是技术装饰。它是一条线索:凡是能取对数的地方,背后多半有一个乘性结构在。而信息和财富,恰好都是乘性的。
Section 04往下剥五层
如果只记住那个等式,容易把它当成一个精巧的巧合。往下剥五层,才看得出它为什么非成立不可。
- 第一层 · 信息可以精确地换成钱 不是「信息有价值」这种含糊话,是兑换率。某条信道每秒传 R 比特,那么在公平赔率下,听这条线的赌徒,财富增长率恰好就是 R。
- 第二层 · 为什么能换 因为两者是同一个东西的函数。信息是不确定性减少的量;赢钱是你对不确定性的判断比别人准,准出来的那一部分。同一个东西,两个出口:一个通向「你能传多少」,一个通向「你能赚多少」。
- 第三层 · 钱是从哪来的 凭赔率定错了。公平赔率下,一个结果的市场价格就等于它的概率;你知道真实概率比市场以为的高,差价就是你的钱。所以信息的价值,来源是定价的偏差。
- 第四层 · 为什么偏偏是对数 因为财富和不确定性都是乘性结构。加法世界可以平均,乘法世界不能,必须先取对数。长期只有几何增长率算数——算术上的好运气,在乘法世界里会被一次归零抹平。
- 第五层 · 最本质的那一层 「率」这个量,原本只在「工程师要传消息」的语境里才有意义——它的意义是通过编码定理、通过「传输」赋予的。凯利发现的是:不需要传输,不需要编码,它照样有意义。只要有人愿意为「知道得早」付钱。
第三层有一个不太好接受的推论:如果市场定价完全正确,信息一文不值。因为你会算出 f* = 0——优势为零,不下注。
香农在 1987 年的一次访谈里说过一句很直的话:经济学家谈论「有效市场」,「我根本不相信那是真的。」这句话和凯利公式之间,并不是巧合的呼应——它们是同一个判断的两面。
Section 05「率」到底是什么
这是整场对话里卡住最久的一处。「率」这个词日常也在用——成功率、利率、汇率——但技术含义和那几个都不一样。它和「渠道」「速率」「接收」「接受」一样,是又一个被日常话糊住的词。
一、量 和 率,是两个东西
量:这一次,是多少。率:每单位时间,平均是多少。
假设有个信源,每秒吐一个字母。它吐出「e」,信息量很小——这个字母太常见,你早猜到了;它吐出「z」,信息量大。前者是「这一次怎么样」,后者是「这个东西长期是个什么脾气」。它们回答的是不同的问题。
二、为什么工程上必须用「率」
因为单次那个量,没法拿来用。你不可能跟造线的工程师说「这条线要能承受 3 比特」——3 比特是哪一次?下一次呢?工程师要的是「平均每秒要过多少」。
三、率最有用的一条性质:它可加
一条线每秒 5 比特,另一条每秒 3 比特,合起来每秒 8 比特。可以相加,就可以做预算、做分配、做设计。单次的信息量做不到这件事——你没法拿「这次 3 比特」去规划任何东西。能进预算表的量,才是工程能用的量。
四、一个更贴身的例子:打字
你飞快地打「the the the the the」——速度很高,信息率接近零,因为你打的每一个字,对方早就猜到了。你打得很慢,但每一句都是新的——速度低,信息率不低。
「率」把这两样合成一个数:它同时算上了你打得多快,和你想说的东西有多新。这就是它为什么在工程上有用——它把「速度」和「意外性」折成了一个可以比较的数。
五、所以「率」的本质
把时间除掉之后,剩下的那个东西。
你说的话内容是什么,不管;你一共说了多少,也不管;你每单位时间能提供多少新东西,这才管。1948 年那个核心动作,说白了就是这个:把「信息」从「具体说了什么」里抽出来,变成一个能按时间算的量。
它不是「速度」,也不是「比例」。它是:每单位时间里,有多少新东西。
这个定义的好处是,它不关心「新东西是什么」。只要能被计数——电报的点和划、赌桌上的输赢、你打的字——都能换算到同一根轴上比。
Section 06比特与「注」:两个单位为什么能相等
这是全篇最容易被跳过、也最值得停下来看一眼的地方。因为等号两边的单位,看起来根本不匹配。
| 量 | 符号 | 单位 |
|---|---|---|
| 信道传输率 | R | 比特 / 秒 |
| 财富增长率 | G | 对数 / 注 |
比特和「注」怎么会相等?因为「一注」和「一个符号」是对上的。
信道每传来一个符号,赌徒就下一注。于是链条接上了:信道每秒传多少,赌徒每秒就得到多少信息;赌徒每秒得到多少信息,他的钱每秒就能涨多少。中间那个「每秒」是同一根轴。
两个东西的更新频率对上了,它们的率就能直接比。这也解释了为什么这个等式不能随便推广到节奏不同的场景——一旦「每符号一注」的对应关系断掉,等号就只剩一个漂亮的形式。
Section 07香农、Thorp,与阁楼上的轮盘
这条线索后来走出了贝尔实验室,走进了一间阁楼。
MIT 的埃德·索普(Ed Thorp)来找香农。香农让他去读凯利那篇。后来他们一起做了那台轮盘赌预测机——12 个晶体管,香烟盒大小,输入靠藏在鞋里的脚趾开关,输出是耳道里的八个音。
香农在自己家的阁楼上装了一台真正的职业轮盘做实验。它能在大约三分之二的情况下预测出正确的半圈。
但他们没能靠它赚钱。原因是硬件——耳道里那根细线总断,得反复重焊。卡在工程上,不是理论上。
后来索普把凯利那套用到了 21 点,再后来用到了证券市场。至于这台机器本身,它更像一次证明:当一个量真的抓住了世界的某根轴,它就会自己长出手脚。
Section 08公式够不着的地方
凯利公式有一个非常容易被忽略的性质:它给定 p,然后告诉你押多少。它不告诉你 p 是多少。
而现实中绝大多数时候,你不知道 p。
一个精确的公式,配上一个猜测的输入,给出的是一个精确的错误答案。
这几乎就是《The Bandwagon》里那种误用的另一种形态——拿「信息率」这几个字去够一个它够不着的地方。公式本身的严格,反而让错误的输入端显得更可信,这是它最危险的地方。
波动:数学最优不等于睡得着
凯利最大化的是长期增长率。代价是波动极大。按全凯利下注的人,会经历非常深的水下期——账户可能先跌掉一半,再谈长期最优。
所以实务里很多人只用「半凯利」,甚至更少。这不是香农当年的说法,是后来做实务的人加上去的。但它可能比公式本身更值得记住:数学上最优,和你能不能睡着觉,是两件事。
一个带出处强度的细节
凯利那套东西是他做出来的,但据记载,他一辈子没靠赌赚到钱;而香农用了它,赚到了。这条说法在原始材料里用的是 reportedly,属于二手记述,不能当作确证引用。
香农自己的做法也更朴素。他在访谈里说过:我们看公司的盈利,反复思考产品的未来前景,我们是基本面派,不是技术派。还有一句更短的话——
归根结底,在我看来,数学不如人和产品重要。
Section 09优势能撑多久:一个巴菲特式的追问
上一节停在香农那句话上:数学不如人和产品重要。这句话如果往投资那边再推一步,会撞上一个凯利公式回答不了的问题——优势本身,能撑多久?
这一段是原对话之后追加的,说话的人是巴菲特,不是香农。他的回答是:
香农关心的是信息优势,凯利关心的是把优势换成下注大小;我关心的是这个优势能不能持续十年。我买可口可乐,不是算出了什么胜率和赔率,是我相信十年后人们还在喝它,而且这生意别人抢不走。这就是护城河。
把三个人并排放,分工其实很清楚:
| 人物 | 回答的问题 | 对应的量 |
|---|---|---|
| 香农 | 我到底知不知道?知道得多早? | 信息量、互信息 I(X;Y) |
| 凯利 | 既然有优势,该押多少? | 下注比例 f*、增长率 G |
| 巴菲特 | 这份优势还能用多久? | 护城河、生意的持久性 |
凯利公式里没有「护城河」这一项。它算的是一次下注的数学期望,算不出一家企业能不能扛住竞争。公式里的 p 是给定的、一次性的赔率;而在真实的生意里,p 会被对手改掉,牌局本身也会变。
分歧:从信息出发,还是从生意出发
巴菲特把分歧说得很直白:他们从信息出发,我从生意出发;他们要最优,我要确定性。凯利最大化的是长期增长率,代价是深度回撤;护城河要的不是最优,是「十年后这生意还在、还归我」。这是两种不同的目标函数。
共识:没优势就坐着不动
但两边在一条边上是一致的:都承认自己有优势才下注,没优势就不下。凯利公式在 p 不占优时给出的 f* 是零甚至负数;巴菲特的说法是「等好球」——棒球里那个把好球区划成七十七格的泰德·威廉姆斯,宁可站着被三振,也不挥打不好的球。
所以三种视角并不打架,它们各管一段:信息回答「我知不知道」,凯利回答「押多少」,护城河回答「这份优势还能用多久」。前两个可以写进公式,第三个写不进去——它只能靠对人和产品的判断,也就是香农最后那句话的意思。
Section 10等式不是花车
一个自然的疑问是:这难道不就是《The Bandwagon》批评的那种事吗——把一个领域的词搬到另一个领域去?
不是。区别在一条判据上:
- 借词的威望拿几个词去够别的东西,够到了也没有可检验的后果。这是跟风的花车。
- 可检验的等式两边可以各自去测。测出来对不上,就能推翻它。这是科学。
凯利给出来的是等式,不是比喻。信道容量可以测,财富增长率可以测,两者相等这件事,是一个可能被证伪的断言。而且他是从香农隔壁办公室走过来的,没有离开过那座楼——这不是跨界的联想,是同一条走廊里的推导。
所以《The Bandwagon》反对的从来不是探索,是冒名。
Section 11收束
把这场对话压到最短,是这一句:
信息不是「像」钱。是不确定性每减少一分,钱就多一分——而这一分,是可以算出来的。
这句话之所以成立,不是因为两个领域「有相似之处」,而是因为它们共享同一个结构:乘性的增长、可加的信息、以及对不确定性的削减。相似是修辞,共享结构才是等式。
六条可以带走的结论
- 凯利公式的核心不是一个下注技巧,而是一个等式:最大指数增长率 = 信道容量。
- 这个等式成立,是因为信息和财富都是乘性结构,都必须先取对数才能相加。
- 信息之所以值钱,来源是定价偏差;公式隐含的前提是市场并非完全有效。
- 「率」的本质是「每单位时间有多少新东西」,可加性才是它能进工程预算表的原因。
- 公式给你下注比例,不给你概率。精确公式配上猜测输入,只会得到精确的错误。
- 公式也算不出优势能持续多久。凯利管「押多少」,护城河管「这优势还能用多久」,两者不能互相替代。
Appendix附录 · 出处与事实核对
以下按对话中出现的顺序核对,并标注出处强度。一手指原始文献或本人访谈;二手指传记、综述或他人记述;后加指后人补充的实务做法,不属于原始理论。
| 说法 | 强度 | 说明 |
|---|---|---|
| 凯利 1956 年发表《信息率的一种新解释》 | 一手 | Bell System Technical Journal, 35(4): 917–926。 |
| 凯利 1953 年加入贝尔实验室,与香农同楼 | 二手 | 传记与贝尔实验室史料记述。 |
| Gmax = 1 + p log p + q log q = 1 − H(p) | 一手 | 原文等式;在二元对称、等额赔率设定下成立。 |
| 多结果赛马中,增长率增量等于互信息 | 一手 | 同一篇论文的推广部分。 |
| 与 Thorp 合作轮盘预测机:12 个晶体管、鞋内开关、耳道音频 | 二手 | Thorp 及多家传记、访谈的记述,细节略有出入。 |
| 预测正确半圈约占三分之二;失败原因是导线断裂 | 二手 | 同上,属回忆性记述。 |
| 凯利本人未靠赌博获利,香农获利 | 二手 | 原文用 reportedly,不作确证引用。 |
| 「半凯利」「四分之一凯利」 | 后加 | 后人实务做法,非香农原话。 |
| 香农 1987 年称不相信「有效市场」 | 一手 | Omni 杂志访谈原话。 |
| 「数学不如人和产品重要」 | 一手 | 香农访谈中的表述。 |
| 护城河、等好球、泰德·威廉姆斯七十七格好球区 | 二手 | 巴菲特在伯克希尔股东信与公开访谈中的一贯表述,Section 09 为对话中的转述,非针对凯利公式的原始论述。 |
术语小注
- 熵 H(p)
- 一个二元信源每次输出的平均不确定性,单位是比特。p = 0.5 时最大,为 1 比特;p 趋近 0 或 1 时趋近 0。
- 信道容量 C
- 在错误率可任意小的前提下,信道每秒最多能可靠传输的信息量。二元对称信道下 C = 1 − H(p)。
- 互信息 I(X;Y)
- 知道 Y 之后,关于 X 的不确定性减少了多少。它衡量的是「边信息到底值多少」。凯利把它和「因为这条边信息而多赚的增长率」画了等号。
- 指数增长率 G
- 资金长期按复利增长的速度,取对数后按次数平均。它描述的是「几何平均」而非「算术平均」。
- 凯利比例 f*
- 使长期增长率最大的下注占资金比例。f* = (bp − q) / b,b 为赔率。p 估计偏高时,f* 会被系统性高估。
主要来源
- Kelly, J. L. (1956). A New Interpretation of Information Rate. Bell System Technical Journal, 35(4), 917–926. IEEE Xplore
- Bell Labs 官方文献页:A New Interpretation of Information Rate
- Poundstone, W. Fortune's Formula(关于凯利、香农与 Thorp 的科普史)。MAA Review
- 香农 1987 年 Omni 访谈(有效市场与基本面投资的相关表述)。
- 巴菲特致伯克希尔·哈撒韦股东信(护城河、能力圈与「等好球」的相关表述);泰德·威廉姆斯《The Science of Hitting》(好球区划分)。
- 阿姆斯特丹大学课程材料:Gambling and Information Theory