条件期望：Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了

技术分享 2年前 (2022-10-07) 0 999+

我知道有很多人理解不了 “条件期望” (Conditional Expectation) 这个东西，有的时候没看清把随机变量看成事件，把 (sigma)-algebra 看成随机变量从而思路全错的时候，我也会觉得莫名奇妙。所以在这里用一个极其简单的例子解释一下，只要你是一只上过高中的草履虫那就能听懂。

[]

我们来丢一枚质地均匀的硬币（意味着得到正面与反面的概率各为 (frac{1}{2})），连丢两次并记录两次结果。那么很容易可以写出全集 (Omega = left{ HH, HT, TH, TT right}) ，(H) 和 (T) 分别代表正面和反面。现在是第一个需要稍加思考的地方，令 (mathcal{G}) 为一个 (sigma)-algebra，其中包括了第一次丢硬币结果的信息，请问 (mathcal{G}) 是什么？

稍加思考，不难得出 (mathcal{G} = left{Omega, ~ emptyset, ~ left{ HH, HT right}, ~ left{ TT, TH right} right})，这里也做出一个解释。首先要明确的是，(Omega) 中的元素 (例如 (HH)) 和 (mathcal{G}) 中的元素 (例如 (left{ HH, HT right})) 之间的区别：前者是结果 (outcome)，后者是事件 (event)。我们对于一次 “抽样”，只能得到一种结果，例如 (HH)，代表丢两次硬币后得到两个正面的结果。但不同的结果由于共享某些特性，可以被划分在同一个事件当中，例如，丢两次硬币产生相同的结果应有两种，即同时为正面或同时为背面 (i.e. (HH) 或 (TT))，它们归属于 “丢两次硬币产生相同的结果” 的事件：(left{ HH, TT right})。回到问题，现在我们已知了第一次丢硬币后结果的信息，也就是 "第一次丢硬币是正面还是背面"，那么我们自然可以得出 (mathcal{G}) 是由集类：(left{ left{ HH, HT right}, ~ left{TT, TH right} right}) 生成的 (sigma)-algebra。这是因为第一次扔硬币的结果已经被确定——无论它是正面还是背面：如果是正面，那么结果无非两种：两次都正面或第一次正面第二次背面；如果是背面，结果也无非两种：两次都背面或第一次背面第二次正面。结合以下树结构，在得知第一次扔硬币结果的信息后，相当于从根 (XX) 来到了第一层 (HX) 或 (TX) （(X) 代表未知信息）。

同时，这也从另一个角度说明为什么概率论最终需要引入 “测度” 的定义——为了描述一种信息变化的过程。当我们并不知道第一次扔硬币的结果时，在全空间 (Omega) 上定义的测度空间为 ((Omega, mathcal{F}, P))，其中：

[mathcal{F}:= left{ Omega, ~ emptyset, ~ left{ HH right}, ~ left{ HT right}, ~ left{ TH right}, ~ left{ TT right}, ~ left{ HH, HT right}, ldots right} ]

where (mathcal{F}) 的 cardinality: (|mathcal{F}| = 2^{4} = 16)。

[]

而当已知第一次的信息后，(sigma)-algebra 随即收缩为：

[mathcal{G}:= left{ Omega, ~ emptyset, ~ left{ HH, HT right}, ~ left{ TH, TT right} right} ]

[]

现在考虑条件期望： (mathbb{E}left[ X ~ | ~ mathcal{G} right])。其中，(mathcal{G}) 如上记作第一次丢完硬币后结果的全部信息，对于 (forall w in Omega:) 随机变量 (X) 定义为：

[X(w) = begin{cases} a qquad mbox{if } ~ w = HH\ b qquad mbox{if } ~ w = HT\ c qquad mbox{if } ~ w = TH\ d qquad mbox{if } ~ w = TT\ end{cases} ]

其中 (a, b, c, d geq 0)。

Definition. (Conditional Expectation)

令 (X) 为一个定义在 ((Omega, mathcal{F}, P)) 上的非负随机变量。令 (G_{1}, G_{2}, ldots) 为一个两两不相交的事件序列，且对于 (forall n in mathbb{N}^{+}: ~ P(G_{n}) > 0)，并且 (bigcuplimits_{ninmathbb{N}^{+}} G_{n} = Omega)。令 (mathcal{G}) 为包含 (left{ G_{1}, G_{2}, ldots right}) 的最小 (sigma)-algebra，即，任意 (mathcal{G}) 的元素都可以写作 (bigcuplimits_{n in I} G_{n}) 的形式，其中 (I subset mathbb{N}^{+}) ((I) 为 (mathbb{N}^{+}) 的某些子集)。那么：

[mathbb{E}left[ X ~ | ~ mathcal{G} right](w) = mathbb{E}left[ X ~ | ~ G_{n} right] = frac{mathbb{E}left[ X cdot mathbb{I}_{G_{n}} right]}{P(G_{n})} qquad qquad mbox{if } w in G_{n} ]

首先，(mathbb{I}_{G_{n}})是一个随机变量，或者说函数：

[mathbb{I}_{G_{n}}: Omega longrightarrow left{ 0, 1 right}, quad x longrightarrow mathbb{I}_{G_{n}}(x) = begin{cases} 1 qquad mbox{if } x in G_{n}\ 0 qquad mbox{otherwise} end{cases} ]

因此则可以判定，Conditional Expectation (mathbb{E}left[ X ~ | ~ mathcal{G} right]) 算出来也是一个随机变量，而并非常数。最后，我们可以发现一旦假设 (w in G_{n})，那么一定意味着 (w notin G_{k}, ~ forall k in mathbb{N}^{+}setminusleft{nright})。

回到扔硬币的例子。这里显然我们有：(G_{1} = left{ HH, HT right}, ~ G_{2} = left{ TT, TH right})，且 (G_{1} cup G_{2} = Omega)。那么。我们现在只需要依次假设 (w in G_{n})，并求 (frac{mathbb{E}left[ X cdot mathbb{I}_{G_{n}} right]}{P(G_{n})})，最后分类讨论逐点列出即可。

[]

假设 (w in G_{1} = left{ HH, HT right})，

[ begin{align*} mathbb{E}left[ X ~ | ~ mathcal{G} right](w) &= frac{mathbb{E}left[ X cdot mathbb{I}_{G_{1}}, ~ w in G_{1} right]}{P(G_{1})}\ &= frac{sumlimits_{w in G_{1}}mathbb{E}left[ X cdot mathbb{I}_{G_{1}} ~ | ~ w in G_{1} right] cdot Pbig(left{ w right}big)}{P(G_{1})}\ &= frac{sumlimits_{w in G_{1}} X(w) cdot Pbig(left{ w right}big)}{P(G_{1})}\ & = frac{X(HH) cdot Pbig( left{ HH right} big) + X(HT) cdot Pbig( left{ HT right} big)}{Pbig( left{ HH, HT right} big)}\ & = frac{frac{1}{4} cdot a + frac{1}{4} cdot b}{frac{1}{2}}\ & = frac{a + b}{2} end{align*} ]

假设 (w in G_{2} = left{ TT, TH right})，

[ begin{align*} mathbb{E}left[ X ~ | ~ mathcal{G} right](w) &= frac{mathbb{E}left[ X cdot mathbb{I}_{G_{2}}, ~ w in G_{2} right]}{P(G_{2})}\ &= frac{sumlimits_{w in G_{2}}mathbb{E}left[ X cdot mathbb{I}_{G_{2}} ~ | ~ w in G_{2} right] cdot Pbig(left{ w right}big)}{P(G_{2})}\ &= frac{sumlimits_{w in G_{2}} X(w) cdot Pbig(left{ w right}big)}{P(G_{2})}\ & = frac{X(TT) cdot Pbig( left{ TT right} big) + X(TH) cdot Pbig( left{ TH right} big)}{Pbig( left{ TT, TH right} big)}\ & = frac{frac{1}{4} cdot c + frac{1}{4} cdot d}{frac{1}{2}}\ & = frac{c + d}{2} end{align*} ]

综上所述：

[mathbb{E}left[ X ~ | ~ mathcal{G} right](w) = begin{cases} frac{a + b}{2} qquad mbox{if } ~ w in left{ HH, HT right}\ frac{c + d}{2} qquad mbox{if } ~ w in left{ TT, TH right}\ 0 qquad quad mbox{otherwise}\ end{cases} ]

发表评论