降低模型风险的信息理论方法有哪些？

现在我们采用众多的方法，探讨如何用信息理论来降低模型风险而不涉及任何其他具体模型。

上面我们看到风险的一个重要来源是由于模型可能会把仅具有随机结构的实际数据误认为具有稳定结构特征。为了减少这种误差，学习理论使用基于信息理论的准则来限制模型的复杂程度。

直观来看,如果模型具有过多的结构(例如,在金融时间序列中，如果模型显示出能提供充分实现超额收益的机会),则模型可能是被错定的。因此,也就出现了模型风险。重要的问题是:

能否估计从一个金融时间序列中能提取出的最大量信息?

能否给出一个信息边界,使得合理的鲁棒模型所产生的信息都在边界之内?

能否评估实际时间序列内在的复杂性?

我们先讨论信息理论在降低模型风险中所起的作用。首先,给出信息和熵(entropy)的概念。信息的概念总是与克劳德。香农的名字连在一起的,克劳德在1948 年为信息理论奠定了基础。20 年前,哈特利将定量测量信息的概念引入通信工程领域。

考虑一个概率分布。很直观,如果这个分布是平坦的或是具有很高的峰尖,则在信息方面有很大区别。如果-一个人抛骰子,6种可能的结果中每一个发生的概率都是相同的，并且我们对未来的结果完全未知,那么这个分布就是平坦的;如果骰子不均匀，比如说，数字6出现的概率为80%,则我们就能很有信心地说下一个结果是6,这时分布就是具有峰尖的。

如果一种结果的概率为1,所有其他结果概率均为0,即只有一个确定结果，则I取得最大值为I=0。从以上的公式可以看出，最大信息为0。而一个等概率分布的最小信息可以为任意负值。

人们可以进行更多的思考来使I成为一个合理的信息测量值。然而，真正使信息的概念如此重要的原因是我们可以构造一个在实证科学的角度非常有意义的信息理论换句话说，如果我们能够把信息量与物理过程联系起来，那么我们就可以建立在实际中有意义的定律。

为说明这一点，我们首先考虑I是一个与物理学中有名的“熵”H相反的量，即：I＝-H。熵是对混乱程度的一个测量。物理学的一个基本定律——热力学第二定律认为，在一个封闭的系统中，熵的总量，即混乱的程度，是随着时间变化递增或不变的。接下来考虑的是：信息理论中的一个基本结果是一个通信通道的物理特性与该通道所能传送的信息率的联系。正是由于这样的一些物理定律，信息的概念在物理和工程学中已经变得十分重要了。

现在已经提出了选择最佳数据划分方式的模拟技术。原理上，粗粒化过程并没有任何限制，因为现实世界中的金融时间序列是离散的。例如，股价可以假定为一个离散值的集合。然而，给定样本大小，实际中可以使用的符号数量比一个序列可能出现的离散数值要少得多。例如，一个金融时间序列可以按包含三个符号的序列进行分析，但股票价格却可以取精确到十分之一美元的任意价格。

条件熵和源嫡的概念是理解模型复杂性的一个非常重要的基础概念。它们提供了一种不依赖于模型来估计时间序列的基本可预测性的方法。不幸的是，熵和信息的概念并未广泛渗透于金融计量经济学领域。艾伯林等人利用一个使用三个字母的符号动态学方法对金融时间序列的基本可预测性做出了估计，换句话说，他们把一个时间序列粗粒化为三个符号。他们发现诸如S&P500指数的收益率序列具有一个有限可预测水平——在5%~8%之间。

基于信息理论的时间序列可预测性分析是模型风险评估的一个基础工具。它给出了模型性能的一个合理的边界。模型似乎在很大程度上超出了基于信息熵的估计预测水平，也就意味着可能存在很高的模型风险。

粗粒模型中的条件熵和源熵可以给出序列的复杂性以及它的预测能力的估计，而最近提出的转移熵精确度量了从一个序列到另一个序列的信息流。转移嫡的定义为：从I 和J的过去观测值中所得到的关于未来观测值I（t+1)的信息减去仅从I的过去观测值中所得到的关于未来值I（t+1)的信息。

这个定义已经表明了转移熵相对于其他交叉相关统计量的优势：它是一个非对称的测量。它仅考虑了统计依赖性，而不是那些由共同的外部驱动因素所产生的相关性。将上述的关系用条件熵来表达，可以写成如下表达式：

这个量估计了由一个序列流向另一个序列的信息量。转移熵可以用来定量评价一般设置(环境)中的交叉自相关，而不依赖于特定模型，并且可能考虑非线性超前滞后效应。

有人可能会问，我们能否使用信息理论来评估一个具体类型模型的恰当性。詹姆斯一汉密尔顿引人一系列具体检验来评估马尔可夫转换模型的恰当性。汉密尔顿的检验是建立在对模型的评分的基础上的，评分定义为关于参数向量的n次观测的条件对数似然函数的导数。这个方法技术性非常强，有兴趣的读者可以查阅相关文献。

一个非常一般的估计从有限样本中学习的极限的方法是由俄国物理学家Vapnik和Cher von enk is在20世纪下半叶提出的(以下称为VC理论) 。他们超越了香农的传统信息理论， 定义了一些概念和量(Vapnik熵、实证风险、结构风险和VC维数) 来刻画学习过程的特征。VC理论给出了在由这些概念精确给出的意义下,模型学习能力的极限。D这是一个很大的突破,VC理论导致了支持向量机的发展,它是基于VC理论的一种学习方法。然而,迄今为止,VC理论概念上的困难以及实际应用中的困难使得它在金融建模中一直无法得到广泛应用。

总之,信息理论提供了很多在非常一般的范围内和一个鲁棒的框架下,评估一个给定的时间序列可预测性边界的工具。因此信息理论对于评估模型风险来说是一个有价值的工具。对于信息方法,最为重要的是粗粒化时间序列的方法和技术。目前已经提出了很多实际的基于信息的方法,并广泛应用于物理科学。但是到目前为止,信息理论在金融计量经济学中的应用还仅限于诸如赤池信息准则(Akaike criterion)这样的应用。