本文来自微信公众号:SerendipityCamp(ID:SerendipityCamp),作者:徐鸿鹄,原文标题:《「统计信仰」驾驭无序世界的元认知》,题图来自:视觉中国
中间件与元认知
为了尽力解释这个世界,我们诉诸于不同的努力:从概率到决策;从科学到哲学;从算法到心法;从认知到命运——然而,以上这些类比逻辑和归纳逻辑命题,更适合启发性的教育,打开想象力并唤醒新的灵感,却并不适合用于严肃的决策,提升认知的维度。
从投硬币到人生哲理感悟,以概率数字思考机会和命运,以小见大的人生哲理,大都缺少深刻而确定的理论依据,缺乏拓展性和适应性。
“你的底层逻辑是什么?你的顶层设计在哪里?你的最终交付价值是什么?你的过程抓手在哪里?你如何保证结果的闭环?你怎么赋能产品生态?”——稍不注意,这些问题就会将我们一厢情愿的主观意愿,投射为急功近利的成功学和励志怡情的心灵鸡汤。
这个社会上有能力把问题解释得头头是道的人越来越多,但凭借亲身经历真正理解问题的人却越来越少。为了联系理论与宏观世界,跨越知识的藩篱,我们需要一个更加好用的"中间件",而不是简单粗暴的牵强和附会。
每个人都有适合自己的学习和提升的方法论,我想说的是,刨除掉认知个性化的一面,为什么不来点更基本的“元”认知呢?
我也喜欢类比,但类比的事物一定要足够深刻,才会带来创造性的启发。
索罗斯就不喜欢不同领域事物之间简单的类比。比如事件参与者的思维的不确定性与海森堡不确定性之间的联系,就常常致人迷误。与自然科学不同,社会科学的问题,不光是观察者方法论本身的问题,观察者所研究的对象自身——参与者就带来了诸多不确定性。对观察的过分强调,就会陷入对海森堡测不准原理的类比陷阱。
在自然科学的量子力学领域,测量行为干扰了测量对象,不确定因素是由观察者引入的。但在社会科学中,不确定是参与者引起的。因此,除非量子行为跟思维参与者一样,这个类比才有意义。
而好的类比例子也很多,这不光是一种思维的训练,也能够带来更好的认知,比如弦论物理学家大栗博司,就把电磁学理论类比为金融市场里的货币,于是电场与汇率,磁场与利率产生了奇妙的联系,他甚至一鼓作气推导出了金本位制与希格斯波色子的相似性。(见《金融传奇:从高维货币到上帝粒子》)
对于人类来说,分析这个世界太复杂,我们很少有机会能够获取这类形式简洁优美,和谐自洽,富有形式美感的本质发现。观察并探究世界运行的规律,是一项静默而迷人的事业。
在众多“中间件”当中,统计学无疑是一个有趣的“备选”——我们可能并不需要刻意解释什么——只需要发明一个简单的模型,并以此重现世界的几个特征,即可获得新的认知——比如医学里的生存分析,金融学里的鞅测度,心理学中的元分析,每当这种情况发生时,我们便取得了进步。随着这些进步,更好的模型将被发明出来,以更加精确的方式再现现实世界越来愈多的特征。
这便是《「统计信仰」驾驭无序世界的元认知》一书创作的初衷。
认知成熟的标志,不是寻求终极的大道理,而是潜移默化地关联起,身边每一个领域里发生的小事情。思维的世界里没有权威,没有任何人可以剥夺你思想的乐趣,有很多科学家穷尽一生坚持研究,就是为了探寻这种隐秘,未知而又突如其来的极大喜悦。
单一领域的专门知识暗含不容质疑的假定,而广阔的知识更能包容深刻的问题和新颖的观点。最最奇妙的是,生命的无秩序,混乱和不可知性,似乎都可以通过统计学走向量化。
统计推断是一门内容及其广泛的学科,实际上,它位于数学,经验科学和哲学三门学科的交叉点上,而在当今最令人敬畏的风险管理理论学者Nassim Nicholas Taleb眼中,借助统计学,还能让数学,哲学,社会科学,契约理论,决策理论五个不同领域共同达成高度默契。
统计学这种研究随机性影响并量化不确定性的属性,使得其自带了超强的跨界融合的特点。它不以任何一种专门领域为研究对象,只要你在安排实验和处理数据中涉及一些一般性的,共同的数学问题,就可以利用这一知识。
甚至可以说,统计学这门学问是博学者的捷径,万物理论的圣杯。
科学or哲学
经济学家米塞斯认为,赌博、工程设计、投机,是处理“未来”的三种不同方式。
赌徒眼里只有他中意的结果,他信赖的是好运和直觉,这是他唯一的计划;
工程师具备他解决问题的知识,对于他无法控制的,他会留下安全的余地,工程师绝无可能消除其人生中所有的赌博因素,但他的原则是只在确定的轨道上行动;
投机者是行动的人,时时刻刻都在思考利益,他不喜欢安定,他的每一个行动都是在权衡利弊。
然而,没有任何一种人能稳赢未来。
虽然我们无法全面解决有关过去和未来的问题,但这并不影响我们做出尝试,针对要解决的问题进行数学抽象,以点到面进行突破——比如,一些相似的随机过程的概念就可以一路串联起多个学科领域:
鞅过程:表达事物当前的信息包含了其未来的全部信息,联系现在与未来——这非常适合用来描述金融学领域当中核心的贴现思想。
马尔可夫过程:事物当前的信息包含了有所有历史的信息,联系现在与过去——这很适合用来描述医学领域中的流行病传染模型。
而被物理学家们用数学公式精确描述的,我们熟知的布朗运动,即Wiener过程,它既是鞅过程也是马尔可夫过程。
泊松过程:在这里,过去与将来都被孤立了——泊松过程打破了过去和未来的关联,作为累计随机事件发生次数的增量描述,这很适合用来描述工业领域机械系统的失效。
科学太过复杂,人们不可能穷尽一生试图理解其全部细节。幸运的是,正像以上三个随机过程概念所展示的,借助统计学,我们可以在几乎所有的学科领域内进行高度抽象,专心研究使用有效的方法去收集和使用带有随机性影响的数据。
在人类社会活动中,并不存在“给你一个因为,你还给我一个所以”的确定性。离开自然科学领域,延伸到社会科学领域,因果关系的推理将更加不确定,每推进一层,可信度都要打一个折扣。
在人们对新事物的规律性认识很不充分的情况下,一个好的统计方法有助于帮助人们提取观察和实验数据中带有根本性影响的东西,有助于我们提出比较正确的假说或者理论。几乎一切自然和社会规律,都离不开统计来挖掘,并通过统计走向量化。
在所有数学分支当中,只有数理统计学这门学科抛开了数学的精确性和学科的专业性,以不确定性的视角关联起看待世界,并做出了量化不确定性的雄心壮志,这种气魄,真的不是其它数学分支能够比拟的。
随着时间的推移,我越发敬畏统计学这门科学。并因此而萌生了以一种非通俗浅显科普,也非遵循专业教材严格推理的方式,书写统计学的想法——而是将重点放在构建知识体系和世界观上,力图展现统计学理论和应用的美妙之处和不为人知的一面。
力图单枪匹马独立解读这样宏大的命题无疑是狂妄和无知——除非站在巨人的肩膀上。本书的创作过程,必然少不了大师们超越知识启蒙的智慧感召。他们有:
物理学家及坚定的贝叶斯学者 Edwin Thompson Jaynes
计算机时代统计学的引路人 Bradley Efron
科学哲学最危险的敌人兼具无穷批判力的 Paul Feyerabend
肥尾统计的开拓者,当代最令人敬畏的风险学家 Nassim Nicholas Taleb
中国统计学泰斗 陈希孺院士
人工智能先驱,贝叶斯网络之父Judea Pearl
直面统计危机的统计哲学教授Deborah Mayo
不管怎么说,“独立思考”都是个枯燥又空洞的大词——人的思想绝大多数是从他人那里借鉴学习过来的,真正的知识生产的成本是很高的,很难产生。一路阅读就会发现,这个世界上真正有用且自己用得上的知识真的少的非常可怜——少到根本就不可能错过的地步。
理解那些伟大的思想比批判它们,往往困难得多。
这些高超的理论工作者通常并不关心问题的哲学的意义,或世俗的类比解释——他们只关心所讨论的问题是否符合已知的数学原理。如果符合,就会在事后挑最容易理解的哲学来强化观点;如果不符合,要么发明一个全新的数学原理来解决问题,要么放弃数学上的“可解释性”,挑一个最玄幻的哲学原理解释自己的发现。
不管是哪种情况,某个理论在哲学上何以可能,并不是创造性的理论工作者的兴趣所在。既然只有新的问题才会带来新的认知,为什么不一开始就来点真正的科学呢?
统计三叉戟
步入统计世界,频率和贝叶斯两种统计思想观点的碰撞,是无法被忽视的统计学大事件:
聪明而勤奋的频率派的观点,是具化分拆,各个击破。
智慧而灵活的贝叶斯派对世界的看法也是同样复杂,但以不变应万变。
频率派是演绎逻辑,通过模型进行严密的推理。
贝叶斯是归纳逻辑,决策来自主观预判和观察。
或者反过来看:
频率派也是归纳逻辑,利用连续性假设观察过去并预测未来。
贝叶斯也是弱化的演绎逻辑,尝试用常识来补充枯燥的推理。
频率派是理性主义,酷爱抽象思考,习惯对世界建模。
贝叶斯是经验主义,无限地“好奇,惊讶和敬畏”自然。
频率主义者是古希腊人,擅长形而上学的思辨。
贝叶斯派是古巴比伦人,是“黑箱预测”的高手。
频率派是大陆法系,公义是立法者是大法典,利用成文法明辨是非。
贝叶斯派是普通法系,公义是大法官是陪审团,通过案例指导裁决。
频率派是刺猬,只知道一件大事情——纷繁的表象之下亘古不变的规律。
贝叶斯是狐狸,知道很多小事情——天性多谋总是随时修正自己的看法。
频率派审视自己,是柏拉图扣问灵魂的回响:我谁是,从哪来,到哪去。
贝叶斯解放众生,是安兰德读懂自由:无物可求,无望可待,无所依傍。
频率派和贝叶斯派之争,在统计推断的检验问题里,也引发了或然哲学(Probabilism)和绩效哲学(Performance)之间的对立。这样的对立让统计学这门学问变得很奇怪:任何一个不了解这种对立初学统计学人,往往被裹挟着被卷入各自派系的立场里却不得要领。唐纳德·弗雷泽就自问到:
作为科学和批判性思维的核心,一门学科怎么可能有两种方法论、两种逻辑、两种途径,对同一个问题给出实质性不同的答案……对于一门中心科学学科来说,面对矛盾时的自满是可以接受的吗?
“简洁控”统计学家Larry Wasserman对比了两派的目标:
频率派推理的目标是:构造具有频率观点的过程(即低错误率)
贝叶斯推理的目标是:量化和操纵你的信念程度(对信念的分析)
他还建议用B(H)表示信念,用F(H)表示频率。尽管这样的表述看来,两个目标之间的区别还是太粗糙了,但他却指出了通常被视为贝叶斯派-频率派的争议的核心。
幸运的是,如今的统计哲学的对立已经大有改观,贝叶斯派和频率派之间的分歧越来越小了,尤其是随着客观贝叶主义——其观点同时蕴含了两派的各自哲学立场,两个阵营甚至可能正在走向联合。
高估或贬低任何一派都毫无意义,思想就像是周期性运动的钟摆,偏离一方越远,回归另一方就越快,此起彼伏周期性震荡。不同的哲学和方法论都有自身存在的道理,它们各有各的法则,研究对象和哲学思考。
频率学派和贝叶斯学派对世界的本质认知就不同:
频率学派认为世界是确定的,有一个源头的本体,这个本体的真值——θ是不变的,我们的目标就是要找到这个真值(点估计)或真值所在的范围(区间估计)。
而贝叶斯学派认为世界是不确定的,人们对世界先有一个预判——θ的分布,而后通过观测数据对这个预判做调整,我们的目标是要找到最优的描述这个世界的概率分布。
贝叶斯学者和频率派主义者有相同的出发点,即概率的分布族——模型。模型就好比你明天着急用钱,思考应该跟谁借钱:是跟亲戚朋友借?跟银行借?还是跟英国女王借?模型的选择关乎问题解决质量,但这往往需要一定程度上利用特定应用领域的专业经验知识,否则仅仅通过猜测来做选择往往会出错。
在这一共同基础上,两派在分析的流程上仍然存在巨大的分歧:
频率学派的关注点是θ自身——因此θ被看作是一个常数。
贝叶斯派关注的是θ的分布——因此θ被看作一个随机变量。
如果将参数θ和样本x放进十字坐标系内,就可以通过几何直觉观测到两派推断方法之间的差异:
频率派按水平方向推断:优先确定方法,固定θ,变化x。
贝叶斯按垂直方向推断:优先确定先验,固定x,变化θ。
两个派别都有着自己的坚持。
再当我们审视Fisher观点的极大似然估计,会带来一个新的有趣发现,它兼具两个门派的灵活性,既包含了θ⇒x,也包含了x⇒θ的过程。其可以在水平和垂直两个方向上同时作出推断。
实际上,就在两派发展过程中,Fisher的独立思考和坚持,让统计推断形成了第三种路线,即在频率学派和贝叶斯学派夹缝中横空出世的Fisher学派——这三大鼎力的派别,在20世纪上半叶之前,就逐步确立了。贝叶斯和频率派两个主流世界之间,Fisher插入了他那深刻的第三种哲学,并深刻地影响了科学哲学乃至决策心理学。
Fisher在这里占据了中间立场。他蔑视决策理论家们处理精细的数学问题,实际上,Fisher哲学当中最吸引人的一点就是合理妥协——谨慎但不过度关注病态情况,这通常是面对大多数现实问题的正确态度。
Fisher的理论努力地尝试建立一个连贯统一的哲学系统——但从结果看,他并没有达成这一宏愿,反而更适合被看作是贝叶斯与频率派之间巧妙的妥协。只有一个地方除外——这就是易用性:从极大似然估计,到方差分析,从显著性检验到信任区间,Fisher的哲学总是用非常实际的计算术语来表达,并深入日常实践。
统计推断三叉戟:
Fisher学派和贝叶斯学派都有似然的影子,这里的工具有马尔可夫链蒙特卡洛MCMC,客观贝叶斯等,这里会用到无偏估计,有一些Fisher的味道。
贝叶斯学派和频率学派都有坚定的信奉者并以此信仰行动,社会工作者更青睐前者,科学工作者更青睐后者,这里的工具有经验贝叶斯、岭回归、JS有偏估计等。
频率学派和Fisher学派师出同门,共同排斥贝叶斯的先验论调,这里是传统统计推断的领地,KM估计,生存分析,广义线性模型,回归树等工具是典型的应用。
肥尾统计
1932年,哈佛大学的语言学专家Zipf发现,如果把单词出现的频率排序 ,则频率与排名的常数次幂呈反比关系。这意味着:语言当中,常用词汇只占词汇总量的很少一部分。
Zipf的发现本质上可以归属于一个更一般的统计概念——这就是幂律分布。如果你善于观察,就会发现幂律分布无处不在:
地震规模大小的分布
战争规模的分布
流行病死亡人数的分布
媒体文章点击量的分布
人类语言中单词频率的分布
大多数国家姓氏的分布
计算机文件大小的分布
网络服务的响应时间的分布
行星间碎片大小的分布
撰写的论文数及其被引用的次数的分布
一条微博从发布到分享的间隔时间间隔的分布
地理—人口密度分布
太阳耀斑强度的分布
网页被点击次数的分布
微博上所有用户粉丝数量的分布
月球表面上月坑直径的分布
书籍及唱片的销售数量的分布
每类生物中物种数的分布
不光自然界,大量与人有关的随机变量都呈现出重尾甚至幂律分布。
究竟,是什么原因导致幂律分布如此普遍呢?
有研究认为,人类行为在时间和规模上具有“强阵发弱记忆”的特性,这种“阵发性”就是幂律性质的——比如我们可能会在较短的一段时间里集中处理同一类事件:突然密集地回邮件、看视频、与他人聊天……
观察大量的实例之后,人们认为,遵循幂律分布的现象大都有动力学驱动的特征:
缺乏抑制几何增长的自然边界约束
短时间的显著增长,导致扩散的范围非常大
事物之间的相互连接、依赖关系——通常描述为网络效应
与高度动态、复杂的系统有关
Chris Aderson的将幂律分布表达为“长尾理论”;统计物理学家则习惯于把服从幂律分布的现象称为“无标度现象”,这非常接近“分形”的几何直觉:
比如在幂律分部中会发生这样的现象——假设X是一个随机变量。对于足够大的X,超过2X的概率除以超过X的概率比值,与超过4X的概率除以超过2X的概率比值可以没有任何区别——系统中个体的尺度可以相差悬殊,缺乏一个优选的规模。
分形的英文Fractal,是Mandelbrot造出来的,他在《The Fractal Geometry of Nature》当中写道:
“浮云不呈球形,山峰不是锥体,海岸不是圆圈,树皮并不光滑,闪电从不沿直线前进。”
在Mandelbrot看来,带有分形性质的事物在自然界是相当普遍的。这种“无标度现象”频繁地出现在有生命、有进化、有竞争的地方。
由于历史的原因,经典统计长期吸引了人们的兴趣和目光,而这些领域中发展出来的理论跟幂律分布很少有交集。幂律分布长期游离在统计学的视野之外不被重视。
幂律分布似乎有点“先天残疾”:不同于指数分布族一样,可以很容易地提取“充分统计量”来描述分布自身——多数情况下,幂律分布存在均值(极端情况下甚至没有均值),而更普遍的是,其方差是发散的(没有方差)。
在Taleb看来,传统的统计学已经成为了一种“最新近的,最有挑战性的,最独断的宗教制度了。”
幂律观点甚至认为,为了更精确地解释现实世界,不需要诉诸于传统的方法。幂律认知正越来越多地取代正统统计学的传统认知,真正成为统计学应用的核心内容。
关注幂律的肥尾统计此前只是小众的理论,但线性认知的局限性逐渐让人们对其产生质疑,在这一背景下,更能深刻揭示金融现象本质的幂律分布开始走向前台,并逐步成为业界共识。
肥尾理论具备极大的潜力, 比如推翻陈旧的计量金融学理论大厦,建立起全新的理论框架,这个故事听起来就激动人心。金融的分析对象,是货币,证券,资产,这些都是非常抽象的概念。金融学最重要的目的,就是要找到这些抽象概念之间的联系,并关注这些抽象概念与现实世界之间的关联。投机者要想成功,首先要战胜自己,而战胜自己的主要途径就是独立思考和行动。一定要知道哪些东西是事实,哪些东西只是你个人的经验。金融领域的幂律认知尤其重要。
乔治·索罗斯说,最苦难的事情就是如何判断风险水平。没有普遍的标准,对每一种情况都要根据它本身的利弊来判断。在最后的分析中,你必须靠你的生存本能。 《苏黎世投机定律》里,有这样一段话:
“投机活动不同于问题解决,不要把你的投机纲领建立在经验之上。最危险的东西就是经验,最有趣的事情就是冒险。”
幂律的冒险者绝不回头,他们必须勇往直前。
Taleb的实践似乎一开始只着眼于金融领域,当他一点点用通俗的方式来解释社会运行时,我才突然意识到,肥尾可以是一种深刻的信仰——用来描述人类社会的动力学特点。更重要的是,肥尾的想法还可以结合贝叶斯认知,让我们拥抱更加务实的偏见。
新的世界观启发下,关于战争,传染病,选举,智商等的全新认知开始变得有趣了起来,它们纷纷可以用肥尾统计的思想乃至贝叶斯思想进行诠释。塔勒布对事件理解的方式是独特的,这场隐秘的认知革命正在悄悄进行——可以说,肥尾理论出现之前,从来没有一个理论能够这么深刻地影响我们对世界运行的理解。
统计信仰
人们往往注意到,在谈论概率的同时,另一个语义同样丰富的词汇也常常混杂进来:统计。
概率和统计,它们到底有什么区别?很多人混淆了两个概念,并认为:大多数的统计模型研究的对象是概率分布,概率分布是概率论的研究对象,因此,概率论应该跟统计学是一样的,还有人认为,应该把统计学看做是概率论的一部分。
Lary Wasserman在 《统计学完全教程,All of Statistics》 的序言说到:
概率论研究的基本问题是:给定数据的生成过程,其输出结果具有什么性质。
统计推断研究的基本问题是:给定输出结果,能得出数据生成过程什么样的性质。
Wasserman的这个论断指出:
概率论是统计学的基础,研究统计学需要使用频率论的数学工具
统计学是概率论的一种应用。统计学有自己独特的问题而独立于概率论
统计学是一门基础的应用科学,而不仅仅是概率论偏重数学工具的搭建。应用,就意味着,它有着远超概率论的,广泛的研究课题。
以正态分布为例:概率论对正态分布有着深入的研究,但其目的却只是弄清楚正态分布有什么样的数学性质。而统计学所关心的,则是如何用样本去推断这个正态分布的未知参数。
概率论往往用已知模型推测数据——用一种居高临下的上帝视角审视凡间;而统计学往往用观测数据搭建模型——我们通常不知道世界设计的蓝图,因此只能靠猜的方式逐步理解和探索全新世界。两相对比,你会觉得哪一种路径更接近人类视角,更容易获取全新的认知?答案不言自明。
以幂律分布模型为例,从带电粒子的费米加速,到城市人口密度地理分布,到收入分配规律,到流行病学研究,样本分布的数学抽象是普遍存在的——在形式上,这个模型可以从任何具体的专业领域当中超脱出来,而成为纯数学的研究对象:
统计学是通过研究样本的分布来解决现实问题的,样本的信息包含在分布中
统计模型就是样本分布,因此很多性质不一样的问题都可以纳入同一个模型
更具体地:
统计分析的依据是样本,规定了样本的分布就相当于明确了问题。
统计模型等价于样本分布,而与样本抽样的目的无关。
真正重要的,学习分布应该注重理解而不是计算。
在计算机时代,你的计算再厉害,能PK得过电脑嘛?枯燥的计算可以完全交给电脑,统计的模型和方法的选择才是更重要的:
如果研究物种生命周期演化规律,就要研究Logistic分布,这里的例子有生物种群的发展,人口数量的变化等等。
如果研究物种生命周期演化规律,就要研究Logistic分布,这里的例子有生物种群的发展,人口数量的变化等等。
如果关乎生存数据的拟合,就要用到Weibull分布,即死亡人数的变化规律。
如果研究大规模工业产品的质量和过程稳定性,正态分布是不二之选。
如果研究金融市场的波动,幂律分布也许是最优解。
如果你专注于数理生物学,则会广泛接触到一族分布(Pearson分布族),这里包含了正态分布,指数分布,χ^2分布,t分布,F分布等等。
如果要挖掘交通事故的这类统计规律,请关注泊松分布。
当看到这些陌生的分布名称,无需把这些分布想象得过于神秘,它们只是代表了数据不同的特征而已。发明这些特征的目的,就是要解决纷繁世界当中提出的各种问题。
对于严肃的科学命题,通常不难找到标准答案——那些受到严格科学训练的物理学,化学家,工程师们,可能每个月都会有上百个重大的科学实验发现被报道,这些报导当中,也许只有10%,1%甚至更少被报道的实验后来被证明是错误的,只要你阅读过类似的故事,或亲身经历过,或者相信科学家告诉我们的事情,你的判断通常是可靠的。
但在政治学,心理学,历史学,经济学等领域,甚至是轶事,箴言,警句,情况却截然不同——相当多的心理学研究论文根本无法重复;而政治学当中,学者们连起码的共识都没有;更多的人们质疑新闻媒体能够真实客观地处理经济、社会或政治的话题——每一个词语的选择和语调的变化都会将报道者的想法融入面向大众传播的观点当中。
核能、堕胎、刑事司法等问题,同样的内容让不同的人看,观点可能趋同,但也可能存在分歧;口耳相传的箴言警句甚至只是粗浅的类比和主观思维投射,甚至成为辩论和争吵的调剂品。
基于以上粗浅的观察,我们似乎能勾勒出这样一种结构化的描述,从统计的观点来看待不同的学科和要处理的问题:
纯逻辑的数学不容质疑——如果你质疑就去证明它或者否定他它,这里生产解决问题的工具,只有确定性。
物理学理论要符合观察——即便没有100%的可靠,世界运行的蓝图也不会偏离太远;从物理学的皇冠量子引力理论到应用物理的各个分支,都包含着大量的确定性,大多数的理论都是可重复的,并应用于频率解释。
创造人类产品的应用工程学,建立在发现的物理和数学法则之上,需要应对各种各样的环境和参数——从机械工程电子工程到化学,系统调参是一项永恒的事业。计算机科学则挖掘了数据科学,重视计算和应用,让坐标稍稍偏离了纯粹的数学领地。
具有更大不确定性的生物学和医学已经无法进行严格的数学推导,几乎完全依赖于实验设计的统计学归纳,删失数据带来生存分析的应用,p值推断被广泛地批判,效应量更胜一筹,并进一步衍生出了Meta分析——Meta分析归属于观察性研究,并非“实验设计”般严谨,因此,在解释结果的时候,不能脱离专业的知识背景。
至于心理学,社会学,经济学等社会科学,这里的可重复性成为了一个巨大的问题,频率解已经无从出发,人们带着强烈的因果诉求,在目的论中衍生出多样的主观偏见。为了解决认知偏差,我们需要更深刻地理解肥尾统计和贝叶斯统计观点。
利尔亚当在《未来夏娃》中问道:如果我们信奉的神,还有我们追逐的希望只不过是科学的量化,那么我们的爱是否也将科学化呢?
不要相信标榜科学精神的人说量子力学有多么的神奇,像《Quantum Social Science》这种“星际穿越”一般绕过学科逻辑关联起上下两头的量子物理和社会科学的理论,是最该批判的伪科学。乃至于朱清时更玄幻的《物理学步入蝉境:缘起性空》,我只想说,是很多神秘论坏了脑子的人的普遍沉疴。
不得不承认,统计学的应用庞杂而多样,没有人可以一展全貌。即便Larry Wasserman的《All of Statistics》也无法如其书名一样,尽数统计学的全部内容。
比如统计推断当中的核心支柱——估计,检验工具和方法,覆盖了工业,医药,社科,金融等领域。以此为基点,回归分析和实验设计,统计判决都与之有着千丝万缕的联系,并广泛地拓展了现代统计学实践。
这带来的结果就是,不同学科的自身特点和统计方法的相互交织,我们已经很难提炼出一个明确的边界了,甚至还要利用新的理论进行拓展:
对于“回归方法”的预测,估计,解释三大准则可以单独使用,也可以组合起来,成为“机器学习”理论中不同的方法,并渗入到迥异的应用学科当中。
对于“实验设计”,其更偏重科学的决策和发现,而不是个人经验,也更倾向于环境严格受限的非自然条件下挖掘规律,而不是利用自然获得的数据进行推理,因此更倾向于不带主观因素的基础研究。这就包含了基础物理,农工业,医药学等更加注重事物之间因果联系的领域。
对于“统计判决”,是从博弈论而来的观点,更加注重个人的主观行动,但这种将个人决策数学化的尝试一直存在争议,在我看来,并不如贝叶斯方法来的自然,也并不如肥尾统计一样更适合描述群体性的博弈过程和动力学行为。
对于金融学,随机过程的研究是金融学的核心内容,需要利用统计工具进行理解,但这已经超越了传统频率或贝叶斯理论的能力范畴,几乎需要完全借助肥尾的观点进行决策。这使得金融学不像是一门严肃的科学,而更像是一门技艺了。
可见,在选定的问题上,需要结合不同的学科特点,引入不同类型的统计工具和模型,而不是通过刻板地将学科和方法一一限定起来。统计学是一座科学的动物园,在这里,问题的背景知识和经验的多少将决定问题解决的好坏程度——这个观点已经足够深刻,我将试图寻找不同学科和不同统计模型之间隐秘的关联。
最终,从学科地图出发,似乎可以绘制出这样一副图景:
自然科学研究和发现更青睐频率学派的观点,这里有大量的重复实验研究,而商业和个人决策的方式更贴近贝叶斯思维,人为偏见是必要的。频率学派和贝叶斯学派都有着完整的世界观,并因此带来对立和争吵。
夹在当中的Fisher学派更加关注理论建设,而不是将其转变为信仰或者行动准则——在Fisher之前,没有人真正理解什么是估计问题;最大熵可以看作是退化版本的贝叶斯,因为最大熵分配任何分布类型之后,都会得到贝叶斯推断,因此它比Fisher学派更加接近贝叶斯观点。
而在关注人类行为的动力学特征的领域,比如金融,灾难,保险,社会公平性等课题,肥尾理论已经超越了传统三大流派的统计推断观点。个人决策往往离不开洞察社会运行的基本规律,这一流派从幂律事件当中获取了大量的尾部认知,可以作为重要的先验信息或数据纳入贝叶斯观点,如今肥尾已经逐渐成为了一种新的世界观和信仰,变得举足轻重了——它虽然和经典统计理论迥异并形成对立之势,但仍然还没有脱离对分布的研究,并完成对贝叶斯理论的超越,因此无法独自占据一极。
效果逻辑天然排斥因果诉求,而其本身的推理框架完全没有严谨的科学依据作为参考,更多是提供一种全新的主观行动范式, 而贝叶斯思想恰恰需要不同观点的补充——甚至包括那些奇幻的思考模型,这当中就包括了效果逻辑。
因果推断则是长久以来一直被统计学边缘化的理论,甚至比肥尾统计还要边缘化。但在大量研究目的论的观点下,因果诉求成为主流认知。它与科学发现的范式渊源很深,因而亲近经典统计但又自成体系,而纯粹的贝叶斯里没有因果,因此,因果推断同时远离了频率学派和贝叶斯学派。因果性本身并不是一个基础性的概念,任何100%确定的因果都是值得怀疑的,因果推断或许很难发展为自成一派的完整世界观点,独自占据第三极。
解答人生的谜题,并不单纯是探求形而上的理论,而这里,即将在本书中展示的各种统计理论也并非是唯一正确的。
但对个人来说,这样做却有一个美丽的副作用——解答任何一道题目,思考的过程中都会有点滴的发现。你要解答的题目可能很稀松平常,但如果它激起了你的好奇心,并使你的创造力发挥出来,这样的经历可能会培养出对智力思考的爱好,并对思想和性格留下终生的影响。
与众多统计理论同行,我们将经历最令人兴奋的智力冒险。一定不要放弃这个千载难逢的机会——成为其研究者,当事人,或者是见证者。无论结局如何,人类从现实当中学到的,必将充分地印证Albert Schweitzer那句名言:
“我忧心忡忡地看待未来,但仍满怀美好的希望。”
本文来自微信公众号:SerendipityCamp(ID:SerendipityCamp),作者:徐鸿鹄