- 程序有所改变。发帖如还有问题请报告
- 【征集】西西河的经济学，及清流措施，需要主动参与者，『稷下学宫』新认证方式，24年网站打算和努力目标
主题：社会科学中的概率？读《直觉,固执,谋杀:三则故事》的困惑 -- 永远的幻想
今天看了一篇文章《直觉，固执，谋杀：三则故事》。百度上来看转载得还挺多，找不到原作了。可是我越看越糊涂，是我的概率论学得不好？还是文科领域的思路和工科完全不同？首先是原文：（其他都是blog为主，找个Google的）
俺逐个评论下：
简评：这则故事被用来说明古典概率论无法解释人类的决策过程，在起点和直觉上就可能错的离谱。这个实验是Tversky 和 Kahneman 1974年做的，后者后来得了诺贝尔经济学奖，前者本来应该分享这一殊荣，可惜没能活到得奖那天。这里的表述转引自以色列教授Itzhak Gilboa的著作《Theory of Decision under Uncertainty》, 这本书极好。
—————幻批：———————
没这么玄乎吧：
用逻辑学的说法就是内涵越丰富，外延越狭窄的道理。
用机器学习的观点，对目标“描述越多”，意味着样本维数越高，那么有限的训练样本在整个样本空间中就会越稀疏，也就意味着只是“沧海一粟”，会影响泛化性能。这就是“维数灾难”。
用数据挖掘里常用在购物篮分析的Apriori算法里的概念来说就是：confidence高的模式，support不高（出现的频数不高）
——至于人相不相信，本来就和概率无关。人本就不是时时事事都理性的，别忘了人还有很大的情绪因素呢。
又有问题了，说“第一印象”是先验Prior是不对的。先验是描述事情发生的“固有”概率，比如正常硬币投出每一面的概率是0.5，而一个某面磨损了的硬币可能就是0.51/0.49。做预测或者分类的时候，先验通常是很难得到的，一般都要有背景知识了。所以通常假设先验是相等的，用样本估计条件概率，也就是似然likehood，然后去根据后验概率进行判别。
如果硬要用统计学的观点来说的话，是你之前在很少的样本“训练”的算法（例如得到的似然），就固定下来了，没有用后来的很多样本去不断训练算法，所以不能描述在大样本下的性质，说白了就是盲人摸象了。原因么，一个是算法的泛化能力不行，第二 算法的训练过程不是online和incremental式的。这种问题在机器视觉、目标跟踪里是常有的事，修正老的也不见得需要“很多很强的新信息”，实时性能满足的话，经常用新样本训练，经常遗忘老就行了，但绝对扯不到先验上。
这个辩护看起来很有说服力，但实际上完全与案件无关。问题根本不在于打过女人的男人有多大可能性杀死这女人（这概率，如上所述，是2800分之一），而在于被打过且被杀死的女人中，有多少死于打过她的人之手？这后者的概率，根据1993年的美国犯罪报告，是90%。在辛普森案中，检方从来没提起过90%这个数字，显然中了辩方的招。
—————幻批：———————
最后一个事情一开始我也糊涂了
最后想清楚了，定罪需要得到是P(被告杀妻|被告打过妻子) 高，
P(被告杀妻|被告打过妻子) = P(被告打过且杀了妻子)/P(被告打过妻子)
而检方已经指出P(被告打过妻子) = 1 那么焦点就在于P(被告打过且杀了妻子)。
被告给出的是历史统计数字P(男方打过妻子且男方杀妻) = 1432/(家庭总数)
但是问题在于 历史上的P(男方打过妻子且男方杀妻) 能否等同于现在这个案子的P(被告打过且杀了妻子)？
注意这里的历史统计数据，不是针对的被告，而是其他人。把人看成随机变量的话，也就是说针对的是N多个随机变量，而不是被告这1个，这也就是集合平均而非对被告的时间平均，也就是“各态历经性”的问题。
这问题就大了：
第一，首先能不能说所有的人都是服从同分布的随机变量？我没学过测度论下的现代概率论，所以不懂这个怎么证明。
第二，即便你证明第一点成立，那么你怎么说明各态历经性的？
第三，即使各态历经性就算成立，那还有“平稳性”问题呢！也就是随着时间推移，随机变量的分布会变化吗？比如周处除三害的故事，周处之前是无恶不作没错，但是人家一旦幡然悔悟，就变好了啊！以后出了坏事，你还用老眼光，根据历史数据说还是人家干的？
所以，我要是法官，干脆就根本别扯出概率统计的问题。直接拿出指纹啊，血迹啊这样的实证来！P(苦主死亡|被告行为) = 1的证据来。
至于那个90%就更莫名奇妙了，统计口径是所有女人VS各种凶手，而非限定于家庭成员。而本案明明已经是针对家庭成员了，那么即使上面三个假设都成立，可以用统计数字来说论证犯罪的话，人家那个P(男方打过妻子且男方杀妻) = 1432/(家庭总数)显然比这个90%的说服力要高得多。
这个作者到底咋理解“先验概率”、“贝叶斯公式”的
？
我不懂法律界是怎么理解和使用概率统计的，但是作为一个整天用统计学做数据挖掘、机器学习的人来说，几乎看到的各种文章里都在和条件概率打交道，贝叶斯推断好像不是作者理解的这样的
……。
——————
听人建议，把标题中“文科”换成“社会科学”，字数限制了-_-!。
原作是牛博的兰小欢，他是UV经济系的博士生。
社会科学中很多变量，样本不具有重复性，所以心理学和经济学各自发展出了统计子学科来解决问题，计量经济学和计量心理学。基于社会科学的样本问题的局限性，在计量经济学中对统计方法的使用和一般统计不同，妥协，妥协，再妥协，测试，测试，再测试都是经典的计量经济学口头禅。
那个辛普森的案子，辩护律师说的是打女人的不一定杀女人，而检查官想证明的是，被打过的女人死掉了，凶手基本上都是打人者,而不是别人。即P(捱过打的老婆被打人者杀害|捱过打的老婆遇害)=90%。现在的条件是辛普森打过的老婆被杀了，那么，有多大的可能性是辛普森动的手？
至于“各态历经性”，我不懂。不过这个问题直接挑战所有的医学检测了吧。
哈哈，3Q啊，牛博我找到这帖子了，可惜俺即使翻墙也登不上去啊，没法交流。大哥好人做到底，干脆把他拉过这帖来看看吧？
注意，这个90%好像是全部女人（未婚），凶手也包括了所以人（男人、女人、无婚姻关系）。
原文里是：
那么就应该：
P(捱过打的女人被打人者杀害|捱过打的女人遇害)=90%
而如果被告不是唯一嫌疑人的话，用这个的说服力不强啊，因为显然苦主是已婚，而且怀疑的被告就是男方一个。
其实，照律师的数字：
按照这个包含关系，P(捱过打的老婆被老公杀害|捱过老公打的老婆遇害)=100%才对嘛
关于
医学数据没接触过太多。但是机器学习领域，用过医学方面的数据集，比如根据病例的几个检查指标对某种疾病真实的阳/阴性 进行回归和分类。这时候通常以分类算法的在测试集上的误差做衡量，至于你把数据看成来自于什么样的随机变量，随便。
但是法律上，这么用统计学还是觉得有问题，问题我主贴说过了。
- -- 系统封号 --。偏要看
1个掷出国徽的概率是99%硬币拿在手上，并不能保证下一掷就不是数字。
定罪是针对当前已经发生的犯罪事实和被告之间的确凿关系。而不是被告的犯罪“概率”，所以我觉得控辩双方扯统计数字是不合适的。
罪犯在某些统计指标上的分布，也许应该是犯罪行为学、心理学该讨论的问题（给俺们做机器学习来研究也没问题），但是不应该在法庭上扯这个。
但是，人家美国法律界到底是怎么看待概率的，还是特别想了解哈！谁去把原文作者召唤来啊~
检方是在影响陪审团。。。运用概率不是为了直接证明辛普森杀妻，而是影响陪审团的手段。。。
即用数理统计学的原理和方法,应用于犯罪、刑罚相关数据的搜集、整理、分析,目的是希望找到规律，可以用于预测和预防。美国这方面做得很好，我有一个朋友就在美国某个犯罪学学院教统计，她的研究课题是美国不同族裔人群的犯罪趋势和概率。但是她也承认，统计结果很难用于预测，因为人的构成和行为太过复杂，影响因子太多。
辛普森杀妻案中引用统计数据，如楼下小巴所说，是为了影响陪审团的自由心证。统计数据本身不会也不能用作定罪的证据。其实在美国证据法律体系下，控辩双方在什么情况下可以引用统计数据或其他研究资料都有严格的规则指引，若控辩双方违反相关的证据法律规则予以引用，法官通常要对陪审团说明该引述无效，不得作为证据考虑。但是很多律师在明知违反证据规则的情况下，亦会引述对己方有利的相关说法和数据，试图以此来影响陪审团的倾向性。
只有在满足大样本空间可重复取样的前提下，“概率”理论才可以“有意义”地用于预测。
小样本，或不可重复取样的时候，很难预测。
这时的“概率”，其含义已离开“一事件出现的可能性”，而是“某认为一事件出现的可能性”。
从贝叶斯及引申出来专家系统所得到的结论，只能是“某方所认为一事件发生的可能性”。
兰小欢 @ 2010-7-6 22:50 阅读(4660) 评论(13) 推荐值(240) 引用通告
最近在学习贝叶斯理论，遇到以下三则有趣的故事，花了不少时间思考。对于这些故事，每个人可能都有不同的解读，所以这里我主要讲故事，只附上简短的评论。
故事一：直觉
有个问题是这样的：某女，31岁，单身，外向，聪明伶俐。大学时主修哲学。做学生期间，极度关注种族歧视和社会不公正问题，并参与了“反核游行”。以下八种对该女的描述中，你认为哪一种最可能对（概率最高）？请按照这可能性由高到低排序。
A 她是小学老师； B 她在书店工作，平时还练瑜伽； C 她是活跃的女权主义者
D 她是社工，做心理辅导； E 她是“女性投票者联盟”的成员；
F 她是银行出纳； G 她是卖保险的
H 她是银行出纳，并且是活跃的女权主义者。
在很多人的答案中，H项排在了F项前面，但是没人把H项排在C项前面。
这是个很奇怪的现象，因为H项不过是F项和C项的合并，逻辑上，“既是银行出纳又是活跃的女权主义者”的H项概率绝不可能大于F项， “银行出纳”。
在日常生活中也有类似的现象。当某人向你讲述一件事时，他讲的细节越多，你越容易相信他讲的是真的。但是，细节越多，可能意味着这些细节同时发生的可能性越小，所以他讲的事越不可能是真的（当然，这些细节必须相互联系，你才会信以为真。所以他们之间不是互不相干“相互独立”的，但是这些联系是你做为听者自己加进去的）。
简评：这则故事被用来说明古典概率论无法解释人类的决策过程，在起点和直觉上就可能错的离谱。这个实验是Tversky 和 Kahneman 1974年做的，后者后来得了诺贝尔经济学奖，前者本来应该分享这一殊荣，可惜没能活到得奖那天。这里的表述转引自以色列教授Itzhak Gilboa的著作《Theory of Decision under Uncertainty》, 这本书极好。
故事二：固执
某人不知道电视机的工作原理，他相信那个小盒子里肯定有许许多多小人儿，不停地高速运动来更换图像。这时候来了个工程师，一点点向他解释电视机的工作原理，频谱啊，发射接收啊，信号扩大啊等等。工程师讲得生动浅显，这个人也听得很认真，每一步都使劲儿点头。最后，这人说他很满意，完全明白了这工作原理。然后他问：“但是我觉得说来说去，也就是说那小盒子里其实只有很少几个小人儿，对吧？”
简评：这个故事更像个笑话，不过它揭示了个道理：第一印象是很难改变的。第一印象一旦形成就很难彻底消除，以后就算接受了新信息，也往往不过是基于这第一印象进行调整。用现在流行的术语，这叫“锚效果”，第一印象就像一只锚，一旦抛下，很难撼动根本。用贝叶斯的理论说，如果这第一印象（先验概率）很强的话，要消除它或者大幅度的修正它，需要很多很强的新信息。
举个例子，法庭在进行审判的时候，如果犯罪嫌疑人面相凶狠，给法官和陪审团留下了很不好的第一印象，辩方要翻案的困难就会加倍。所以诉方通常一上来的策略就是把嫌疑人描述成一个恶棍。嫌疑人要正装出庭，不止是尊重法律的意思，也是尽量消除在外表上的差异，避免偏差的第一印象。
这个故事据说来自Douglas Adams, 被Richard Dawkins转述。 这里的描述来自理论物理学家Garrett List的小文章《We Are Inefficient Inference Engines》.
故事三：谋杀
在审理谋杀案时要庭审大量证据，很多时候要利用逻辑推理来建立因果链条，也要用统计数据来增加说服力，而用错数据和推理，结果可能是致命的。
九十年代，辛普森杀妻案轰动美国，各种证据都似乎证明凶手就是辛普森，而最后辛普森的“梦幻律师团”帮助他成功脱罪。林达曾用了半本书来讲这个故事，极生动，主要讲这个案子的审理程序，想说明当国家机器想给个体定罪是多么容易，个体是多么无助，所以这些必要的程序每一步都疏忽不得。
但是林达没有讲下面这个故事。
为了证明辛普森有罪并给陪审团留下他杀妻的印象，检方举证说辛普森之前有家庭暴力行为，而“扇耳光是谋杀的前奏”。但辛普森的辩护律师说，检方不过是在误导陪审团。辩护律师说：截至1992年，美国每年有400万女性被丈夫或男友打过，但是根据FBI的报告，其中只有1432人被丈夫或男友杀死，这概率大概2800分之一。怎么能用这么小的概率来推理呢？
这个辩护看起来很有说服力，但实际上完全与案件无关。问题根本不在于打过女人的男人有多大可能性杀死这女人（这概率，如上所述，是2800分之一），而在于被打过且被杀死的女人中，有多少死于打过她的人之手？这后者的概率，根据1993年的美国犯罪报告，是90%。在辛普森案中，检方从来没提起过90%这个数字，显然中了辩方的招。
简评：我做过两学期初等概率论和统计学的助教，讲辅导课时，条件概率和贝叶斯定理很难教。我相信这些概念和推理是合乎逻辑的，但我也相信它们和人类直觉相悖，人通常不这么思考问题，人很容易被愚弄。
这个故事来自加州理工的教授Leonard Mlodinow的畅销书《The Drunkard’s Walk: How Randomness Rules Our Lives》。
尾声
当辛普森脱罪之后，几乎所有的老百姓都认定他就是杀人犯，因为证据实在太多了，但大众也都尊重法律，接受陪审团对他无罪的判决。林达认为这是文明社会的表现。而对研究人类“决策行为”的Itzhak Gilboa而言，类似的事件有不同的解读：每个人都坚信嫌疑人有罪，而每个人又都接受法庭判处嫌疑人无罪，并认为这判决遵守程序而合理，这个区别，类似于贝叶斯决策和经典统计学的区别，也是为什么在贝叶斯理论大行其道的今天，我们依然要学习那个经典的大数定律。
没有广大散户们的脑子被锚误导，就没有庄家挣的这许多钱。
前几天听说一个朋友紫金矿业在12块，天花板上进的货，到现在还捂着……计算机系的phd，IQ120比我高很多的家伙……
一种是红线，绝对不能cross的?不然就会被吊销执照/坐牢之类的
比如说泄露应该保密的和客户对话内容
另一种就可以经常穿一下，法官说不行再退回来？属于法庭技巧之类的？
看了Justice和Shark，准备看完Boston Legal后再去看Practice。发现好多行业都是象记者一样把行规置于法律之上。听说有些州是法律规定心理咨询师在法庭要求下必须交出治疗信息，不知有没象记者宁可坐牢那样的案例。
将来有机会来写一写美国的证据法，我自己很喜欢这门课。
南方有嘉木 2010-07-21 18:40:20 3019601 复 3018548
这个说起来比较复杂，
将来有机会来写一写美国的证据法，我自己很喜欢这门课。
嗯，能讲讲外国的法律界是怎么看待概率和统计的，确实挺有吸引力的。
文债小的就先记下了