西西河

主题:【原创】Liptor的原罪以及为什么说辛普森还是去演动画片比较好 -- ducati

共:💬6 🌺29 新:
全看树展主题 · 分页首页 上页
/ 1
下页 末页
家园 【原创】Liptor的原罪以及为什么说辛普森还是去演动画片比较好

蒙铁手盛情,某勉为其难科普一下统计学几个基本概念。废话少说,文章准备分为以下几部分。大家有花捧个花场有宝捧个宝场。

一、为什么说辛普森悖论很扯淡

卤豆腐就着鸭梨比麦克哈克比投票率低,研究发现去Whole Foods Market买菜的人比

去沃尔马买菜的人少很多。如果按同等收入比较,卤豆腐的投票率高。但是如果再按同等

体重比较,发现哈克比的投票率高。如此继续细分下去,谁牛逼没有一个准确答案。

但是这种统计方法几乎与废话无异。

二、为什么说百分比很扯淡

说某药A比某药B的疗效:男性患者好1%,女性患者好1%,总疗效却更差,这是可能的。

但是1%这个数字几乎与废话无异。

三、为什么说医药公司很扯淡

说Liptor降低坏胆固醇(LDL),而坏胆固醇和心脏病发病率有很强的正相关。于是医药公司

广告攻势之下,Liptor几乎成了老年人必备药品。但是最近的临床试验表明,降胆固醇的药物

有很大问题——LDL降了,HDL升了,心脏病死亡率却不降反升。这还没有考虑Liptor的毒副作用。

医药公司的广告比废话还要差。至少废话没有危险。

元宝推荐:橡树村,
家园 【原创】一、为什么说辛普森悖论很扯淡

首先科普一下统计的常识,没有置信度的统计就是白搭。

还是拿总统选举的民意测验做例子。假设我们抽取1000人作为样本,样本10%投卤豆腐就着鸭梨(credit goes to 南寒),90%投麦克哈克比。这个结果说明什么问题?

“不说明什么问题,你的样本是在西弗吉尼亚选的。你敢来纽约选,哈克比小样的往死里扁你。”

这就是朴素的置信度的概念——样本不随机,置信度就比随机的小多了。没有提供置信度的统计,我们现在知道,就是瞎掰。

那么置信度是什么概念呢?再简化一下例子:假设我们1000人是随机抽取。结果还是样本10%投卤豆腐就着鸭梨,90%投麦克哈克比。那我们就问了,这1000人能在多大程度上代表全美国1.6亿人?(sample vs. population)某人说:有95%的概率,全国人民投豆腐的不会超过12%,也不会小于8%。这就是置信度。你去看专业的民意测验,这个误差值是一定要给的。

置信度怎么算的呢?我给一个最简单的模型。

假设全国人民投豆腐的人占p,投克比的人占(1-p)。选票这样设计:投豆腐写1,投克比写0。我们抽样N人投票的总和是Z。那么这个未知的p,就可以用Z/N来估计。我们有

E(Z/N) = E(Z) / N = [p * N + (1 - p) * 0] / N = p

(铁手咱公式的事咋招啊?)

Var(Z/N) = Var(Z) / N ^ 2 =

N * [(1 - p) ^ 2 * p + p ^ 2 * (1 - p)] / N ^ 2 = p * (1 - p) / N

所以这个估计值的标准差就是

sqrt[p*(1-p)/N]

95%的置信区间,假设样本足够大,服从高斯分布,就是正负1.96倍标准差。一千人卤豆腐的区间就是正负1.9%。我刚才那正负百分之二瞎写的还挺准。如果按照辛普森的说法,我们增加四个变量,比如收入加三围,结果会如何呢?如果每个变量都是二元的,收入高/低,胸大/小,腰粗/细,屁股肥/瘦,那么1000人就分成16组,简单讲,每组人数是原来的1/16。假设我们细分以后,粗腰平胸大屁股的低收入群体投卤豆腐的噌一家伙变成60%多数了。问题上去是上去了,可置信区间变成12.2%。60%+-12.2%这种数据有什么意义呢?上下能差出三分之一强。这幸亏是60%。要是10%都不够减的。这还是二元变量。如果按ABCD罩杯分得话,那这统计的结果就更没法用了。

有人说了,那是你样本少。我统计了一亿个粗腰平胸大屁股的低收入者,90%都投卤豆腐就着鸭梨!!那我得说一句:牛逼!可是这也并没有产生悖论啊。就算全世界的女博士后90%都喜欢卤豆腐,又怎样呢?跟全美国人只有10%喜欢卤豆腐也完全没有矛盾哈。

结论:辛普森悖论大部分来说,是扯淡。统计一般数据都不够用的。再细分,得出结果也没有意义。小部分来讲,也没有什么悖不悖的。

家园 恩,没看懂,数学不好,要仔细研究一下,新年好!
家园 降了那些胆固醇?胡子眉毛一把抓?

胆固醇是降了

家园 Liptor降坏胆固醇(LDL),升HDL,但死亡率shang升

thanks for pointing it out.

家园 那就是说,辛普森悖论是直觉上的一种悖论

从统计上来看,并不是悖论,而是因为变量增多后置信度变差所导致的问题,是这个意思么?要问错了,别怪我乱问啊。

如果会有置信度的问题,那么在这个基础上的调查也就没有实际的意义。有两种可能性,一是因为理论研究所需,二是可能因为象你说的,有些广告需要一些猫腻,所以采用?

对了。公式的那个功能我会尽快的看一下,尽快的应用一下。

全看树展主题 · 分页首页 上页
/ 1
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河