- 程序有所改变。发帖如还有问题请报告
- 【征集】西西河的经济学，及清流措施，需要主动参与者，『稷下学宫』新认证方式，24年网站打算和努力目标
主题：利用google的强大搜索功能做的一个数据分析实验 -- 奔波儿
家园 利用google的强大搜索功能做的一个数据分析实验 最近江湖传言，某某大佬消失了，因此想从“喉舌”（人民网）的表现瞧出点眉目。方法为在google的搜索框中取人名为关键词，并限定搜索范围为“人民网(site:people.com.cn)”，然后设置时间范围，总计取了三位台上大佬以及一位落魄小弟的数据，横坐标为时间（08/31至09/12），纵坐标为单日中有其姓名的网文次数，落魄小弟的数据和诸大佬相比，几近于无，分别为（0 0 0 0 0 1 0 4 2 2 12 11 11）。
外链图片需谨慎，可能会被源头改9月8日，云南地震；9月10日，鬼子买岛。因为存在时差，搜索结果上有一日的滞后时间。
从统计数据上看，似乎没有啥明显异常。呵呵，不过落魄小弟看来确实是被压制得非常厉害。如果统计一下最近一年以来人民网对四人的相关报道次数，分别为221000, 182000, 26800, 40600；最近半年的数据分别则分别为181000, 151000, 21400, 21800。从这上面可以看出，对太子的报道频率在最近半年大幅度增高，而另一位似乎红过一阵，但最终趋于被选择性忽视。
另外，可以用同样的方法，对其他的典型性“喉舌”网站（诸如新华网）做同样的分析，并可以相互比较，做些相关性分析以及聚类分析试验。就是数据采集比较麻烦，得一个个手动输入，找机会写个code，自动采集后，分析起来就容易了。
通宝推：沾花富翁,做客地球,混天球,家园 额错了，看来8月26日左右的确发生了点啥事儿 昨天花了一天功夫，琢磨如何自动提取谷歌大神的搜索信息，不断测试代码，并利用google搜索攻略，与大神手下的小弟及其系统设置不断做艰苦斗争，动用了proxy，编写随机休眠，设置虚拟cache等等诸多手段，无奈俺的目的是要实现搜索结果的自动获取，对方只要设定一个时间区域内单IP访问次数就很容易判断是否为robot行为。屡战屡败，愈挫愈勇，打住，否则，就该走火入魔了，虽然弄到了想弄的数据，但代价是整整一天窝在家里，屋外阳光灿烂蓝天如洗，是多么适合远足的好天气啊。
数据为设定2012/09/15为搜索时间下限，用引号将特定人名圈起来以便精确搜索，同时限定结果仅为人民网(site:people.com.cn)的帖子，然后设定起始搜索时间，接着记录该时间区间内的帖子数。作为御用或者专业喉舌网站，对言论有一个自动清洗和管理过程，这就意味着如果是普通百姓，包含其名字的帖子在该网站出现几率几近于零，而针对大佬们则会保持较高的关注度，一旦关注度出现异常下降，则说明可能出现问题。（哇，在这儿俺多么感谢言论不自由啊！！！）
通过分析数据发现，google本身的数据应该是隔段刷新，比如会出现多日搜索结果无变化的情况，因此总体呈现阶梯状走向；另外会出现较晚日期搜索结果高于较早日期的结果（幅度很小），这就意味着该日的净帖子数为负值，而这在理论上是不可能的，搜索结果应该是一个单调下降或平台（无变化）过程，这意味着有一定的波动，但幅度很小，可以认为是系统噪音。
外链图片需谨慎，可能会被源头改上面这张图显示的是2011/1/1至2012/9/10日的搜索结果，仅取每月的1,5,10,15,20,25六日，从图上可以看出三大长老彼此很接近，亦步亦趋；小李子稍微偏下一点，但也差不多远，说明其地位很稳定，基本是正常态势；三少本来与长老们差距并不大，但这个差距从2011年下半年开始有拉大的趋势，进入2012年2月以后迅速扩大，此时正值山城大戏开锣，等进入到了7月下旬以后，三少的帖子数已经可以被忽略了。
坊间传闻太子失踪，这也是俺咨询大神的原因。第一个帖子是用手动输入数据，时间长度很短，不容易看清。而这次加大数据量以后，就能看出点有意思的东西来。在图的右上方，代表太子的红线在八月底越过了绿线，加速下降，与其他三位长老的走向出现明显差异。
下面这张图为2012月8日14至9月14日的搜索结果，从这32天的搜索结果可以看出，在8月26日左右的确发生了异常状况，看来太子失踪的传闻并非“空穴来风”。
外链图片需谨慎，可能会被源头改从这两张图上还能看出很多有趣的东西，比如看一下五个人之间的相关性分析。
胡 温 习 李 薄
胡 1.000
温 0.978 1.000
习 0.964 0.988 1.000
李 0.994 0.988 0.975 1.000
薄 0.927 0.962 0.975 0.955 1.000
呵呵，也许大概可能说不定，呵呵呵呵，俺就不做解读了，毕竟俺的出发点只是想通过技术手段做一个判断，而不是与这政治挂钩，就此打住。
关键词(Tags): #胡说九道，
本帖一共被 1 帖 引用 (帖内工具实现)家园 【讨论】乱象纷呈，技术手段再强也还是雾里看花啊 1、钓鱼岛爆炒，最该表态的没图像没声音。看新华网“团结奋斗、捍卫主权”专题，核心提示为胡、吴、温、李，唯独不见伊人，怎不叫人狐疑，伤了、病了，似乎都不是理由。
2、真正原因是什么？北戴河度假归来，审判结束，总管换人，影帝都说了再过几月息影，一切均按部就班，还能有什么变故。费解，费解。