主题：关于大数据 -- jent

big data is like teenager sex, everybody wants to do it, nobody knows how to do it, everybody thinks others are doing it, so everybody claims he is doing it.

大数据与郑国渠

这两年，国内大数据貌似太阳能、风电样被炒的很火

贵州还开办了大数据交易中心，也许是全球第一个

国内政府在经济乏力，科技相对落后的情况下，强行推进大数据 ，甚至提升到国家战略层面，却有可能陷入欧美国家的战略陷阱当中。

春秋战国的郑国渠，美帝的星球大战，都是成功的经典战略欺骗案例，还有所谓的千年虫、.com科技泡沫经济，都历历在目

一个国家的资源是有限的，战略重点也是有限的，不可能到处重金投入

国内前几年火爆的太阳能、风电新能源，目前都处于行业性崩溃，而且，在短期内，也许20-30年内，甚至50年，无法恢复元气

由此，耗费的资金、人才、资源，只能是全民买单。

日本九十年代强推第五代电脑：人工智能电脑，方向错误，越努力越失败，今天的结果是，整个日本国家的IT产业崩溃，

国内政府强推大数据，提升为国家战略的另外两个“潜在”考虑，可能是：

::基于大数据、信息科技的新型“计划经济”，个人对经济不熟悉，但直觉上觉得不靠谱，至少目前没看到有这方面的理论体系，而成熟的理论体系，是项目成功的基本要素。

有了成熟的理论体系，未必一定成功，没有，绝对是失败

::建立类似1984的社会管理体系，这个更加不靠谱，网络危机公关的经典手法就是，采用大量的关联信息，淹没负面新闻。

一组（10台）电脑，每天可以发布上亿条信息（包括填写验证码），可以模拟千万级的用户数据。

（顺便说一句，个人是国内首家4A级网络公关公司的联合创始人之一，服务过150+国际500强，包括微软、奔驰、西门子）

淘宝、微信、app市场的好评刷单，目前高达50-80%以上，这么多的垃圾信息，将真实数据完全淹没.

政府其实也知道这点，所以提出了网络、手机实名制，以及目前的一卡通，希望能够强行绑定信息发布主体。

可是，即使20-30年后，一卡通完全推行，还是无法解决这些问题，至少，已经运行了十年的支付宝，目前的假号，才几元一个，最严密的银行卡也不过200-300元一张。

更何况，数据并非越多越好，有时候数据越多，精度更低，这个数学上称为：龙格现象

：实战测试，数据越多，反而会影响精度。目前个人数据分析的一个重点，就是“小”数据。老子《道德经·第六十三章》有云：天下大事，必做于细。

我在一个blog上面也找到了数学支持,龙格现象，http://zh.wikipedia.org/wiki/龙格现象

大数据其实并非新科技和高技术，其核心与本质，不过是数据分析，尤其是聚类分析

这点，国内武汉华中科大邓聚龙教授，1982年提出灰色系统理论、灰色数学当中灰色聚类、数据归一化算法，目前依然是最好的分析模型之一。

大数据分析的核心，是统计分析、聚类分析，以及各种各样、五花八门的分析模型。

这些分析模型与算法，大多基于传统的人工智能研究，什么啄木鸟算法、萤火虫算法、蚁群算法，大部分都是经验性、实验模型，缺乏系统的理论支持。

这些模型，全部都是高次多元的，而三元以上的n次(n>3)模型，除了特殊的经验公式，在数学上是无解的，至少目前没有一个通用的求解算法。

对于大数据这种新产业而言，全世界都在摸索，政府做决策，必须进行调研和试点，而不是听过几个专家，尤其是某些协会的人员胡说几句，就作为国家战略操作。

大数据产业，从概念到目前，不超过五年，因此试点是不存在的，以大数据作为核心战略，不要说国家，就是大企业，在全世界至今都没有一个成功的案例。

至于中国协会专家的意见，大家完全可以忽视，我的首部书籍，第二作者，现在就是中大的副院长，博导，可水平，也就哈哈而已。

关于大数据、高频交易和人工智能，

个人的基本观点：凡是无法通过“足彩数据”进行实盘测试的方案、算法，都是在耍流氓。

大数据并非无用，可最多不过成立3-5家类似联想级别的公司即可，完全不是国家级项目，更别说国家战略级项目。

作为国家战略，不管成功失败，我更担心是郑国渠效果。

郑国渠并非没用，时至今日，依然在造福国民。

郑国渠,从战术讲是个成功的项目,耗费了秦国大量战略资源后，从战略讲，属于基础建设，反而增强了秦国的国力。

相比郑国渠，大数据的的核心硬件服务器、软件、数据库，都要进口，而硬件服务器的折旧比汽车还快，最前沿的硬件，基本3年就基本价值归零，就是一堆废铁

因此，目前各地政府的批量上马数据中心、计算中心，投资回报更加令人担心，一个3-5年，回报率无限归零的项目，而且投资总额分分钟过万亿。

也许，大家会认为，这么多资金，上万亿砸下去，至少在人才方面会有收获，会培养一支自己的团队。

这个，也许，不过意思不大。

日本全民动员的第五代电脑，目前至少也有些国际上知名的IT项目：比特币、ruby语言，可是对日本IT产业的整体盘，没有多少帮助。

希望，太阳能、风电等新能源方面的失败，能够让政府国家谨慎

sorry，

因为在几个大数据群里，发现政府居然成为大数据的主力，有感而做，初稿未对郑国渠细细考究

理科生的坏习惯，不过不影响大局，谢谢几位指出的网友，不过这个是细节

希望大家多从主题方面展开讨论

将大数据比做郑国渠，的确有些不恰当，至少郑国渠现在依然在造福国民，而大数据的投资，数年后，只是一堆废铁

至于其中的团队，政府公务员，能够有什么人才，最好也不过是一群技术官僚，可能连技术两个字都称不上。

大数据项目，其实更接近日本九十年代的第五代电脑：人工智能计划

至少，当年、和现在的富士，是极少数能够制造商业级小型机的企业，包括CPU这点，国内目前尚未这个级别的企业

天河系列，的确取得了不少成果，特别在巨型级的架构方面，不过，这个是不计成本的国家投入，商业化没有多少竞争力

mit的学生，当年用ps游戏机cell芯片，现在用gpu显卡，攒的计算集群，配合linux，对于企业而言，性价比可能更高

把大数据和日本的第五代电脑对比下，大家会感觉更加贴切,不过，现在，谁知道小日本的这个东东？

大数据的通道是互联网，数据、信息是一次性消费产品，可以零成本传播、复制，互联网的核心只有两个字：free（免费）+open（开放)

积累的数据，一个连pm2.5、耕地面积，都是国家机密的政府，再多的数据，缺乏流动与共享，也是死数据，有意义吗？

本文是以下几篇blog的补充，

《大数据和高频量化交易》 http://blog.sina.com.cn/s/blog_7100d4220102vkai.html

《大数据观点补充》 http://blog.sina.com.cn/s/blog_7100d4220102vkdb.html

《大数据与郑国渠》 http://blog.sina.com.cn/s/blog_7100d4220102vkqd.html

个人倾向于认为。大数据之大，在于数据量的增加使得有用信息非线性“涌现”。哲学一点的话说是整体大于部分之和。

这个定义有两个问题，第一，达到涌现新信息的数据量的阈值是多少？（也就是楼主所谓多大的数据算大数据的问题）诸如synergetics这样的学科确实在讨论某种子系统相干作用并出现整体上时空有序的问题。但是现在并不能给出出现有序结构所需的最低子系统数目的标准。

第二个问题与第一个是联系的。这个涌现出来的新信息是“有用的”。这个有用的标准如何定义？事实上在不同的角度看，有用的定义是不同的，这也部分地决定了涌现的阈值。这里的“有用”实际上涉及了一个语义信息的问题。即信息对信宿的意义问题。一个思路是，信宿对接收到的每个信源符号有一个先验的概率。如果接收到的信息的先验概率非常低。那么即使这个信息在信源那里是没什么意义的（高概率事件），它对于信宿仍有很大的信息含量。

现在的通信理论，通常认定信源到信宿的信息量。如果是无噪音信道。就保持不变。但是，大数据的最大特点是，信息量在信源和信宿可能有完全不同的量。换句话说大数据的信道内在地对其所传输的信息有扭曲或者加工而改变其信息量的能力。不突破这个问题寻找新的信道模型。个人意味对大数据不会有理论上的根本性进展。