西西河

主题:【原创】大数据与郑国渠 -- zw

共:💬44 🌺246 新:
全看树展主题 · 分页首页 上页
/ 3
下页 末页
家园 大数据与死数据

大数据与死数据

为什么,在得知贵州还开办了大数据交易中心,也许是全球第一个

会觉得无比别扭??

连续发布了blog《大数据与郑国渠》、《大数据与黑天鹅》...

在blog中,笔者曾经提到:

积累的数据,一个连pm2.5、耕地面积,都是国家机密的政府,再多的数据,缺乏流动与共享,也是死数据,有意义吗?

4月30日,一周后,黑天鹅又一次出现:《中国科学家难以获取高质量的国内数据科学》

外链出处

大数据是互联网、后资讯时代的产物。

而互联网的核心只有两个字:free(免费)+open(开放)

纽约的大学生,利用市政府的开放数据库,可以轻松制作出全市的犯罪热点分布图

而我们,就连专业科学家,都无法获得一手的数据,更何况商业应用了、BI开发。

也许,贵州的大数据交易中心,改为免费的、开源的数据共享中心,能够有一个华丽转身。

国内政府强推大数据,提升为国家战略的另外两个“潜在”考虑,可能是:

::基于大数据、信息科技的新型“计划经济”,个人对经济不熟悉,但直觉上觉得不靠谱,至少目前没看到有这方面的理论体系,而成熟的理论体系,是项目成功的基本要素。

有了成熟的理论体系,未必一定成功,没有,绝对是失败

::建立类似1984的社会管理体系,这个更加不靠谱,网络危机公关的经典手法就是,采用大量的关联信息,淹没负面新闻。

一组(10台)电脑,每天可以发布上亿条信息(包括填写验证码),可以模拟千万级的用户数据。

大数据的通道是互联网,数据、信息是一次性消费产品,可以零成本传播、复制,互联网的核心只有两个字:free(免费)+open(开放)

积累的数据,一个连pm2.5、耕地面积,都是国家机密的政府,再多的数据,缺乏流动与共享,也是死数据,有意义吗?

中国科学家难以获取高质量的国内数据科学

http://www.solidot.org/story?sid=43883

上海海事大学的Zheng Wan在《自然》上发表文章称,中国科学家越来越难以获得高质量的国内数据,认为这一情况可能阻碍科研和创新。他说,大部分公共数据被政府部门控制,其中一些加强了对数据的垄断,使得中国研究人员难以获取这些数据。人文科学的研究人员受影响最大,但数据访问的限制正扩大到环境科学和公共健康等领域,原因是数据具有政治敏感性。即使数据公开了,其质量也令人担忧,最明显的一个例子是全国的GDP数据和各省公布的GDP数据之间存在显著差距,国家统计局称数据差异是数据收集方法的不同导致的。在文章最后,Zheng Wan谈论了互联网审查,称Google学术搜索被屏蔽对他的工作影响非常大。

通宝推:舞动人生,
家园 大数据是核武器

用来做什么是会产生不同的效果的。其中也有大政府,加强管制的用处,也有增加生产力,扩散知识的用处。如何用,关系到百年大计。

家园 大数据有个关键词,叫实时

在速度和规模方面,速度的重要性,永远是第一位的

不要说百年大计,科学不是下大棋

高频交易,滞后1秒钟的数据,都是垃圾数据,无效数据

军事上,更不要说了

家园 又一只黑天鹅爆掉了

又一只黑天鹅爆掉了

blog:<大数据与郑国渠> 外链出处

足彩是最简单的三选一模式,随机盲选的概率都超过30%,如果一个大数据分析模型,连随机概率都无法超过,只能说这个模型不靠谱,

当然,前提是必须稳定,百度的世界杯18连胜,只能是学术界的一个笑话,连百度自己现在都不好意思提

《百度在ImageNet图像识别测试中有违规行为》

链接出处

其实,已经有一批黑天鹅爆掉了

历史又一次证明:【黑天鹅才是新常态】

《盘点互联网黑色5月 携程被黑支付宝故障而网易瘫痪》

外链出处

【黑天鹅才是新常态】

金融市场 大家都是大数据 会反向干扰态势的

现在(2015) 黑天鹅才是新常态

看看:石油价格 瑞士法郎 日元升值 光大砸盘 黄金狂跌

全部没节操 没下限

参见《大数据与黑天鹅等》

外链出处

家园 郑国渠来类比,你是夸国内将计就计?

郑国最后被发现是韩的间谍后被抓后说,我为韩躲过一时之患,为秦造就万世之利。

家园 同样的东东,工业4.0?
家园 百度这次为人工智能当了高级黑

为反智(反对人工智能)人士提供了口水,为下一次人工智能冬天提供了可能。

家园 百度只喜欢做表面功夫

百度只喜欢做表面功夫

国内很多企业都是如此、华为类的企业太少了

联想手机,这几天不是boss都受不了

国外大企业的底蕴、基础课题,真心不是盖的

国内政府大数据的一个G点,人脸识别

核心99%是opencv

opencv是intel早在1999年发起的项目,目前是100%的开源软件

和linux一样,国内能够看懂opecn源码的,不会超过100人

就这样,还全球率先,大数据产业化

靠谱吗?

百度作为IT技术密集型企业,再加上钱实在太多,研发投入,在国内企业,应该也算可排到TOP10吧

连TOP10的企业,都是这样,

看来,解决好《当代TG人的“异化”》,再谈大数据、谈创新吧,是必须的

链接出处

家园 5分钟教你怎样使用OpenCV写程序

Creating a face detection API with Python and OpenCV (in just 5 minutes)

点看全图

外链图片需谨慎,可能会被源头改

家园 会调用opencv,不等于明白算法原理

只能说明,opencv函数库封装的好

就像会用i7电脑,不等于知道如何做i7 的cpu

更搞笑一点,小日本被两颗原子弹爆过,前几年福岛有核了一次,不等于,现在的小日本,就明白如何制造原子弹,氢弹

国内6成以上的opencv、大数据等专家,能够在win、linux下搭建好相关的开发环境,就达到合格标准,这个应该是现实

这个环境,其实简单的很,去下载个zwPython,解压即可

:: 网盘下载:[URL=]http://pan.baidu.com/s/1tY7Wq [/URL]

http://pan.baidu.com/s/1tY7Wq

现实就是这么残酷

这个就是中国目前底层科研的现实

家园 zw黑天鹅“足彩实盘”大数据测试数据

外链出处

【文件说明】

$mx1,是单日数据;$mx9,是日数据和

::入选率:2%,

::准确度:40%,

::盈利率:120%

目前在测试稳定性

5月1日-6月14日,实盘数据

$mx9,15061409x150614,$100,151%,44.79%(43/96),#,x,44%,43,96,$,152%,100,29184,@x2,$319,277.22%(499/180),k9,47.62%(10/21)

单关盈利率v:150%,准确率:44.79%(43/96)

2x1盈利率v:277.22%(499/180)150%

zw黑天鹅算法重点关注:盈利率,高赔

外链出处

家园 股灾、马云、大数据

股灾、马云、大数据

这篇blog,股市关头“七·七”之日,就差不多构思,因为事件敏感,一直压住没有发布。(ps,本人从不炒股)

“七·七”股灾,是国家大数据战略发布后、也是本届政府最重大的事件,没有之一。

涉及的领域,不仅仅是股市,以及经济、金融领域,而且将国家政治战略、社会战略甚至军事应对措施,暴露在敌对国家面前。

自六月起,得知国家大数据战略后,连续发布了二十余篇大数据的blog,其中大多为负面。

作为专业的一线IT业者,在大数据方面,还算ok,不能像政府官员一样,只听忽悠。

虽然“七·七”股灾,相隔贵州全球首个大数据交易会(数博会,5月29日),才一个月左右。

但作为政府项目,有理由相信,国家的大数据战略,至少经过了6-12个月的压力测试。

这种国之重器,如果不经严格压力测试,没有N套灾变应对策略,就匆忙上线,所有全体相关政府官员,无论级别,都应该下台,自裁,移交司法机关。

blog《大数据与郑国渠》曾经说过:

http://blog.sina.com.cn/s/blog_7100d4220102vkqd.html

外链出处

个人的基本观点:凡是无法通过“足彩数据”进行实盘测试的方案、算法,都是在耍流氓。

对于大数据这种新产业而言,全世界都在摸索,政府做决策,必须进行调研和试点,而不是听过几个专家,尤其是某些协会的人员胡说几句,就作为国家战略操作。

大数据产业,从概念到目前,不超过五年,因此试点是不存在的,以大数据作为核心战略,不要说国家,就是大企业,在全世界至今都没有一个成功的案例。

将大数据比做郑国渠,的确有些不恰当,至少郑国渠现在依然在造福国民,而大数据的投资,数年后,只是一堆废铁

至于其中的团队,政府公务员,能够有什么人才,最好也不过是一群技术官僚,可能连技术两个字都称不上。

“七·七”股灾前后,整个社会好像“三战”核弹爆发,经济、金融的“灭国”之战,国家经济有倒退十年的危险。。。。。

连外访总理都匆忙回国,好像美国华尔街、联合欧洲、日本等全球资本,恶意做空中国,

更加关键的是,这种错误的推断,引发了政府部门实质性的的救市行为,上万亿的资金被导入股市,

好似当年三个代表,有关政府部门,近期言必“大数据”,这次股灾应对,必然会极大的参考大数据方面的资料。

可惜,政府主导的大数据,和其他政府项目一样,往往换来的是是十倍、百倍的失败。

面对“七·七”股灾,政府种种应对措施,全面失败,而且,闹出了个世界金融史上的超级“大乌龙”事件,居然找错了“靶标”。

“七·七”股灾的最终调查结果,目前虽然没有发布,但有消息称,虽然不一定正确:

前期,不过是江浙的一些土老板,为防止风险,做的空头对冲保险,因为配资杠杆,引发的技术性股市大幅度下调。

后期,则是因为程序化交易系统,对阀值K值的设定,引发的一系列自动抛盘,

就像前几年光大乌龙事件,专业人员一听,就知道是因为交易系统,相关参数,未进行初始化设置,直接上线引发的自动抛盘

也许,“七·七”股灾,根本就不关华尔街、美帝什么事?

完全是躺枪。

ps,8月10日新增片段:笔者很少引用中华网的资料,因为基本是TG的文宣。不过这次,过了一个月,这些blog也羞羞答答、间接认可了上面的推断。

《大老虎想在中国玩双头政治?白日做梦》外链出处

欧洲最近有点看中国的笑话。大老虎作乱。欧美都看笑话。

(ps,应该就是这个“七·七”股灾的超级“大乌龙”事件)

事件后,损失惨重的投资人,有人质疑某些机构、个人,利用关系,可能可以获得恒生系统交易后台的所谓“大数据”,获得不当暴利。

这个是必须的,某些政府官员,为了拆迁,就敢于不顾人命,透过交易系统,看看底牌,赚的钱毕竟要干净些,而且是千亿、万亿级的“大钱”。

《大数据、趋势与黑天鹅》blog说过

http://blog.sina.com.cn/s/blog_7100d4220102vn8s.html

外链出处

资本的力量是无法阻挡的,即使政府限制,关系企业,有关人士,也会拿到相关权限,这个毕竟只是商业数据,保密权限不可能很高,“SSS”级,和二炮一个级别

......

首先,少数权贵部门和企业,从资本、原料等方面的垄断,会延伸到数据方面的垄断,获得不当利益,

而广大普通企业、个人,却因为受限于数据,无法进行正确的商业决策、个人投资,社会的二元化分割更加严重,

这个,看看现在的房屋数据库,始终无法进行全民查询

这里多说一句,政府与其,梦想通过大数据,建立2.0版本的1984社会,不如管好全国四百个城市的局级以上官员,毕竟这个才几十万数量级

如果连几十万数量级的中高官员,而且绝大部分是党员,都无法有效管理,希望利用大数据,来管理十亿级的民众,只能是。。。。。。

《人工智能永远差500年》blog说过

http://blog.sina.com.cn/s/blog_7100d4220102vmlm.html

外链出处

至于所谓提前半年,一年,根据阿里大数据,布局股市,获得70-80%的高额收益,这种案例纯是扯淡

从职业操守而言,不过是内幕交易,

完全不需要大数据,哪些三线城市、乡政府的官员,根据规划局的预案,强行拆迁买卖房产,收益比这个高N倍,百度一下案例大把

其次,数据与资本、原料、设备不同,一个邮件,一张U盘,就可以将涉及全体国民的数据暴露给国外敌对机构

发达国家的模式是,除极少数敏感数据库外,普通数据基本免费开放,全民共享,这样才能全体国民受益,减少数据事故,减少数据意外事故,对普通企业、个人的冲击

这次股灾,如果当事人是一家企业,即使是“五百强”、高盛,十万亿的盘子,数千亿的亏损,分分钟倒闭。

这也说明,政府的大数据战略,存在重大bug,负责的话,政府大数据项目,应该在近期理性化,转交给几家专业机构操作,而不是全民大数据。

国家强力部门,公安部直接介入金融机构,这个可能比上万亿的救市资金,更加恶劣

大家不妨好好看看伦敦“金融城”,这一块被称为“一平方英里”(Square Mile)的地方,为什么要采用“国中之国”的运营模式,

百度百科,外链出处

虽然大伦敦统一的行政管理机构——大伦敦市政府,对包括伦敦城在内的每个郡都有约束力,但是伦敦城有自己的一套市政、警察和司法机构。重大庆典时,英国女王还要等候伦敦市长将一柄“市民宝剑”献给她以后,才能进城。

资本最重要的属性,就是安全。商人,特别是金融业,对枪杆子是最敏感的

不要说非洲、南美,这些动荡之地,

希腊危机,就连欧盟的马甲都不好使

17%+利率的希腊债券,为什么不能无限印刷、发行,

余额宝啦,据说就是阿里和半官方机构中信合作的产物。

马云旗下企业,特别是支付宝,是中国互联网事实上的隐形央行,作为政府电商、金融、大数据领域,最核心的技术企业,

在这次股灾事件当中,也许涉及的环节、深度,比大家想象的要“深的多”。

马云的恒生,作为事件操盘核心IT企业,涉及事件,这次,也许不是主观恶意。

孔老夫子,算是圣人了吧,中国五千年,也只出了一位,还留下了偷会“南子”小姐的野史

马云,毕竟只是商人,不是道德模范。

商人,对于利润的敏感,想必会刺激其他的“牛”云、“羊”云,组织团队,研究此次股灾。

中国这么大一个盘子,居然被江浙的一小搓土豪,就差点引发经济、金融的“灭国”之战

有理由相信,美国华尔街的猎手、日本的经济学者、甚至五角大楼的专家。

就在此时,就在此刻,会有不下十个,国际顶级的专业团队,

从各个角度,犹如庖丁解牛,如外科手术般,在分析这次股灾的每一个细节,每一篇大V以上的blog、新闻、甚至微信、帖子

从而制定更加专业的,可以操作的,股市、金融、经济、军事,“商业计划书”

也许,下一次股灾,才是华尔街专业猎手真正登场,正式引爆 xx 经济、金融的“灭国”之战

通宝推:盲人摸象,
家园 倒是可以参考下西欧宗教改革前的一段历史:

上帝(或其代言人)越来越腐败,所以时代需要一个新上帝(或其代言人)

市场(或其参与主体)越来越腐败,所以时代需要一个新的东西(或参与主体)来取代。

家园 准确率大于33%不就是成功了么?

虽然<50%,但是>33%就是成功了呀。你的意思是他们已经通过了你的图灵测试?

全看树展主题 · 分页首页 上页
/ 3
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河