西西河

主题:【原创】21点与黑天鹅 -- 淮夷

共:💬31 🌺324 新:
分页树展主题 · 全看 上页 下页
    • 家园 对outlier的判断是数据分析的基本

      把有真实信息的outlier剔除掉,数学模型就倒塌了,这就是这些黑天鹅的问题。这个道理不难懂,难的是这些黑天鹅的机制不容易理解,或者宁愿无视。同样的事情在自控里50年前就做过了,或许没有做到这等精巧。当年搞模型辨识、自适应、自组织,好像可以用数学绕过过程的物理、化学机制问题,结果发现到头来,绕不过去的一样也绕不过去,问题的浮现换了一个面孔而已。从这一点来说,我是相信信息世界的“物质不灭”的,如果对问题的本质没有理解,换一个角度依然没有理解。

      • 家园 谢谢你的精彩点评

        你的话让我对本文有几句补充的想法:

        1,试图用某种单一的数学模型解释复杂的经济活动是很难获得成功的,不论这种模型是随机漫步、fat tail、或是分形和自相似理论。

        2,任何模型都需要简化,简化意味着忽略某些也许看起来无关紧要而实则决定结果的元素。市场就像一个复杂的生态圈,生态灾难和物种灭绝的发生往往是溃于蚁穴。

        3,数学模型还有一个问题在于它应用的时间长度和频率。某个模型可能无法解释每分每秒的市场,但是在几百上千年的观察期里面它也许是正确的。这将是一个有趣的试验,只是我活不到那么长了。

        • 家园 数学模型方法是静止,孤立的。

          数学模型方法是静止,孤立的。但市场客观现实永远处于变化运动中。现实中对于“真理模型”的认识修正永远没有完结。实践,认识,再实践,再认识。循环往复以至无穷,而实践和认识之每一循环的内容,都比较地进到了高一级的程度。

        • 家园 这三条总结得很棒。我经常看的是经济财经的东西,完全

          可以用这三条来概括那些信誓旦旦的人的问题。实际上,学习数学或者晨枫老大的自控系统,能理解到这个层次,对于社会问题,基本上也就不会偏激了。

        • 家园 你太客气

          “1,试图用某种单一的数学模型解释复杂的经济活动是很难获得成功的,不论这种模型是随机漫步、fat tail、或是分形和自相似理论。”

          这个问题很难说。物理科学甚至哲学里用一种统一的理论解释所有已知的理论,这是一个不可阻挡的诱惑。从这个角度来说,这或许是一神教的影响,难以承认多种并列的“最高”理论。所以,不管是否成功,总是有人前赴后继去试的。

          “2,任何模型都需要简化,简化意味着忽略某些也许看起来无关紧要而实则决定结果的元素。市场就像一个复杂的生态圈,生态灾难和物种灭绝的发生往往是溃于蚁穴。”

          数学只是研究物理世界的工具,对于物理世界的理解根本在于物理世界本身。任何数学模型都需要假设,假设的重要部分就是简化,或者说抽取特征,这只能来自对物理世界的深刻理解,否则就会得出发改委通知和外国坠机、灾难的联系。

          “3,数学模型还有一个问题在于它应用的时间长度和频率。某个模型可能无法解释每分每秒的市场,但是在几百上千年的观察期里面它也许是正确的。这将是一个有趣的试验,只是我活不到那么长了。”

          在缺乏对物理世界本身的深刻理解条件下,数学方法归根到底是向后看的,所有的分析和结论都是根据历史数据得来的。这里面最基本的一个假定就是经济现象在时间上是可重复的,但这个假定的可靠性问题太大了。经济活动不同于自然现象,有人参加后,这是一个复杂的反馈系统,人的因素会是经济行为在演进的过程中改变走向,但人本身由于经验、创造、荒唐、无能、相互影响(从个人层面到大经济层面)而使得走向的改变进一步难以预测。如果不对人的心理和决策过程有深刻理解,用数学模型精确预测经济就是没谱的事情。而精确预测人的思维和行为(用于打仗、争权夺利……)是已经研究了几千年的事情,可能还要再研究几千年,甚至永远。精确天气预报已经是一个几乎不可能的事情,如果不算几十年、几百年的地球暖化趋势这样的漂移性质的影响,这还是一个大体没有人在里头的反馈系统。经济预测只会更难困难。

          • 家园 受教受教

            和晨兄讨论真是获益匪浅。

            我特别喜欢你提到的几个概念,尤其是”反馈系统“的概念。我很赞成你关于统计模型向后看的本质,反馈系统或许是部分的改善这种本质的一个思路。尽管数学上是不小的挑战,但是金融市场中的模型如果能够有某种built-in的反馈系统,其面向未来的指示能力会提高很多。

          • 家园 有宝嗳

            送花 关闭

            谢谢:作者意外获得【通宝】一枚

            鲜花已成功送出,消耗 铢钱 1 个,可能得宝。可通过工具取消

            提示:此次送花为【有效送花赞扬,加乐善、声望、帖得花总数】

          • 家园 天气预报的基础不是概率统计

            归根结底是牛顿第二定律

            核心是物理的不是数学的

            在数学形式上是带时间导数项的方程

            所以可以向前积分求预报

            尽管现代气象学中有很多统计处理工具

            也有所谓统计预报方法

            至于"精确天气预报"

            请先定义什么是“精确”

            在什么时间和空间尺度上

            然后可以讨论可预报性和预报准确性...

            个人认为

            以上和quant那套在本质上还是有很大差异的

            • 家园 向前积分的预报取决于模型

              天气预报模型不包含一个“外界不确定扰动”项是不可思议的。在向前积分过程中,需要对这个扰动项作一定的假设,比如高斯分布,零均值,固定方差,等等。如果不用随机的方法,确定性的高阶非线性微分方程也有“混沌”的问题,解可以进入一个非随机但是不确定的区域,向前积分时也需要做一些假定和处理。就预报而言,这和quant在本质上没有太大的差别。

              至于精确天气预报,什么叫精确,哈哈,一周预报中,温度不要相差3度以上,有雨不要预报成晴天,这个要求很高吗?至少加拿大做不到这个精度。

              • 家园 这个模型不是统计模型

                这是我想要表达的基本观点

                虽然走极端的话

                或许也可以说牛顿第二定律是建立在对实验结果的统计基础上

                现代天气预报用的数值模式

                当然会包含“不确定扰动”

                研究“混沌”的先驱之一

                已故的E. N. Lorenz

                就是地道的气象学家

                但是数值模式最核心的动力方程组

                不是“不确定”的

                实际数值积分的近似处理,是另一个话题

                一周预报中,温度不要相差3度以上,有雨不要预报成晴天,这个要求很高吗?

                罗嗦一下

                就目前的科学认识

                同样是造成地面温度变化和降水

                不同尺度天气系统的主要物理过程并不一样

                目前对大尺度运动(1000km & 10^5s量级)认识是比较清楚的

                对更小尺度的认识比较差

                特别是地形比较复杂的地区

                预报准确率就比较低

                但是几天以内

                大范围的温度变化和降水预报准确率还是相当高的

                而且几十年来一直在稳步提高

                预报误差统计(Forecast Verification Statistics)各家机构都有做

                比如美国NCEP中尺度模式的

                目前一般认为全球预报做得最好的是European Centre for Medium-Range Weather Forecasts(ECMWF)

                高层大气的“可用”预报已经做到10天

                一般地,以天为单位,预报是越近越准,高层比低层准

                点看全图

                外链图片需谨慎,可能会被源头改

                出处

                • 家园 我明白你的意思了

                  你说的统计模型是指回归模型。怎么说呢,动力学方程(微分方程或者差分方程)也是包含具有统计特征的不确定因素项的,数学上的时间序列分析处理的就是这一类问题。用这样的模型外推/预测,必然遇到对“未来”不确定项的假设问题,也就是统计特征,绕不过去的。

                  天气预报对于大尺度运动的精度不是普通人关心的问题,人们关心的是十几公里级别的问题。就是大尺度预报,每年那么多水灾、今年Alberta的冷夏,也没有预报出来啊。

                  • 家园 天气预报和气候预报差不多算两个领域了

                    每年那么多水灾、今年Alberta的冷夏

                    数值天气预报才几十年光阴

                    气候预报就更年轻了

                    气候预报和天气预报关注的物理过程又是不一样的

                    一篇短文:The basis of seasonal forecasting

                    目前seasonal forecasting预报还不怎么靠谱是不可以用来批判daily forecasting不靠谱的

                    人们关心的是十几公里级别的问题

                    十几公里级别的预报都一样有在做啊

                    准确率如何也有统计的

                    上个回帖里NCEP的那个中尺度模式预报验证统计可不是大尺度的哦

                    另外,比如km级的变化,要求提前几天就预报出来是不可能的

                    这个是可预报性(predictability)问题

                    一般地,尺度越小,可预报的时效就越短

                    不多扯了

                    p.s.

                    最核心的物理模型不带不确定性--这个算是"科学"问题

                    实际观测和求解方程有不确定性--这个算是"工程"问题

                    哎...

      • 家园 晨大抓了本质问题

        俺心有戚戚焉,等有空写点东西给晨大做注

分页树展主题 · 全看 上页 下页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河