西西河

主题:alphaGo 系统以及人工智能的未来 -- pattern

共:💬83 🌺264 新:
分页树展主题 · 全看
/ 6
上页
                • 家园 这正是可以改造成全卷积的前提

                  本质上全连接层就是1X1 kernel_size的卷积层,改造成全卷积网络非常直接

                  问题在于原来1X1的输出变成了10X10的输出,那么最简单的就是直接做个fusion,那么狗狗的“大局观”会有一定程度的损失

                  更本质一点的话,把fusion用一个network来代替,通过较少的训练就可以弥补掉这种“大局观”的损失,训练代价不会超过一个月

                  • 家园 你这个思路挺好

                    还有一个假定是在新参数下,下棋的规律和老参数很接近。

                    • 家园 写完了发现你说的参数和我说的参数不是一回事儿。。。

                      写完了发现你说的参数和我说的参数不是一回事儿。。。

                      从你说的参数方面看的话,其实不就是一个fine-tuning么,直觉上看新参数应该和老参数相去不远

                    • 家园 参数就那么重要吗?

                      从整个机器学习,尤其是深度学习的发展来看,参数也许并不重要,数据精度也不重要

                      之前我们觉得重要,是因为我们处理数据的方式不够“自然”。参数非常重要的系统,说白了就是unstable,而深度学习是要做出足够stable的系统,那么参数根本就不重要

                      周志华他们搞的LDM,就发现原来传统的SVM对参数那么敏感,其实也许是因为我们对数据处理的方式不太正确,LDM就对参数基本不敏感

                      深度学习原来对训练参数是敏感的,但是你看现在尤其是xavier、BatchNorm出来之后,对参数的敏感性极大地降低了,基本上想当然地随便设设就行了,影响的无非是训练时间的长短,对于最终结果的影响微乎其微

            • 家园 临时调整参数也一样下不了么?

              对人来说,这种调整会有影响,但不可能就不会下棋了。

              就像把篮球场地扩大到足球场大小,那排兵布阵肯定不一样,但是不可能就不会打篮球了。

              对围棋来说,19*19调整为29*29大概会让职业9段变成职业3段,但是怎么也不会变成业余3段的。

        • 家园 alphaGo 可能有点特殊

          大致上同意你的看法,但是alphaGo 可能有点特殊:因为它有个自我下棋,然后学习的方法。这个自我学习在其他人工智能上还没看到过,可能也很难实现。有了这个过程,我觉得它还是有可能超过人类的。

    • 家园 人工智能可以使得人类减少犯错误

      而人工智能将会把人类从低端的脑力劳动中解放出来

      比如开车总会发生磕磕碰碰,下棋高手总会出臭棋。

      人工智能可以减少犯错,在下棋上无所谓,在驾车上就是功德无量了。

分页树展主题 · 全看
/ 6
上页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河