西西河

主题:【通报】2024年5月,关于最近网站不稳定的说明 -- 铁手

共:💬22 🌺133 新:
全看树展主题 · 分页首页 上页
/ 2
下页 末页
家园 【通报】2024年5月,关于最近网站不稳定的说明

最近一段时间网站不稳定,大家明面上可以看到的是数据库,Web server 出现问题。

从各种迹象来看,有疑似有意无意的对网站服务器的攻击行为,也有可能是一些无意识/有意识的利用程序频繁访问网站所导致的服务器超载。

不管是什么情况,服务器的性能,有问题,面对大量访问,应对能力有问题。

我需要多花点时间,一是尽可能在系统配置、程序功能、数据库上做尽可能多的优化,让小马可以拉大车,二是尽可能优化配置不同的缓存功能,减少对后台服务器的要求,三是考虑合适的阻止大量、快速访问的方式。

目前网站使用 Cloudflare 作为内容提供前线。用户访问,先到 Couldflare,然后 Cloudflare 根据情况到我的服务器取内容。

我的两个重点,将会优化利用 Cloudflare 的缓存,再就是看看能不能利用它来防大量、快速的访问,特别是自制爬虫抓网页内容的。搜索引擎会遵守一定的原则,少量多次访问,而自制爬虫或恶意爬虫,多半会大量持续快速访问。

重申一下:以上说明,不为指责别人,重点是网站自己需要有防止超载的措施。或者说,别人做什么我们不知道,但是应该知道自己做什么。

以上的尝试解决过程中,可能会导致网站访问出现问题。比如内容过时、不完全正确,或者正常访问情况下被阻止访问等等。如果出现类似情况,或者是任何一种你认为不太正常的情况,欢迎或者跟帖说明,或者通过站内短信通知我。

以上,需要相当的时间和精力,需要学习了解新的东西。我不能保证什么时候能够完成,所以多半是走一步看一步,一天解决一点点。我不着急,所以,也希望大家别着急。

元宝推荐:桥上, 通宝推:strain2,方平,绿色蔬菜我的爱,郭三,驿寄梅花,青青的蓝,金银鑫,桥上,胖老猫,红军迷,缆绳,本嘉明,黄序,方恨少,风雪,菜根谭,审度,心远地自偏,独立寒秋HK,qq97,
家园 cloudfare说它所有的客户包括free plan的都有

bot/crawler protection。铁老大你进管理dash去看看waf那块能不能直接创建规则。刚看了眼它的waf也不贵,20-25刀一月,入门那款,这个处理你描述的第三条应该够用。

家园 抱歉,上次分析发文数据有用过爬虫

以后不会再用

家园 我也自首,5月23号开始自己写了个爬虫

不过我的爬虫是单线程,4s访问一篇文章。这个流量不知道会不会对网站有影响。

另外,想询问下老大,现在河里发主帖,是不是需要审查认可后方能看到。主帖审核期间,在哪里可以看到帖子目前的状态?

家园 建议搞一个西西河礼仪贴

除了技术手段,也可以采取一些管理、规劝的手段。广大的群众,多数应该是有一定廉耻的。从思路上,给出建议+违反建议后的技术惩罚,比你自己辛苦纯靠技术防范一切,要节约你的精力。

比如可以把使用爬虫列为不受欢迎行为,或者建议只在深夜某个时间段可以用。这样即使不能杜绝,也可以起到缓解的作用。或者指出如果用户使用爬虫,应该在爬虫中设置参数,至少每隔多少秒读取一次等等。我虽然不懂,但是猜测只要是程序,应该可以设置。

家园 上周开始,网站多了个广告栏 -- 有补充

在国内访问,半个屏幕被一个广告栏遮盖。该广告还关不掉。有点影响浏览。

作者 对本帖的 补充(1)
家园 补充说明 -- 补充帖

在IOS手机端才会出现广告栏,在电脑上没广告栏哈。

家园 我也坦白交代

我在两三个月前为了求证一件事,写了一个简单的爬虫脚本。当时想着只查询index.html,不做展开,搜索的内容都是在cache里的,应该不会对服务器的负载有什么影响。现在看来还是不好的,下次不会了。

见前补充 4987435
家园 原来如此

老铁辛苦了。

家园 抱歉

前一段在学写爬虫没学会,本想学会了先爬你,意淫也是罪啊,现在觉得学会了先爬别人,尖叫吧喔哈哈

我有时候觉得铁老大很恐怖,二十来年坚持一件事,这要用在泡妞上啧啧,起码可以拿下特朗普媳妇

通宝推:菜根谭,
家园 辛苦!

刚发现好像没法元宝推荐,也是有什么门槛末?

问好!

家园 三哥过分了啊

意淫下爬特朗普媳妇也就算了,你还要爬铁手?

本想学会了先爬你,意淫也是罪啊,现在觉得学会了先爬别人,尖叫吧喔哈哈

家园 拿下伊万卡吧,俺以己度人认为铁手看不上特朗普的媳妇😏😏
通宝推:轻松,
家园 很多页面进不去啊,地址带“undefined”

比如

https://www.talkcc.org/article/4988330undefined

进不去

但是去掉undefined就可以

家园 多谢。我正在查照这个问题,但是无法确认是哪里出问题

你还记得是在什么情况下出现的这个问题么?我猜测是在查看某个帖,帖内容在弹出窗口里出现时。

如果可能的话,请帮忙提供尽可能详细的信息,我好找到问题所在。目前而言,我找了所有可能的情况,还是没找到问题在哪里。

全看树展主题 · 分页首页 上页
/ 2
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河