主题:【求助】关于网站大量 Error 001 应对 -- 铁手

公告建议 导读 复 48 阅 36604

全看 分页 树展 一览 主题

2012-01-01 07:03:52
3638879 复 3638751
Adol
Adol`23680`/bbsIMG/face/0000.gif`70`2492`3304`33832`从三品:银青光禄大夫|云麾将军`2008-04-05 20:52:28`
如果是链接过多的话, 5

请考虑是私人为了下载帖子编写的爬虫的情况,这样的话,是否可以通过对请求头部进行分析判断是否是常用浏览器,如ie,ff,opera,safari,chrom等,如不是这几个,可以拒绝链接。这是我之前在编写爬虫的时候所了解到的一些信息。


  • 本帖 1 回复
2012-01-01 07:03:52

全看 分页 树展 一览 主题