標籤： 爬蟲 的相關文章

瀏覽方式： 摘要列表 | 標題列表 | 全站 《爬蟲》 相關

筆記：robots.txt 管理搜尋引擎的爬蟲動作

2022022308:20
  避免爬蟲在短時間內大量抓取網頁 可以設定延遲時間
例如 5 是指每五秒才能抓取一頁
(不過，網路上的爬蟲種類眾多，也有可能同一秒鐘有數隻爬蟲同時來抓取網頁) User-agent: * Crawl-delay: 5   拒絕所有爬蟲 User-agent: * Disallow: /
若要禁止特定爬蟲，則是： User-agent: Baiduspider #爬蟲名稱...
繼續閱讀»   
分類:web開發 / 留言(0)