標籤：nidBox 中所有 spider 相關日記

逮惡劣的 robot

 mini
有些惡劣的 robot 不遵守 robots.txt 的規則網頁亂抓一通 (通常是都對岸的)這種 robot 會有的特徵： 不以真實的 User Agent Name 出現，常偽裝成 IE，如 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 同一秒鐘抓取數個頁面，或以 1~3秒的速度�...