親子日記APP
|
免費申請
|
登入
mini box 迷你盒子
這裡是工程師的筆記資料.
部落格
相簿
APP日記
書籤
標籤:
robot
的相關文章
瀏覽方式:
摘要列表
|
標題列表
|
全站 《robot》 相關
note: Alexa bot / Google bot
2014
06
28
15:00
Alexa 付費認證後
他們機器人 Alexabot 會每月 (應該是每月吧?) 來掃描網站
2014-05-28 的掃描記錄: 12:00:35 ~12:02:37 (122 秒內) 總共有 9810 個 Alexabot request 平均每秒有 80 reqests/sec 最高在同一秒鐘有 110 requests 所有 Alexabot 來源都是相同 IP: 107.22.139.29 [BRB...
繼續閱讀»
分類:
網路服務
/
留言(1)
逮惡劣的 robot
2011
03
14
11:23
有些惡劣的 robot 不遵守 robots.txt 的規則
網頁亂抓一通 (通常是都對岸的)
這種 robot 會有的特徵: 不以真實的 User Agent Name 出現,常偽裝成 IE,如 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 同一秒鐘抓取數個頁面,或以 1~3秒的速度抓網頁 (不符合正常人點閱習慣,像趨勢Trend 放出來的 robot 就是這樣..很討厭) ...
繼續閱讀»
分類:
搜尋引擎
/
留言(8)