PetalBot是什么蜘蛛？

作為站長每天都要查詢網站數據，一些蜘蛛抓取數據，我們知道一般有百度、谷歌、神馬、360、搜狗、必應等的搜索引擎蜘蛛；那么PetalBot是什么蜘蛛呢？Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網
PetalBot 是 Petal 搜索引擎（華為花瓣搜索引擎）的自動程序。PetalBot 的功能是訪問 PC 網站和移動網站，并建立索引數據庫，使用戶可以在 Petal 搜索引擎中搜索您網站的內容。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

可以通過分析 User-agent 字段來識別 Petal 的爬蟲蜘蛛：Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://aspiegel.com/petalbot)

如何阻止 PetalBot 訪問您的站點

PetalBot 符合 Internet 機器人協議。您可以使用 robots.txt 文件完全阻止 PetalBot 訪問您的網站，或阻止 PetalBot 訪問您網站上的某些文件。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

注意：禁止 PetalBot 訪問您的網站將使您網站上的頁面以及 Petal 提供的所有搜索引擎服務在 Petal 搜索引擎中無法搜索。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

PetalBot 帶給 Web 服務器多少壓力

為了獲得對目標資源更好的檢索結果，PetalBot 需要保持一定程度的網站爬網。我們力求不給網站帶來不合理的負擔，我們將根據服務器容量，網站質量和網站更新等綜合因素進行調整。如果 PetalBot 的訪問有任何不合理的行為，請將您的疑慮發送至 search@aspiegel.com。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

如何判斷 PetalBot 爬行

您可以驗證訪問您的服務器的 Web 爬網程序是否真的是 PetalBot。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

驗證 PetalBot 為呼叫者：Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

1.使用 host 命令在日志訪問 IP 地址上運行反向 DNS 查找。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

2.驗證域名在 aspiegel.com 中。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網

3.使用在檢索到的域名上的主機命令，對在步驟 1 中檢索到的域名運行正向 DNS 查找。驗證它是否與日志中的原始訪問 IP 地址相同。Qm1電腦_數碼_手機應用問題解決的IT技術網站 - 云狐網