Serverlog- & User-Agent-analyse
Onderzoek van toegangslogboeken om het daadwerkelijke gedrag van Googlebot in kaart te brengen.
- ―Verzoekfrequentie en distributie van HTTP-statuscodes
- ―Detectie van crawlverspilling op irrelevante URL’s
- ―Herkenning van responspieken tijdens botbezoeken