Durch Zufall bin ich auf ein Plugin für Wordpress gestoßen, mit welchen man die Crawl Rate von Suchmaschinen-Crawlern aufzeichnen und analysieren kann. Crawl Rate Tracker überwacht insgesamt drei Suchmaschinen, die exakte Crawl-Zeit sowie für die einzelnen Suchmaschinen die Crawl Rate.