Los buscadores como Google tienen a su disposición una enorme red de computadoras que le otorgan una potencia computacional formidable, pero aún así deben racionalizar su uso ya que se enfrentan a la tarea de rastrear, indexar y ordenar miles de millones de páginas.
Para intentar hacer el mejor uso de los recursos destinados a rastrear páginas e indexar su contenido los buscadores designan a cada sitio web un "presupuesto de rastreo" ("crawl budget" en inglés).
