¿Has oído hablar alguna vez del “Crawl Budget”? 🤔
A pesar de su inmensa capacidad de computación, incluso los motores de búsqueda más poderosos como Google deben optimizar la forma en que utilizan sus recursos.
Una de las formas en que lo consiguen es asignando un “presupuesto de rastreo” o “crawl budget” a cada sitio web. Pero, ¿qué significa exactamente esto y cómo puede afectar la visibilidad y clasificación de tu sitio web en los resultados de búsqueda? Profundicemos en este concepto crucial.
Piensa en Google como un explorador que visita tu página web de vez en cuando. Cuando lo hace, examina, o “rastrea”, tus páginas para comprender de qué tratan.
Pero Googlebot (el robot rastreador de Google) no puede estar todo el día en tu página web, tiene muchas otras que visitar. Por eso, asigna un “presupuesto” a cada página. Este presupuesto es lo que llamamos Crawl Budget.
Es un concepto que fue introducido por los motores de búsqueda para optimizar su proceso de rastreo e indexación de sitios web.
Es importante destacar que el presupuesto de rastreo no es un número fijo. Varía dependiendo de dos factores principales: la “crawl health” (salud de rastreo) del sitio web y su “crawl demand” (demanda de rastreo).
Aquí entran en juego dos términos que tienes que conocer: “salud de rastreo” y “demanda de rastreo”. 🧐
La salud de rastreo es como la condición física de tu página web. Si tu página web responde rápidamente a Googlebot, este podrá rastrear más páginas en menos tiempo. Pero si tu página web es lenta o tiene errores, Googlebot se cansará rápido y rastreará menos páginas.
La demanda de rastreo se refiere a cuánto le interesa a Googlebot tu página. Si actualizas tu contenido con frecuencia y recibes muchas visitas, Googlebot querrá pasar más tiempo en tu página web.
Muy Sencillo. Si tu web tiene muchas páginas pero un presupuesto de rastreo bajo, Googlebot no tendrá tiempo para explorarlo todo.
Y eso significa que puede que no todos tus contenidos lleguen a indexar en Google y salir en las búsquedas. 😥
Entender y optimizar el presupuesto de rastreo es vital para el SEO, sobre todo si tienes un sitio web con muchas páginas.
Normalmente los sitios más pequeños (con menos de mil páginas, por ejemplo, y es simplemente por poner una cifra) no necesitan preocuparse por su presupuesto de rastreo. Pero los sitios más grandes, especialmente si sirven contenido dinámico o con una alta tasa de cambio en de URLs, deben prestar mucha atención a su crawl budget.
Porque… si Googlebot consume todo su presupuesto de rastreo en páginas de baja calidad o duplicadas, puede que no tenga la capacidad para rastrear e indexar páginas nuevas o actualizadas.
Y ya sabes, lo que no se puede rastrear no se puede indexar y no sale en los resultados.
¡Buena pregunta! Aquí te dejo algunas ideas:
