Qué es el crawl budget o presupuesto de rastreo

Estoy seguro de que una de las cosas que más te interesan de tu web es que Google la tenga indexada y la muestre como resultado de diferentes búsquedas, ¿verdad? Atraer tráfico orgánico es la mejor manera de conseguir que nuevas personas conozcan tu sitio y, por tanto, aumente la posibilidad de conseguir nuevos clientes, suscriptores o el objetivo que tengas.

Si alguna vez has trabajado con una agencia SEO es posible que ya conozcas el concepto que te voy a explicar hoy. Se trata del presupuesto de rastreo, también conocido como crawl budget y es importante que lo tengas en cuenta a la hora de estructurar tu web. Vamos a ver qué es el crawl budget.

Qué es un crawler o rastreador

Antes de explicarte qué es el presupuesto de rastreo es necesario que entiendas cómo funciona un buscador a nivel básico. Un buscador cuenta con crawlers, (también llamados rastreadores o spiders) que se ocupan de recorrer Internet rastreando (de ahí el nombre) cada uno de los sitios que lo componen y, dentro de ellos, todas sus URL (todas las URL que el propio sitio permita rastrear, claro).

Cuando los robots llegan a tu sitio comienzan a recopilar información de la página a la que han llegado y a seguir los enlaces que hay en dicha página. Del mismo modo, hacen lo propio con las páginas a las que llegan a través de esos enlaces y así sucesivamente.

Toda la información que obtienen de ese rastreo se almacena para procesarla posteriormente e incorporar el contenido a la base de datos del buscador. A partir de ahí, ese contenido se mostrará cuando sea relevante para una búsqueda.

Qué es el crawl budget o presupuesto de rastreo

Sabiendo lo anterior, es hora de explicarte qué es el crawl budget. El presupuesto de rastreo es el tiempo y la frecuencia que tiene asignado el buscador a tu sitio para que los crawlers se ocupen de rastrearlo y extraer el contenido. Es decir, el tiempo que estará el robot rastreando tu web antes de irse a otra sin importar si la ha rastreado completa o no.

Como supondrás, tener un presupuesto de rastreo bajo puede acarrear ciertos problemas derivados de que partes de tu sitio se queden sin indexar. El principal es que Google no sepa que existe ese contenido, por lo que no conseguirás aparecer en las SERP y, por tanto, no conseguirás tráfico orgánico.

Otro problema que puedes tener es que alguien te copie un contenido, lo indexe antes que tú y Google piense que el tuyo es el duplicado y el otro es el original, corriendo el riesgo de llevarte una penalización por contenido duplicado.

Cómo aprovechar tu crawl budget

Una vez que tienes claro qué ocurre cuando la araña de un buscador llega a tu sitio, qué hace en él y cómo el presupuesto de rastreo determina el tiempo que estará paseando por tus páginas es hora de que sepas cómo aprovechar ese presupuesto de rastreo y optimizar tu sitio para ello.

Optimiza la velocidad del sitio

Esto se cae por su propio peso. Cuanto más rápido cargue tu sitio, más rápido rastreará el crawler cada una de sus páginas y, por tanto, más páginas podrá rastrear.

Optimizar un sitio para que su rendimiento sea óptimo no es tarea fácil, pero es importante si quieres conseguir que tu web cargue rápido y no haga perder el tiempo a las arañas de Google (o de cualquier otro motor de búsqueda). Si quieres comprobar el estado de tu página, aquí tienes algunas extensiones para medir el rendimiento de un sitio web.

que es el crawl budget

Haz que el crawler rastree el contenido que más te interesa

Esto es también bastante lógico. Te pregunto, ¿prefieres que el robot rastree la página de tu servicio más rentable o tu política de privacidad? No hace falta que me contestes, ya sé la respuesta. Bien, pues eso debes aplicarlo a tu sitio.

Todos los sitios webs tienen contenido irrelevante para las personas que visitan dicho sitio. No te voy a descubrir nada si te digo que la política de privacidad está en todas las webs porque tiene que estar por normativa, porque es obligatorio, pero a nadie le interesa y nadie la visita. Por supuesto nadie va a buscar la política de privacidad de un sitio en Google.

Pues en base a todo lo anterior y sabiendo ya qué es el crawl budget, lo más lógico es que esas páginas no las almacenes en el índice de Google y, además, no hagas perder tiempo al rastreador accediendo a esas páginas sin valor. Esto lo puedes hacer poniendo enlaces nofollow hacia esas páginas.

Optimiza el enlazado interno

Esto es muy, pero que muy importante. Como te he dicho al principio, cuando el rastreador llegue a tu sitio irá saltando siguiendo los enlaces del mismo. Un buen enlazado interno hará que llegue al contenido fácilmente y facilitará que esa información se almacene en el buscador.

Si tienes contenido sin enlazar o a muchos clics de distancia de la página de inicio será más difícil que el crawler rastree ese contenido, por lo que difícilmente se indexará. Como norma general, considera no tener ningún contenido a más de tres clics de la página principal y, por supuesto, las páginas más importantes deben estar a un sólo clic de la página de inicio.

Ojo con los errores 404 y las redirecciones

Los códigos de respuesta del servidor son el modo que tiene el servidor de comunicarse con el rastreador o el navegador. Cuando se produce un error 404 quiere decir que la página a la que se está intentando acceder no se encuentra.

En otras palabras, hacemos que el robot llegue a un callejón sin salida y le hacemos perder tiempo. No es un buen plan, ¿no te parece?

Igualmente tener muchas redirecciones hará que el crawler tarde más de lo debido en recorrer tu sitio, por lo que estos dos factores debes tenerlos bien vigilados. Te recomiendo usar la aplicación Screaming Frog para analizar cómo se comporta el rastreador en tu sitio y detectar errores 404 así como ver las redirecciones que se producen y comprobar si son necesarias.

Mantén actualizado el mapa del sitio

El mapa del sitio es un archivo XML llamado habitualmente sitemap.xml. Este archivo puedes subirlo a Search Console y a Google le servirá de ayuda a la hora de rastrear tu web. En palabras del propio Google:

Los motores de búsqueda, como Google, leen este archivo para rastrear tu sitio de manera más eficiente. Un mapa del sitio le indica a Google qué páginas y archivos de tu sitio consideras que son importantes, y proporciona información valiosa sobre esos archivos.

https://developers.google.com/search/docs/advanced/sitemaps/overview

Cómo aumentar tu presupuesto de rastreo

Seguro que te estás haciendo la pregunta del millón, ¿cómo puedo aumentar mi presupuesto de rastreo? Bien, salvo que tengas un sitio gigante (y por gigante me refiero a más de un millón de páginas) no debes preocuparte demasiado por esto. Simplemente siguiendo las directrices que te he dado en este post no tendrás problemas.

No obstante, es beneficioso aumentar la autoridad de dominio para que la relevancia de tu sitio sea mayor y, por tanto, Google lo considere más importante. Podrás aumentar la autoridad de dominio consiguiendo enlaces externos de calidad que apunten a tu sitio.


Espero que este post te haya resultado útil. Si necesitas ayuda para analizar tu sitio y detectar posibles problemas en cualquiera de los factores de los que te he hablado, te conviene obtener una auditoría SEO de tu web. Te dará información clara sobre el estado de tu web y podrás mejorarlo.

Como siempre, comenta y comparte, así nos ayudas a llegar a más gente. Gracias por leer 🙂

Por favor, puntúa este post.
[Total: 0 Media: 0]
Nacho Espino

Nacho Espino

Diseñador web y SEO. Dedicado al marketing digital desde 2017. Ayudo a emprendedores y empresas a crear y gestionar su imagen en Internet y escribo en Plan A/B sobre los temas más interesantes del marketing online.

Compartir
Twittear
Compartir
Pin