Indexación de páginas paso a paso.
Podemos decirlo de muchas maneras, pero dicho de forma simple: si no estás indexado nadie podrá verte.
Los motores de búsqueda abordan una tarea titánica: indexar todo el contenido online del mundo… pónselo facil. Quieren conocer todo el contenido, pero a veces deciden no indexarlo en sus resultados, existen multiples razones para que determinadas páginas no estén indexada, la penalización entre ellas.
Es imprescindible que sigas activamente el nivel de indexación de tu web con el fin de mantenerlo optimizado para facilitar su rastreo y posterior indexación.
De esto va esta entrada: como auditar el nivel de indexación de una web.
1. ¿Cómo saber cuantas páginas de tu web están indexadas al buscador?
Lo primero que debes tener claro es el número de páginas que están visibles en el buscador. Tienes varias formas de averiguarlo:
Introduce en la barra de búsqueda: site: www.tuweb.com y en la parte de arriba y en color gris, aparece “Aproximadamente 0000 resultados”.
Otra forma de obtener un resultado aún más exacto:
Herramientas para Webmasters de Google > Índice de Google > Estado de Indexación.
Si te arroja un resultado excesivamente bajo, planteate que puedes tener algunas secciones de tu web bloqueadas o que hay un problema de indexación a discriminar.
2. ¿Es razonable en número de páginas indexadas?
Si te arroja un número de resultados que te parece muy algo realiza un cálculo de indexación racional. Si el resultado de este cálculo es superior al 300% puede ser sintomas de que hay demasiado contenido irrelevante o duplicado,.
Para realizar un cálculo de indexación racional, sigue estos pasos:
Una vez que conoces el número de páginas indexadas. Compruebas en Google Analytics el número de páginas que están recibiendo tráfico orgánico, tienes que aplicar un filtro para que únicamente se incluya en este informe el tráfico proveniente de medio orgánico, es decir el tráfico SEO.
Divide Número de páginas indexadas / número de páginas que reciben tráfico orgánico.
3. ¿Aparece la home de tu web en primer puesto?
La siguiente comprobación que debes hacer es ver si la home de tu web aparece en primer lugar en la lista de resultados (site: www.tuweb.com) , esto es lo deseable, si no fuera así, lo más probable es que esté afectada por alguna redirección o esté bloqueada por alguna etiqueta.
4. Errores de rastreo: tendencia
Lo que debe preocuparnos en este caso es la tendencia en los errores de rastreo, comprobar que no va en aumento.
Para detectar errores de rastreo:
Herramientas para Webmasters de Google > Rastreo > Errores de Rastreo y analiza cada una de las pestañas
5. Indexación problemática de parámetros
Comprueba también si hay indexación de parámetros que puedan estar dando problemas de contenido duplicado:
Herramientas para Webmasters de Google > Rastreo > Parámetros de URL analiza si si hay alguna incidencia.
6. ¿Hay caídas en el rastreo?
Y ya que estamos aquí, chequeamos si hay caídas en el rastreo que pueden indicarnos interrupciones en la red o bloqueos:
Herramientas para Webmasters de Google > Rastreo > Estadísticas de Rastreo y estudia la actividad de bot de Google
7. Sitemap xml o índice de sitemaps
Por norma general los sitemaps están colocados en el directorio raíz pero puede ocurrir que su localización sea otra o que existan diferentes sitemaps. En este caso debe indicarse en el fichero robots.txt
Hay diferentes formas de saber si existe un sitemap de tu web:
Busca en Google site:www.tuweb.com inurl:*. o Ver si hay sitemaps enlazados en el fichero robots.txt: http://www.tuweb.com/robots.txt
8. Sitemap xml o índice de sitemaps
Por norma general los sitemaps están colocados en el directorio raíz pero puede ocurrir que su localización sea otra o que existan diferentes sitemaps. En este caso debe indicarse en el fichero robots.txt
Hay diferentes formas de saber si existe un sitemap de tu web:
Busca en Google site:www.tuweb.com inurl:*. o Ver si hay sitemaps enlazados en el fichero robots.txt: http://www.tuweb.com/robots.txt
9. Enviar los sitemaps a Herramientas para webmasters de Google
Ve a la Herramienta de Webmasters de Google, Rastreo, Sitemaps y chequea que hayan sido enviados
Si no hubiera sido así, comprueba la ruta de acceso al sitemap y haz clic en Enviar
10. Fichero Robots.txt
El robots es uno de los primeros documentos que va a rastrear google al hacer una visita a tu web, ya que este le va a decir la instrucciones de rastreo, google es muy educado y suele hacer caso. Pero ojo!, no todos los bots son buenos, si algunas páginas contienen info altamente sensible, deben utilizarse medios más radicales para protegerlas.
Comprueba que existe: www.tusitio.com/robots.txt
Para comprobar si la estructura es correcta dirígete a: https://www.google.com/webmasters/tools/robots-testing-tool
11. ¿Hay páginas bloqueadas en el Robots?
Comprueba que las páginas bloqueadas no sean deseablemente indexables y a la inversa, páginas que no deberían ser indexadas y que si lo están.
La regla Disallow/ indica al buscador que no se rastree la página de la web, muchas veces se utilizan archivos genéricos que pueden bloquear determinadas páginas que deberían estar indexadas.
12. ¿Indica el Robots.txt la dirección del o los Sitemaps?
El Robots.txt es el documento que facilita la indexación y el rastreo por parte de Google. Es conveniente indicar la localización de los Sitemaps desde el Robots.txt
Comprueba que el Robots.txt está enlazando la dirección de los Sitemaps. Recuerda que puede haber varios Sitemaps.
13. Uso correcto de Etiquetas NOFOLLOW
La etiqueta NOFOLLOW se utiliza normalmente en enlaces a páginas externas o páginas sensibles de nuestra web (carrito, pago, conversión) si lo usas en la cabecera te afectará a todos los enlaces de la página.
Crawler Screaming Frog, Analiza tu Web, Pestaña «Directives», Columna «Meta Robots 1» y chequea que la etiqueta NOFOLLOW está siendo utilizada correctamente
14. Uso correcto de Etiquetas NOINDEX
A veces, por la propia configuración del CMS, se puede atribuir la etiqueta NOINDEX a páginas de una web que en realidad no deseamos que así sea.
Crawler Screaming Frog, Analiza tu Web, Pestaña «Directives», Columna «Meta Robots 1» y chequea que la etiqueta NOINDEX está siendo utilizada correctamente.
15. Indexación de subdominios
Lo que tienes que comprobar es que no exista contenido duplicado, es decir, pueden existir múltiples subdominios, ese no es el problema.
Utiliza el comando en Google site:tuweb.com -site:www.tuweb.com y comprueba si a parte del principal, existen otros subdominios indexados.
16. ¿Hay páginas repetidas en el subdominio y el principal?
Comprueba si hay páginas que se repiten en los subdominios y el principal y que no están bloqueadas mediante el robots.txt o la etiqueta NOINDEX. Recuerda que el contenido duplicado se penaliza.
17. ¿Hay indexados subdominios de desarrollo o pruebas?
A veces se nos olvida no indexar este tipo de subdominios. Introduce el comando en Google site:tuweb.com -site:www.tuweb.com y busca subdominios dev. qa. test. o parecidos.
18. Comprobar códigos de respuesta 301, 302
La diferencia entre estos dos redireccionamientos es si es permanente o no. La 301 es una redirección fijada de forma permanente y la 302 indica que es temporal.
Crawler Screaming Frog, Analiza tu Web, Pestaña «Response Code», filtramos por redirect code 3xx
19. Comprobar enlaces internos rotos
Puedes buscar enlaces internos rotos, para eso clica sobre la URL que aparece con un código 4xx o 5xx y en la parte inferior de la ventana verás una pestaña que se llama In Links, esta te va a mostrar las páginas que apuntan hacia la URL que está rota.
Crawler Screaming Frog, Analiza tu Web, Pestaña «Response Code», filtramos por redirect code 4xx o 5xx
20. Indexacion de páginas HTTPS
Utiliza el comando en Google site:tuweb.com inurl:https y comprueba si la búsqueda te arroja resultados. No supone un problema si solo una de las versiones está indexada.
21. Comprobar si las URLs finalizadas con / estan creando duplicados
Comprobar si las URLs finalizadas con / redirigen a las que no tienen barra final, o viceversa. Chequealo en la Home, páginas de contenido, artículos de blog, y páginas de categorias Solucionalo con el uso del enlace REL=CANONICAL en el head.
«… a camino largo, paso corto»