meta robots y SEO: Tutoríal + Guía de las etiquetas meta robots
La etiqueta meta robots te permite indicarle a Google si quieres que tu página sea indexada o no, así como otras cuestiones. En este tutorial voy a intentar explicar todo lo que sé acerca de las super meta robots.
meta-robots :
noindex
nofollow
index
follow
all
none
nosnippet
? max-snippet
? max-video-preview
? max-image-preview
noarchive
nocache
notranslate
noimageindex
unavailable_after
? atributo data-nosnippet
Meta robots : definición y HTML
Formato de la etiqueta meta robots
La meta robots es una etiqueta HTML situada en la cabecera de una página, es decir, entre las etiquetas head:
Teóricamente te permite darle una serie de instructions (directivas o sugerencias) a los motores de búsqueda, por ejemplo, para prohibir la indexación.
La sintaxis de la meta robots es muy simple, en el caso del ejemplo anterior sería:
A veces vas a necesitar indicar otros valores en «content», en este caso tendrás que separarlos por coma:
¿Qué relación tienen las meta robots con el fichero robots.txt?
Antes de ver todas las posibilidades de la meta tag robots, un pequeño recordatorio:
La etiqueta meta robots le dará instrucciones a la arañita rastreadora (Goglebot u otras) cuando esta vaya a consultar una página específica. El fichero robots.txt sirve para indicar a la arañita (al robot rastreador) cuales son los lugares a los que puede acceder de una web (páginas o secciones)
Resumiendo:
1) Para prohibir el crawleo (rastreo) y por lo tanto la indexación (ya que no le has abierto la puerta), se bloquea el acceso con la orden Disallow: /lo que sea en el robots.txt.
2) Si lo que quieres es prohibir la indexación de una página autorizada para su crawleo, entonces pon una meta robots noindex dentro de la página.
⚠️ Si una página ya fue indexada y deseas suprimirla de Google (desindexarla) no la bloquees en el robots.txt, ya que si le estas prohibiendo que entre no podrá leer la meta robots noindex y por tanto no te la va a desindexar nunca.
Si todavía te haces un lío con las metas noindex y nofollow te recomiendo este vídeo de Romouald Fons: Los secretos SEO de las metas noindex nofollow
Meta robots y URL canónica
Si indicas a la vez una URL como canónica (diferente a la URL en la que estás) y una etiqueta meta robots (noindex, por ejemplo), puede existir contradicción.
No está claro que haya un orden de prioridad en el tratamiento de las etiquetas meta y link y , es la lógica del conjunto lo que cuenta.
meta robots noindex
noindex le indica al robot rastreador que no hace falta que meta en el índice esa página concreta (indexar).
Esto no significa que el robot no la rastree, para eso tendrías que utilizar el robots.txt.
El noindex se tomará en cuenca si Google está autorizado a rastrearla. Una vez que la crawlee, la página será desindexada.
Evidentemente, si pones por error una meta robots noindex en una página importante de tu web, las consecuencias para tu posicionamiento serán dramáticas, más te vale darte cuenta pronto y ponerle remedio eliminado esta meta noindex.
⚠️ Si la información entre las directivas son incoherentes, Google tendrá en cuenca la más restrictiva
meta robots nofollow
nofollow le indica al robot que no tiene que seguir los enlaces de esa página. Esto significa que Google no se irá a rastrear las páginas enlazadas por la página que contiene la meta robots nofollow.
Cambios frescos e interesantes sobre la meta robots nofollow y los enlaces, dejan de ser directivas para ser sugerencias, Google se reserva si contará a nivel de clasificación y rankeo.
⚠️ No hay ningún caso en la práctica por la que fuera interesante poner esta meta robots en una página, ya que prohibiría el seguimiento de todos los enlaces, ya sea internos o externos. Si lo que quieres es prohibir un enlace en particular de una página, añade un atributo «nofollow» en ese enlace concreto.
meta robots index
index le indica al robot que puede indexar la página. Este valor es por defecto, por tanto, totalmente inútil.
meta robots follow
follow le indica al robot que siga los enlaces de la página. Es el valor por defecto, de nada sirve que lo indiques
meta robots all
all: este valor es el equivalente al índex, follow… que también es por defecto. No hace falta indicarlo, solo por conocimiento ;)
meta robots none
none es el equivalente a noindex,nofollow. Igual que en el caso anterior.
meta robots nosnippet
nosnippet le indica al robot que no hace falta que muestre un snippet en la página de resultados (SERPS).
Sinceramente, tengo serios problemas para identificar el interés de utilizar esta posibilidad, sin el snippet nadie va a clicar en tu resultado… en fin, ya me dices si se te ocurre algo.
meta robots max-snippet
max-snippet le indicará al Google es máximo de caracteres a mostrar en los snippet de la página de resultado. Por ejemplo, si quieres limitar el extracto a 130 caracteres:
Google empezará a tener en cuenca esta etiqueta a partir de finales de este mes de octubre 2019.
– Si indicas max-snippet:0, será el equivalente de la meta robots nosnippet
– Si le indicas max-snippet:1, no se aplicará ningún límite, como si la etiqueta no estuviera, amos… digo yo.
– Será ignorada si el valor número no se entiende, yo que se, que pongas algo así como #
…puta paranoia, es en momentos como este que me pregunto que hago escribiendo sobre esto, si los snippet nos parecen poco ¿en que circunstancias podríamos querer que fueran aún más reducidos?
meta robots max-image-preview
max-image-preview le indicará al robot el tamaño máximo de la viñeta que pueda aparecer en la página de resultados:
– Ningún valor: la imagen no se muestra
– Standard: tamaño por defecto
– Large: una imagen más grande podría ser mostrada
Al igual que la meta robots anterior, esta instrucción será ignorada si tienes datos estructurados.
meta robots max-video-preview
max-video-preview le indicará al robot el máximo de segundos del extracto del video a mostrar en la página de rersultados para un resultado de tipo vídeo
Por ejemplo, para limitar la previsualización a 5 segundos:
meta robots noarchive
noarchive indica al robot que no tenga acceso a la versión en caché.
meta robots nocache
nocache identica que noarchive pero para Bing. La anterior funciona con Google.
meta robots notranslate
notranslate le indica a Google que no quieres que un enlace de Traducir aparezca al lado del resultado. A veces, Google te muestra este enlace para que puedas ver una traducción automática.
meta robots noimageindex
noimageindex le indicas a Google que no quieres que ninguna de las imágenes de esa página se indexen en Google Imágenes.
atributo html data-nosnippet
¿Cómo prohibir a Google que utilice una porción de texto para el snippet?
Con una etiqueta spam como esta:
Se puede utilizar con todos los encabezados Hn, strong, etc. Las 3 etiquetas reconocidas son spam, div y section.
Directiva X-Robots-Tag en cabecera HTTP
Si por alguna razón no tuvieras la posibilidad de añadir una etiqueta meta robots en tu página HTML, que sepas que puedes dar las indicaciones al robot via cabecera HTTP. Solo tienes que añadir unas líneas.
El X-Robots-Tag puede servirte cuando tu CMS no te deja añadir etiquetas meta robots o cuando estamos hablando de documentos que no sean HTML (PDF, imágenes, etc.)
Cómo utilizar el X-Robots-Tag en la cabecera HTTP
La etiqueta meta googlebot
Normalmente utilizamos la etiqueta meta robots ya que las directivas se dirigen a todos los robots rastreadores. Pero has de saber que puedes especificar directivas diferentes según el navegador.
Para ello tienes que sustituir name=»robots» por name=»googlebot» o cualquier otro nombre de robots
Con este ejemplo puedes ver que hay dos instrucciones diferentes para una misma página dependiendo del robot
Aquí podrás encontrar los nombres de arañitas de un montón de buscadores
Aquí te dejo los diferentes nombres de user agent de Google:
| Crawler | User-agent (robots.txt, etiqueta meta o X-Robots-Tag) |
|---|---|
| Googlebot (web) | Googlebot |
| Googlebot Noticias | Googlebot-News(Googlebot) |
| Googlebot Imágenes | Googlebot-Image(Googlebot) |
| Googlebot Vídeo | Googlebot-Video(Googlebot) |
| Googlebot Mobile | Googlebot-Mobile(Googlebot) |
| Google Mobile AdSense | Mediapartners-GoogleMediapartners(Googlebot) |
| Google AdSense | Mediapartners-GoogleMediapartners(Googlebot) |
| Google AdsBot | AdsBot-Google |
¡Andad por lo segao!
Quizá también te interese:
