meta robots y SEO: Tutoríal + Guía de las etiquetas meta robots

La etiqueta meta robots te permite indicarle a Google si quieres que tu página sea indexada o no, así como otras cuestiones. En este tutorial voy a intentar explicar todo lo que sé acerca de las super meta robots.

meta-robots :

noindex
nofollow
index
follow
all
none
nosnippet
ūüÜē max-snippet
ūüÜē max-video-preview
ūüÜē max-image-preview
noarchive
nocache
notranslate
noimageindex
unavailable_after
ūüÜē atributo data-nosnippet

Meta robots : definición y HTML

Formato de la etiqueta meta robots

La meta robots es una etiqueta HTML situada en la cabecera de una p√°gina, es decir, entre las etiquetas head:

Te√≥ricamente te permite darle una serie de instructions (directivas o sugerencias) a los motores de b√ļsqueda, por ejemplo, para prohibir la indexaci√≥n.

La sintaxis de la meta robots es muy simple, en el caso del ejemplo anterior sería:

meta robots sintaxis

A veces vas a necesitar indicar otros valores en «content», en este caso tendr√°s que separarlos por coma:

noindex nofollow

¬ŅQu√© relaci√≥n tienen las meta robots con el fichero robots.txt?

Antes de ver todas las posibilidades de la meta tag robots, un peque√Īo recordatorio:

La etiqueta meta robots le dar√° instrucciones a la ara√Īita rastreadora (Goglebot u otras) cuando esta vaya a consultar una p√°gina espec√≠fica. El fichero robots.txt sirve para indicar a la ara√Īita (al robot rastreador) cuales son los lugares a los que puede acceder de una web (p√°ginas o secciones)

Resumiendo:

1)  Para prohibir el crawleo (rastreo) y por lo tanto la indexación (ya que no le has abierto la puerta), se bloquea el acceso con la orden Disallow: /lo que sea en el robots.txt.

2) Si lo que quieres es prohibir la indexación de una página autorizada para su crawleo, entonces pon una meta robots noindex dentro de la página.

ūüďĖ¬†C√≥mo desindexar una p√°gina de Google

¬†‚ö†ÔłŹ Si una p√°gina ya fue indexada y deseas suprimirla de Google (desindexarla) no la bloquees en el robots.txt, ya que si le estas prohibiendo que entre no podr√° leer la meta robots noindex y por tanto no te la va a desindexar nunca.

 

Si todavía te haces un lío con las metas noindex y nofollow te recomiendo este vídeo de Romouald Fons: Los secretos SEO de las metas noindex nofollow

Meta robots y URL canónica

Si indicas a la vez una URL como canónica (diferente a la URL en la que estás) y una etiqueta meta robots (noindex, por ejemplo), puede existir contradicción.

No está claro que haya un orden de prioridad en el tratamiento de las etiquetas meta y link y , es la lógica del conjunto lo que cuenta.

ūüďĖ¬†Url Canonica: Gu√≠a completa

meta robots noindex 

noindex le indica al robot rastreador que no hace falta que meta en el índice esa página concreta (indexar). 

Esto no significa que el robot no la rastree, para eso tendrías que utilizar el robots.txt.

El noindex se tomar√° en cuenca si Google est√° autorizado a rastrearla. Una vez que la crawlee, la p√°gina ser√° desindexada.

Evidentemente, si pones por error una meta robots noindex en una p√°gina importante de tu web, las consecuencias para tu posicionamiento ser√°n dram√°ticas, m√°s te vale darte cuenta pronto y ponerle remedio eliminado esta meta noindex.

‚ö†ÔłŹ Si la informaci√≥n entre las directivas son incoherentes, Google tendr√° en cuenca la m√°s restrictiva

meta robots nofollow 

nofollow

nofollow le indica al robot que no tiene que seguir los enlaces de esa p√°gina. Esto significa que Google no se ir√° a rastrear las p√°ginas enlazadas por la p√°gina que contiene la meta robots nofollow.

Cambios frescos e interesantes sobre la meta robots nofollow y los enlaces, dejan de ser directivas para ser sugerencias, Google se reserva si contará a nivel de clasificación y rankeo.

‚ö†ÔłŹ No hay ning√ļn caso en la pr√°ctica por la que fuera interesante poner esta meta robots en una p√°gina, ya que prohibir√≠a el seguimiento de todos los enlaces, ya sea internos o externos. Si lo que quieres es prohibir un enlace en particular de una p√°gina, a√Īade un atributo «nofollow» en ese enlace concreto.

meta robots index 

index

index le indica al robot que puede indexar la p√°gina. Este valor es por defecto, por tanto, totalmente in√ļtil.

meta robots follow

index

follow le indica al robot que siga los enlaces de la p√°gina. Es el valor por defecto, de nada sirve que lo indiques

meta robots all

meta robots all

all: este valor es el equivalente al √≠ndex, follow… que tambi√©n es por defecto. No hace falta indicarlo, solo por conocimiento ;)

meta robots none

meta robots none

none es el equivalente a noindex,nofollow. Igual que en el caso anterior.

meta robots nosnippet

meta robots nosnippet

nosnippet le indica al robot que no hace falta que muestre un snippet en la p√°gina de resultados (SERPS).

Sinceramente, tengo serios problemas para identificar el inter√©s de utilizar esta posibilidad, sin el snippet nadie va a clicar en tu resultado… en fin, ya me dices si se te ocurre algo.

meta robots max-snippet

max-snippet le indicará al Google es máximo de caracteres a mostrar en los snippet de la página de resultado. Por ejemplo, si quieres limitar el extracto a 130 caracteres:

meta robots max-snippet

Google empezar√° a tener en cuenca esta etiqueta a partir de finales de este mes de octubre 2019.

– Si indicas max-snippet:0, ser√° el equivalente de la meta robots nosnippet

– Si le indicas max-snippet:1, no se aplicar√° ning√ļn l√≠mite, como si la etiqueta no estuviera, amos… digo yo.

– Ser√° ignorada si el valor n√ļmero no se entiende, yo que se, que pongas algo as√≠ como #

…puta paranoia, es en momentos como este que me pregunto que hago escribiendo sobre esto, si los snippet nos parecen poco ¬Ņen que circunstancias podr√≠amos querer que fueran a√ļn m√°s reducidos?

meta robots max-image-preview

meta robots max-snippet

max-image-preview le indicar√° al robot el tama√Īo m√°ximo de la vi√Īeta que pueda aparecer en la p√°gina de resultados:

Ning√ļn valor: la imagen no se muestra

Standard: tama√Īo por defecto

Large: una imagen más grande podría ser mostrada

Al igual que la meta robots anterior, esta instrucción será ignorada si tienes datos estructurados.

meta robots max-video-preview

max-video-preview le indicará al robot el máximo de segundos del extracto del video a mostrar en la página de rersultados para un resultado de tipo vídeo

Por ejemplo, para limitar la previsualización a 5 segundos:

meta robots video preview

meta robots noarchive

meta robots noarchive

noarchive indica al robot que no tenga acceso a la versión en caché.

meta robots nocache

meta robots nocache

nocache identica que noarchive pero para Bing. La anterior funciona con Google.

meta robots notranslate

meta robots notranslate

notranslate le indica a Google que no quieres que un enlace de Traducir aparezca al lado del resultado. A veces, Google te muestra este enlace para que puedas ver una traducción automática.

meta robots noimageindex

meta robots noimageindex

noimageindex le indicas a Google que no quieres que ninguna de las im√°genes de esa p√°gina se indexen en Google Im√°genes.

meta robots unavailable_after

meta robots unavailable after

unavailable_after:[fecha] le indica al robot que la p√°gina no deber√° ser mostrada en los resultados de b√ļsqueda a partir de una fecha (en formato RFC 850).

atributo html data-nosnippet

¬ŅC√≥mo prohibir a Google que utilice una porci√≥n de texto para el snippet?

Con una etiqueta spam como esta:

atributo data-nosnippet
Si quieres que sea una sección concreta de la página, utiliza una etiqueta div

Se puede utilizar con todos los encabezados Hn, strong, etc. Las 3 etiquetas reconocidas son spam, div y section.

Directiva X-Robots-Tag en cabecera HTTP

Si por alguna raz√≥n no tuvieras la posibilidad de a√Īadir una etiqueta meta robots en tu p√°gina HTML, que sepas que puedes dar las indicaciones al robot via cabecera HTTP. Solo tienes que a√Īadir unas l√≠neas.

El X-Robots-Tag puede servirte cuando tu CMS no te deja a√Īadir etiquetas meta robots o cuando estamos hablando de documentos que no sean HTML (PDF, im√°genes, etc.)

Cómo utilizar el X-Robots-Tag en la cabecera HTTP

La etiqueta meta googlebot

Normalmente utilizamos la etiqueta meta robots ya que las directivas se dirigen a todos los robots rastreadores. Pero has de saber que puedes especificar directivas diferentes seg√ļn el navegador.

Para ello tienes que sustituir name=»robots» por name=»googlebot» o cualquier otro nombre de robots

Con este ejemplo puedes ver que hay dos instrucciones diferentes para una misma p√°gina dependiendo del robot

Aqu√≠ podr√°s encontrar los nombres de ara√Īitas de un mont√≥n de buscadores

Aquí te dejo los diferentes nombres de user agent de Google:

 

Crawler User-agent (robots.txt, etiqueta meta o X-Robots-Tag)
Googlebot (web) Googlebot
Googlebot Noticias Googlebot-News(Googlebot)
Googlebot Im√°genes Googlebot-Image(Googlebot)
Googlebot Vídeo Googlebot-Video(Googlebot)
Googlebot Mobile Googlebot-Mobile(Googlebot)
Google Mobile AdSense Mediapartners-GoogleMediapartners(Googlebot)
Google AdSense Mediapartners-GoogleMediapartners(Googlebot)
Google AdsBot AdsBot-Google

¬°Andad por lo segao!

Resumen
Meta robots ūüÜē Tutor√≠al + Gu√≠a de las etiquetas meta robots y SEO
Título
Meta robots ūüÜē Tutor√≠al + Gu√≠a de las etiquetas meta robots y SEO
Autor
Editor
RitaDoit
Logo

Pin It on Pinterest

Share This
×