Oculta tus enlaces entrantes el bloquear las arañas de servicios como ahrefs, majecticSEO…?
Hace ya un tiempo que llevaba viendo en foros tanto hispanos como ingleses acerca de que si bloquear (en principio por medio de robots.txt, pero también por medio de htaccess porque el archivo de robots las arañas pueden optar por saltarselo, pero el htaccess no pueden) las arañas de este tipo de servicios sirve para ocultar de ojos indiscretos de dónde estamos sacando nuestros enlaces o no.
Pero mucha charla, mucho postular para un lado y para otro pero nadie llegaba con pruebas. Así que me decidí a hacer un sencillo test. Compré 2 dominios,——————-.com.es y —————–.org.es , les puse un blog y un par de entradas y a uno de ellos (el .com.es) le bloqueé ahrefs (como es un test solo bloqueé ahrefs) tanto por medio de robots.txt como por el archivo .htaccess, asi:
en .htaccess
SetEnvIfNoCase User-Agent ^$ bad_bot #leave this for blank user-agents SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot # SetEnvIfNoCase User-Agent "^Enter User-Agent" bad_bot
<Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
en robots.txt
User-agent: AhrefsBot Disallow: /
Y tras eso procedí a blastearlos sin piedad con una lista AA y Scrapebox. Al día siguiente procedí a indexar esos enlaces y el resultado lo tenemos aquí:
el .org.es
y el .com.es que no debería marcar links entrantes pero como veis, si los marca
Aun a falta de terminar de indexarse los enlaces (de hecho al hacer la captura apenas había comenzado), ya vemos el resultado: en ambos sitios, ahrefs está leyendo los enlaces.
La conclusión es que, usado de esta manera, no sirve. Por qué? Pues porque cuando bloqueamos a los bots en un sitio, evitamos que lea ese sitio, es decir, qué links salen de él. Los links que entran no los lee ahí, si no en las paginas que tienen dicho links. Por eso para que ahref (o cualquier otro servicio de este tipo, incluido google) sepa de un enlace entrante, solemos solicitar la indexación de los enlaces, no desde el sitio que los recibe, si no desde el que los emite.
Entonces, cómo ocultamos nuestros enlaces entrantes de ojos indiscretos?
Pues para ocultar de donde provienen nuestros enlaces la opción debería ser bloquear los enlaces desde el sitio que los manda a nuestro money site, ya sea porque el tier1 es de nuestra propiedad o (si los enlaces los conseguimos de una PBN) utilizando dominios cortafuegos: del PBN el enlace en lugar de apuntarlo a nuestro sitio, lo pedimos para el sitio cortafuegos el cual redirige al money site (redirección permanente) y es a ese sitio cortafuegos al que le bloqueamos ahrefs , majestic seo y todos los demás. En la práctica, a mi bloquearlos de salida tampoco me ha funcionado demasiado bien, no se si porque tengan más de un bot o qué, por lo que creo que la mejor opción es la web cortafuegos.
Comentarios