GScraper o la computación distribuida

Hola amig@s!

Quiero presentaros a mi buen amigo GSCraper explicando porqué a mi entender es el mejor scrapeador que hay ahora mismo en el mercado.

Para poder demostrar esta afirmación tan categórica, voy a basarme en hechos que son la base del método científico que a la postre es el más válido para demostraciones.

Vamos a empezar por el principio, que si no mal vamos…

¿Cuántas maneras hay de scrapear resultados de un buscador?

1.- Manual:
La manera más eficaz, pero también la más costosa, ya que tenemos que realizar las búsquedas a mano y escoger los resultados que sean relevantes según nuestro criterio.

2.- Automático con IP descubierta:
Existen muchos programas que te permiten scrapear resultados de Google y otros buscadores sin tener que usar proxies. Si bien suelen ser económicos tanto en coste como mantenimiento, su talón de Aquiles reside en el rápido baneo de nuestra IP por parte de los buscadores por lo que no podemos usar esta técnica si queremos o necesitamos cantidades ingentes de resultados.

3.- Automático con proxies:
Bueno, si bien GScraper es mi scrapeador favorito, voy a poner aquí de ejemplo ScrapeBox. La navaja suiza por excelencia para hacer SEO, tanto White como Black, pero con una serie de limitaciones…

Puedes scrapear de dos maneras:

a) Con proxies privados, y por lo tanto estarás limitado por el número de proxies que tengas contratados.

b) Con proxies scrapeados por la propia herramienta, en nuestro caso ScrapeBox, que suelen ser usados por mucha gente y por lo tanto se “queman” muy rápido.

4.- Computación distribuida:
Hace ya unas fechas, me puse a analizar los motivos por los que GScraper puede llegar a scrapear 100.000 urls por minuto (sí, has leído bien, 100k por minuto! Mira la imagen a continuación 🙂 )Para los que conocéis la herramienta, sabéis que GScraper puede scrapear con los proxies que tú le pongas, o con sus propios proxies, y aquí es dónde se empieza a poner divertida la cosa…

La licencia de GScraper, en el momento de escribir este post, consiste en un único pago de 68$.

Los chinos, no son tontos, de hecho son una de las culturas más comerciantes que conozco, y saben que a los occidentales se nos tiene que vender las cosas de cierta manera. Por ello, con la licencia, te “regalan” un periodo de una semana en el que puedes probar la herramienta con sus proxies.

Cuando lo has probado, te das cuenta de que necesitas hacer funcionar la herramienta con sus propios proxies, y pagar los 66$ mensuales que cuestan!

¿Pero por qué? ¿Cómo funciona?

Muy sencillo, GScraper “descarga” constantemente proxies de su servidores que dicen que tienen scrapeando proxies, y usa un proxy por cada consulta para evitar baneos y asegurar la máxima calidad del resultado scrapeado.
Te puedes imaginar que eso es una brutalidad, y yo he presenciado sesiones de scrapeo en las que GScraper había descargado más de un millón de proxies para realizar la tarea!

Lo qué nuestro amigos chinos no cuentan, y hacen bien, ya que saben que nuestra mentalidad occidental no lo aceptaría nunca, es que lo que está pasando en realidad cuando contratas “sus” (sí, he puesto “sus” entre comillas y ahora verás por qué) proxies por 66$ al mes, es que estás ingresando en una comunidad…

Lo que sucede en realidad es que al pagar esa cantidad, te beneficias de una cantidad ingente de proxies, pero que no salen de ningún servidor que scrapea proxies… Salen de tí y de los demás que están usando el programa…

Sí, tal y como estás pensando, cuando pagas por los proxies de GScraper, lo que sucede es que te conviertes en parte de una megared, en la que eres cliente (al scrapear) y proveedor (tú también eres proxy!). Si has conocido o conoces los programas P2P, te resultará más fácil visualizarlo.

Piensa en la cantidad de licencias de GScraper que hay por el mundo, y cuantos están pagando por los proxies de GScraper. ¿De verdad crees que los “servidores scrapeadores de GScraper” pueden satisfacer tal demanda de consultas? Claro que no. La única manera de que funcione y arroje los resultados que arroja es creando una red gigantesca tal y como he descrito anteriormente.

Por esto, GScraper es el mejor scrapeador del mercado, y por esto se puede decir que scrapear por medio de computación distribuida es de largo el método más efectivo que existe y que ninguna otra herramienta que esté basada en computación tradicional podrá jamás superarlo.