Internet esta plagado por crawlers y bots de todo tipo, lamentablemente muchos de estos son crawlers o sitios fantasma que no tienen ningún valor para nuestro sitio web, y en muchas ocasiones todos hemos visto al ingresar a Google Analytics y ver el tráfico de nuestro sitio que existen un gran número de visitas por medio de Referrals.
A primera vista cualquiera se emocionara de ver un pico en visitas a su sitio web a causa de links referidos, una creería que finalmente el esfuerzo en la creación de contenido de tu sitio web está pagando y varios sitios web con valor están comenzando a citarte y mandar tráfico a tu sitio.
Pero una vez que comienzas a indagar en Google Analytics te das cuenta que mucho de ese nuevo tráfico viene de referencias de dominios algo raros y curiosos cómo semalt.semalt o social-buttons entre otros. Y es entonces que te das cuenta que todo ese tráfico referido que veías en tu Analytics no es más que spam bots y crawlers sin ningún valor para tus estadísticas de analytics.
Ok. Ahora la primer pregunta es cómo saber si las visitas de referrals o referidas a mi sitio web son de spam bots y crawlers y segundo cómo detengo spam bots y crawlers de visitar y generar datos falsos en las estadísticas de sitio web.
¿Cómo identificar Referrals que son spam en Google Analytics?
Para poder identificar si las visitas a tu sitio web por medio de referencias son spam hemos creado una lista con los dominios más comunes de ser sospechosos de spammear e indexar sitios sin permiso.
La siguiente lista está actualizada al primer trimestre del 2015 y está dividida por el dominio que presenta el referido o referral.
Referencias de spam con terminación .com:
- semalt.com (Crawlers)
- buttons-for-website.com (Crawlers)
- darodar.com
- priceg.com
- makemoneyonline.com
- blackhatworth.com
- hulfingtonpost.com
- bestwebsitesawards.com
- o-o-6-o-o.com
- ilovevitaly.com
- social-buttons.com
- site30.simple-share-buttons.com
- site22.simple-share-buttons.com
- site18.simple-share-buttons.com
- site14.simple-share-buttons.com
- s.click.aliexpress.com
- adcash.com
- 7makemoneyonline.com
- kambasoft.com
- see-your-website-here.com
- cityadspix.com
- myftpupload.com
Referencias de spam con terminación .co:
- econom.co
- ilovevitaly.co
- lomb.co
- lombia.co
- econom.co
- lumb.co
Referencias de spam con terminación .ru:
- ilovevitaly.ru
- cenoval.ru
- Iskalko.ru
- o-o-8-o-o.ru
- prlog.ru
- luxup.ru
- prlog.ru
- luxup.ru
Referencias de spam con terminación .org:
- humanorightswatch.org
- superiends.org
- forum20.smailik.org
Referencias de spam con terminación .info:
- ranksonic.info
- savetubevideo.info
- ranksonic.info
- gobongo.info
¿Cómo detengo spam referrals y crawlers de visitar mi sitio web?
Para solucionar estos datos falsos en analytics a causa del tráfico de spam y bots hay más de una opción.
La primera y mejor opción para detener / bloquear el spam referrals y crawlers no deseados es via .htaccess.
Simplemente debemos bloquear vía el archivo .htaccess en nuestro archivo root en el directorio de nuestro dominio. Para simplificar el proceso puedes simplemente copiar y pegar el siguiente código en tu archivo htaccess, suponiendo que estas en un servidor Apache. Este método tiene la ventaja de previene bots de spam de llegar a tu servidor por completo. *Recuerda que el archivo .htaccess es muy importante ya que determina cómo se comporta tu servidor. Por eso ten mucho cuidado en no equivocarte con ningun caracter ya que podrías tirar tu sitio por completo. Procura crear un backup antes de comenzar.
# Block Russian Referrer Spam
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly.\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.info/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*iloveitaly\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC]
RewriteRule ^(.*)$ ? [F,L]
La segunda opción es usar los filtros de Google Analytics. Puedes colocar filtros por país si esto no afecta el tráfico que esperas de algún país en particular, por ejemplo aquí en Cuadrio no nos afectaría simplemente filtrar todo el tráfico que venga de Rusia, por lo cual podemos simplemente bloquear todo el tráfico que venga de dominios .ru.
Para configurar un filtro en analytics simplemente sigue los siguientes pasos:
-
Da clic en la pestaña de "Admin" en la parte superior de la página.
-
En la columna de "View" "Vista" vas a querer crear una vista "nueva" para que aun puedas tener un reporte de tráfico sin filtros ni modificaciones en Google Analytics. Dale un nombre claro y que identifiques con facilidad a tu nueva vista , por ejemplo "Filtros de SpamBots".
-
Una vez creada tu nueva vista da clic en la sección de "Filtros" y selecciona "+Nuevo Filtro".
-
Crea el nuevo Filtro, puedes usar los filtros predefinidos en Google Analytics y elegir el filtro de "country" o "país" el el campo de Filter Field" El campo "Filter Field Pattern" este es el campo que define qué países deseas filtrar. Puedes comprobar que tu filtro esté bien usando el botón de "Verify This Filter" y una gráfica te mostrará cuántas sesiones removerá de los últimos 7 días.
-
Si todo esta bien guarda el filtro en la vista que deseas.
También existe una opción en el área de de "View Settings" dentro de de la pestaña de Admin en Google Analytics que tiene un checkbox que se llama "Bot Filtering" el cual también puede ayudar algo para evitar el spam.
