Back to Question Center
0

Semalt Islamabad Expert: los 10 rastreadores y rastreadores web más populares

1 answers:

Hay dos tipos de bots en internet, que se llaman buenos bots y bad bots. Debes tomar medidas serias contra los bots malos ya que pueden consumir el ancho de banda DDN en poco tiempo. Además, los bots negativos o malos roban tu contenido web y ocupan los recursos del servidor. Por otro lado, los buenos robots (también llamados rastreadores web) deben manejarse con cuidado ya que ayudan a indexar su sitio web en los resultados del motor de búsqueda , como Bing, Google y Yahoo - wireless temperature humidity monitor.

Michael Brown, un destacado experto de Semalt , asegura que hay cientos o miles de robots y rastreadores web que recorren Internet, pero los siguientes son los más populares.

1. GoogleBot

El robot de Google es uno de los mejores y más famosos rastreadores web hasta la fecha. Se usa ampliamente para indexar contenido web y artículos para los resultados de búsqueda de Google. La mejor característica de Googlebot es que proporciona a los usuarios muchas herramientas y opciones. Más específicamente, Googlebot le dice a Google qué páginas se indexarán y cuáles se deben dejar atrás.

2. Bingbot

Al igual que Googlebot, Bingbot es un rastreador web popular de Microsoft. Ha existido durante años y pretende indexar sitios web en los resultados de búsqueda de Bing. Bingbot es un reemplazo ideal para el bot de MSN. Su opción más destacada se llama Fetch como Bingbot, que está presente en Bing Webmaster Tools. Esta opción le permite solicitar que las páginas se indexen y se muestren en los resultados de Bing.

3. Slurp Bot

El Slurp Bot es el rastreador web de Yahoo pero está impulsado por Bing. Los sitios web deben permitir que Yahoo Slurp acceda a sus páginas para aparecer en los resultados de Yahoo Mobile Search. Este rastreador web se utiliza para recopilar contenido de los sitios web asociados para su inclusión en Yahoo News, Yahoo Sports y Yahoo Finance.

4. DuckDuckBot

El DuckDuckBot es el famoso y mejor rastreador web de DuckDuckGo. Este Search Engine es conocido por su privacidad y no rastrea a un usuario sin su permiso. En promedio, maneja diez millones de consultas por día. El DuckDuckGo obtiene los resultados de más de 400 fuentes, incluidas varias fuentes verticales que ofrecen respuestas relacionadas con Instant Answers, Wikipedia y DuckDuckBot. También maneja consultas provenientes de fuentes como Yandex, Bing y Yahoo.

5. Baiduspider

El Baiduspider es un nombre oficial del rastreador web o araña de un motor de búsqueda chino. Puede indexar muchas páginas web todos los días y devuelve las actualizaciones a su índice Baidu. El Baidu es uno de los principales motores de búsqueda chinos. Tiene más del ochenta por ciento de los mercados de búsqueda globales de China continental.

6. Yandex Bot

YandexBot es un rastreador web particular de un motor de búsqueda ruso, Yandex. Los medios de comunicación afirman que este bot generó más del 57% de todo el tráfico de los motores de búsqueda en Rusia durante 2015.

7. Sogou Spider

Sogou Spider es un famoso rastreador web de Sogou.com. Este motor de búsqueda chino líder se lanzó en 2004 y tiene un rango de 103 en Alexa. Debe tener en cuenta que la araña de la web Sogou nunca respeta los estándares de Internet de robot.txt y está prohibida en varios sitios debido a su exceso de rastreo.

8. Exabot

Este rastreador web es operado por Exalead, un motor de búsqueda francés. Fue fundado hace unos años y tiene más de dieciséis mil millones de páginas web indexadas en sus resultados de búsqueda.

9. Hit externo de Facebook

El gigante de las redes sociales, Facebook, permite a sus usuarios compartir enlaces interesantes con otros usuarios de Facebook. El acceso externo de Facebook realiza una variedad de funciones, incluida la visualización de varias imágenes, algunos videos interesantes y algunas páginas web. Uno de los bots de rastreo principales y famosos es Facebot que ayuda a mejorar el rendimiento publicitario.

10. Alexa Crawler

Alexa Crawler es operado por Alexa de Amazon y se usa para indexar docenas de páginas web. Recoge información sobre los sitios web y los clasifica según las preferencias locales e internacionales.

Nota final

Existen varios rastreadores web y bots, por lo que cuando bloquees un sitio web sospechoso, asegúrate de no bloquear los buenos bots que indexan tus páginas web en los resultados del motor de búsqueda.

November 26, 2017