Introducción



Recopilan las páginas web en un robot que constantemente recorre Internet buscando nuevo material. Son sistemas de búsqueda por palabras clave. Contienen generalmente más información que los directorios
.
Las búsquedas se realizan generalmente por palabras y los resultados son páginas web, documentos, gráficos, videos, etc.
Un motor de búsqueda puede ser interno en el caso de el buscador se encuentre dentro del sistema donde se busca; o puede ser externo, en el caso de que el buscador se realice la búsqueda fuera de su propio sistema.
Se podrían hacer dos grandes divisiones:

1.Buscadores sin robots
• Es imprescindible darse de alta.
• Cada sitio está dentro de una categoría que está dentro de la estructura de un árbol que se define cada vez que se quiere dar de alta una web.
• Muchos de estos directorios suele utilizar el orden alfabético dentro de cada sección. Eso significa que cuanto más cerca de la letra "A" estemos, más altos figuraremos en el directorio y no interesan tanto las palabras claves.
• Se hace a través de seres humanos gran parte del trabajo, comprendiendo desde visitas a la dirección del sitio, y determinando si se cumplen o no las condiciones para ser dado de alta y confirmar la información.
• El número de resultados es menor que en las de los robots.
• Las altas suelen tardar desde un par de días hasta un par de meses según el caso.

2. Buscadores con robots
• No es imprescindible darse de alta.
• Los resultados aparecen según una escala que cada robot de cada empresa tiene. Es imprescindible el uso de descripción, contenido, títulos y demás.
• Si bien se recogen muchos más resultados que en los no robots, éstos son poco fiables y suelen tener errores como ser en los enlaces.
• Son muy buenos a la hora de buscar temas complicados.
• Las altas pueden llegar a tardar varios meses.

Los robots automatizados de los motores de búsqueda, algunas veces llamados “Spiders” o “Crawlers” son buscadores de paginas web.
Cuando llegan a su sitio web, los robots automatizados primero chequean si usted tiene un archivo robots.txt. Este archivo es usado para decirle al robot cuales áreas de su sitio web están fuera del limite de ellos.
Los robots coleccionan enlaces de cada una de las páginas que ellos visitan y luego siguen estos enlaces hacia otras paginas. De esta forma, ellos esencialmente siguen los enlaces desde una pagina hacia otra.
Cuando se es agregado a la base de datos del motor de búsqueda, la información esta disponible para consultas del buscador.
Además de identificar cada robot y contar el número de sus visitas, las estadísticas también pueden mostrarle los robots agresivos y los que usted desea que no visiten su sitio web. En la sección de recursos.
Cuando un robot visita su pagina, él estudia el texto visible de la pagina, y los hyperenlaces en su pagina. Los robots usan las palabras y los enlaces para encontrar de que se trata su pagina. Hay muchos factores usados para averiguar lo que le interesa.
Las bases de datos de los motores se actualizan varias veces. Una vez usted este en la base de datos del motor, lo mantendrán visitando periódicamente, para recoger cualquier cambio de su sitio y asegurasen de que tienen la ultima información. El numero de veces que visiten, depende de como se hayan configurado sus visitas, las cuales pueden variar para cada motor de búsqueda.