Googlebot es el robot de Google encargado de rastrear las páginas web accesibles para el público, para posteriormente analizar su contenido, clasificarlo e indexar los resultados.
Cuenta con dos tipos de rastreadores: el que simula una navegación desde un ordenador y el que realiza la búsqueda a través de un dispositivo móvil. No sólo se centra en realizar un análisis de la pagina web, si no también de los ficheros que contenga: documentos, xls y PDF, entre otros.
A continuación puedes ver en este vídeo el funcionamiento de la araña o spider de Google:
Una vez realizada la indexación, las páginas web aparecen en los resultados de búsqueda. El rastreo es continuo en las millones de páginas web que hay actualmente. A través de los algoritmos que se desarrollan para su labor, se delimitan que páginas debe explorar, hasta qué profundidad dentro de las mismas o con qué frecuencia.
