Définition d’un Crawler
Un crawler est un programme qui visite les sites Web et lit leurs pages et d’autres informations afin de créer des entrées pour un index de recherche. engine Les principaux moteurs de recherche sur le Web disposent tous d’un tel programme, également appelé « araignée » ou « bot ». Les robots sont généralement programmés pour visiter des sites qui ont été soumis par leurs propriétaires comme étant nouveaux ou mis à jour. Des sites entiers ou des pages spécifiques peuvent être visités et indexés de manière sélective. Les crawlers ont apparemment acquis ce nom parce qu’ils parcourent un site une page à la fois, en suivant les liens vers d’autres pages du site jusqu’à ce que toutes les pages aient été lues.
Le crawler du moteur de recherche AltaVista et de son site Web s’appelle Scooter. Scooter adhère aux règles de politesse pour les robots d’exploration du Web qui sont spécifiées dans la norme d’exclusion des robots (SRE). Il demande à chaque serveur quels fichiers doivent être exclus de l’indexation. Il ne passe pas (ou ne peut pas passer) par les pare-feux. Et il utilise un algorithme spécial pour attendre entre les requêtes successives du serveur afin de ne pas affecter le temps de réponse des autres utilisateurs.
