crawlers (par de courchelle inès et jacob sophie)

1

CRAWLER

Sophie JacobInès de Courchelle

PLAN

I. IntroductionII. Les types de CrawlerIII. Protocole et sécurité

IV. Conclusion

3

Introduction ConclusionLes types de Crawler Protocole et sécurité

Définitions 1

Définition 1 « Un crawler est un programme qui visite les sites internet, lit les pages et leur informations afin de créer des entrées pour permettre à un moteur de recherche de les indexer. »

PROGRAMME

Site internet

Moteur de rechercheEntrée

4


Définitions 2

Définition 2 « Un Crawler est un programme qui collecte automatiquement des pages web

pour construire un index ou une collection locale. »

Collection

PROGRAMME

5


Définition 3

Définition 3 « Le crawler est le robot logiciel utilisé par les moteurs de recherches pour parcourir le réseau et les sites web de lien en lien afin d’archiver les pages web parcourues au sein des index de référencement. Chaque moteur utilise un robot qui lui est propre. »

6


Ce que l’on retient

Les robots d’indexation sont liés aux moteurs de recherche

En anglais : Web crawler, Web Spider

En français : araignée du Web, collecteur

Le crawler est un programme : – Collecte automatiquement des données– Tri les données – Stock les données

7


Genesis

1990 : Le premier moteur de recherche Archie

1993 : Wanderer (« le Vagabond ») est le premier robot

d’indexation

1993 : Le premier moteur intelligent Excite

1994 : Yahoo

1995 – 1997 : Altavista

1998 : Google

8


Enjeux des moteurs de recherche

Indexer plus précisément

Mieux cibler le contenu de la page

Mieux déterminer sa pertinence

Répondre aux besoins de l’utilisateur

9


Le principe du Crawler

Lire les méta données d’un site

Les classer

Les stocker

Les lier

10


Fonctionnement d’un crawler

Il arrive sur une page

– Déjà indexée

– Non indexée

Le robot a le droit de l’indexer ?

Le robot stock le lien dans une file

Le robot extrait les méta données

Le robots enregistre les méta données

11


Illustration

Lien1Lien2Lien3

Lien 4Lien 5Lien 6

Index / collection locale

File de pages à visiter

Lien 1

Mot 1

Mot 2

Mot 3

Lien 4

Lien 5

Lien 6

12


Bilan

Un crawler voyage de site en site

Aucune intervention humaine

Une Base de données

Un Web crawler a une durée de vie limitée

– But : ne pas surcharger le serveur

13


Les différents types de crawler

Différent types d’indexation

Coder un crawler en php

Les crawlers des moteurs de recherches

14


Crawler Périodique

Crawler de « rafraîchissement », tourne en continuOptimise la fraîcheur de la bases

Collection

Lien A

Lien B

Lien C

15


Crawler de deep-web

Crawler couplé à une table d’association (Label/Value)Capable de remplir un formulaire

Label Value

1 Pierre

2 Claire

16


Crawler de forum

Corrélation topologique/sémantique naturelleExtraction de profils d’acteurs

Acteurs

Acteur A

Acteur B

Acteur C

17


Crawler incrémental

Continue à visiter les pages, même après l’atteignabilité de

la taille maximum de la collection

Puis lorsque l’on demande de remettre à jour la collection

on remplace les pages selon leur «importance»

Collection

1 Lien A

2 Lien B

3 Lien C

18


Les crawlers des moteurs de recherches

Robot d’exploration Moteur de recherche

Googlebot Google

Yahoo Slurp Yahoo! Search

Bingbot Bing

Scooter AltaVista

19


Protection contre les Crawlers

Protocole d’exclusion des robotsStandard for Robot Exclusion (SRE)Format du fichier « /robots.txt »Intérêt du protocole d’exclusionRobots malveillants

20


Règles de bon usage

selection policy revisit policy politeness policy parallelization policy

21



selection policy – quelles pages indexer – éviter d'indexer tout le web – exemple : l'importance de la page peut être déterminée

par le nombre de liens dirigés ou redirigés par cette page

revisit policy – quand vérifier s'il y a des changements dans les pages – minimiser les visites – éviter de retourner une valeur obsolète

22



politeness policy – Éviter les surcharges de page web – Interdire certaines portions du site web

parallelization policy – coordonner les robots d'indexation qui visitent le même

espace – maximiser les téléchargements de page empêcher les

robots de télécharger les mêmes pages

23


Protocole d’exclusion des robots

Années 1990 Augmentation d’incidents : ralentissement des serveursRédaction de règles pour indiquer aux robots les zones non accessibles des sites web

24


Standard for Robot Exclusion (SRE)

Méthode pour exclure les robots d’un serveurPolitique d’accès pour les robotsListe de pages qui ne peuvent être visitéesAccessible via l’adresse ‘’/robots.txt’’Facile à implémenter sur tous les sites

25


Protocole d’exclusion des robots

Inconvénient : seul l’administrateur du serveur a accès au fichier et peut mettre à jour cette liste

Avantage : limitation des pages et des informations à indexer

26


Format du fichier « /robots.txt »

Il se compose de plusieurs enregistrements

User-agent Nom du ou des robots décrit par l’enregistrement

Disallow Spécifie les adresses URL des sites qu’il ne faut pas visiter. Le chemin peut être entier ou non

27


Recherche du fichier « /robots.txt »

En-tête du site Robot.txt Vide

Visite toutes les

pages

28



Autoriser tous les robots à accéder au site

User-agent: * Disallow:

Interdire l’accès au site à tous les robots

User-agent: * Disallow: /

29



Interdire l’accès au site à un robot particulier

User-agent: googlebot #nom du robot Disallow:

Interdire l’accès à une URL du siteUser-agent: * Disallow: /help

30


Démonstration

31


Intérêt du protocole d’exclusion

Éviter que des ressources sans intérêt public soient visibles

dans la page de résultat d’un moteur de recherche

Alléger le travail du serveur HTTP

Alléger le trafic sur le réseau informatique (moins de

requêtes)

32


Robots malveillants

Ignorent le fichier ‘’robots.txt’’

Accèdent aux adresses URL quand même

Récolte d’informations privées (adresses personnelles)

Revente (SPAM et HACK)

Ralentissent le trafic

33


Bilan

Créer un fichier robots.txtBloquer l’adresse IP lorsqu’elle est identifiéeRobots.txt est une convention : peut ne pas être respectée

34


Quelques chiffres

Ces informations sont fournies par YAKINO © sondage réalisé le 12/12/201310966 connexions échantillonnées sur 11 sitespériode concernée : 27/11/2013 - 11/12/2013

35


Quelques chiffres

NAHRGANG MarcoDELHOMME David2003 – 2004 Les moteurs de recherches comment ça marche ?

36


Sources

[1] http://www.robotstxt.org/orig.html– Titre : A Standard for Robot Exclusion – Auteur : Martijn Koster – Date de publication : 2007

[2] http://nlp.stanford.edu/IR-book/pdf/20crawl.pdf : – Auteurs : Campbridge– Titre : Crawling and web indexes – Date de publication : 2009

37


Sources

[3] http://www.lesitedemika.org/ressources/moteurs_recherche.pdf– Auteurs : Mickaël MARCHAL, Nadia TEA – Date publication : 2007– Titre : les moteurs de recherche

[4] http://www.sfs.uni-tuebingen.de/~parmenti/slides/slides11-1x4.pdf– Auteurs : Wintersemester – Date publication : 2007– Titre : Web crawling

38


Sources

[5] http://www.cellopoint.com/media_resources/blogs/2011/03/Web_Crawlers : – Titre Crawling Policies – Auteur : June Huang– Date de publication : 8/03/2011

[6] http://www.thesitewizard.com/archive/robotstxt.shtml– Titre : How to set up a robots.txt to control search

engine spiders – Auteur : Christopher Heng – Date de publication : 2001-2010

QUESTIONS ?

crawlers (par de courchelle inès et jacob sophie)

Documents