Comment créer un robot web (Web Bot)

Les moteurs de recherche comme Google ou Yahoo! intègrent les pages web dans leurs résultats via des robots web (aussi appelés araignées ou crawlers), des programmes qui scannent Internet et indexent les sites dans une base de données. Les robots web peuvent être écrits dans la plupart des langages : C, Perl, Python, PHP, qui permettent aux ingénieurs d'écrire des scripts effectuant des tâches procédurales comme le scan et l'indexation web.

Étape 1

Ouvrez un éditeur de texte brut comme le Bloc-notes (inclus dans Windows) ou TextEdit (Mac OS X) pour écrire une application de robot web en Python.

Étape 2

Initialisez le script Python avec les lignes suivantes, en remplaçant l'URL d'exemple par celle du site à scanner et le nom de la base de données d'exemple par celle qui stockera les résultats :

import urllib2, re, string
enter_point = 'https://www.exampleurl.com'
db_name = 'example.sql'

Étape 3

Incluez les lignes suivantes pour définir la séquence d'opérations du robot :

def uniq(seq):
    set = {}
    map(set.__setitem__, seq, [])
    return set.keys()

Étape 4

Obtenez les URLs dans la structure du site avec :

def geturls(url):
    items = []
    request = urllib2.Request(url)
    request.add_header('User', 'Bot_name ;)')
    content = urllib2.urlopen(request).read()
    items = re.findall('href="https://.?"', content)
    urls = []
    return urls

Étape 5

Définissez la base de données et les informations à stocker pour finaliser le robot :

db = open(db_name, 'a')
allurls = uniq(geturls(enter_point))

Étape 6

Enregistrez le document texte et téléversez-le sur un serveur ou ordinateur avec connexion Internet pour exécuter le script et commencer le scan des pages web.