Comment démarrer un moteur de recherche

Des milliers de programmeurs dans le monde tentent de construire le prochain grand moteur de recherche. Sergey Brin et Lawrence Page, créateurs de Google, admettent que "concevoir un moteur de recherche est une tâche ardue". Un moteur de recherche sert à trouver de l'information sur le Web. Un robot explore Internet et indexe des millions de pages, restituant des résultats quand quelqu'un fait une recherche.

Obtenir un robot d'exploration (Web Crawler)

Étape 1

Acquérez un web crawler (araignée/bot) qui explore Internet en collectant des pages. Une araignée visite des pages, les lit et suit les liens vers d'autres pages. Vous pouvez trouver un crawler open-source ou construire le vôtre. Si vous construisez le vôtre, obtenez une liste d'URL pour l'amorcer. Un crawler lent est facile à faire, mais un crawler haute performance pour indexer des millions de pages est plus difficile.

Étape 2

Obtenez autant de bande passante que vous pouvez vous permettre. Vous en avez besoin pour votre crawler qui parcourt le Web.

Étape 3

Construisez un index. Tout ce que votre crawler trouve y entre. L'index est comme un énorme catalogue contenant une copie de chaque page trouvée. Anna Patterson (Stanford) recommande d'indexer seulement les données nécessaires pour servir vos résultats de recherche. Elle conseille aussi de ne pas essayer d'indexer "tout l'évier" mais plutôt "d'obtenir quelque chose de présentable rapidement".

Étape 4

Classez vos résultats dans l'index en utilisant une base de données haute performance et toutes les informations sur vos serveurs issues de l'exploration. Vous devez traiter potentiellement des millions de pages pour créer votre index. Les pages enregistrées doivent être classées par ordre de pertinence pour vos chercheurs.

Étape 5

Construisez un site web attrayant pour retourner les résultats de recherche.

Étape 6

Lancez et commercialisez votre moteur de recherche. Selon Laszlo Xalieri (Search Engine Watch), un moteur gratuit doit emmener les utilisateurs où ils veulent aller rapidement et élégamment. Il dit : "votre but est d'attirer des consommateurs et de vendre l'accès à des annonceurs".

Avertissement

Tout programmeur peut démarrer un moteur de recherche, mais fournir des résultats pertinents est le vrai défi.