Histoire des annuaires web : de Yahoo! à DMOZ

Comprendre pourquoi le mot « annuaire » suscite aujourd’hui autant de méfiance demande de remonter le fil. Ce format n’a pas décliné par accident : il a été dépassé techniquement, puis abîmé par l’usage qu’on en a fait. Retracer cette trajectoire éclaire beaucoup mieux la situation actuelle que n’importe quel avis tranché. Pour la vue d’ensemble du sujet, notre dossier sur les annuaires web et leur usage réunit tous les angles.

Un web trop petit pour des robots

Au début des années 1990, le web public tient en quelques milliers de sites. À cette échelle, la question du classement automatique ne se pose même pas : il est plus rapide, et surtout plus fiable, de tenir une liste à la main. Les premières pages de liens sont d’ailleurs des pages personnelles d’universitaires qui partagent leurs signets.

Ce contexte explique la forme prise par le format : une arborescence de catégories, une entrée par site, une description courte, et un humain qui décide où ranger quoi. Ce principe fondateur n’a en réalité jamais changé, comme le rappelle notre explication de ce qu’est un annuaire web et de son fonctionnement ; seuls le volume et le contexte concurrentiel se sont transformés.

Yahoo!, du répertoire au portail

En 1994, deux étudiants de Stanford, Jerry Yang et David Filo, publient une liste de sites classés par thèmes qu’ils intitulent d’abord « Jerry and David’s Guide to the World Wide Web ». Rebaptisée Yahoo!, elle devient très vite la porte d’entrée du web pour une génération d’internautes : on ne cherchait pas un site, on descendait dans les rubriques jusqu’à en trouver un.

Le succès a une conséquence paradoxale. Yahoo! se transforme en portail — actualités, messagerie, finance, météo — et l’annuaire, cœur historique du service, devient peu à peu une rubrique parmi d’autres. Pendant plusieurs années, y figurer reste néanmoins un signe de reconnaissance recherché, au point que l’inscription accélérée devient une prestation payante pour les sites commerciaux.

DMOZ et le pari du bénévolat

En 1998 naît un projet d’un autre esprit, lancé sous le nom de NewHoo puis connu comme l’Open Directory Project, ou DMOZ. Son principe : au lieu d’une équipe salariée, des milliers d’éditeurs bénévoles, chacun responsable d’une branche correspondant à ses compétences, appliquent des règles éditoriales communes.

Deux caractéristiques en ont fait un objet à part. D’abord, la gratuité intégrale : aucune inscription payante, aucune priorité achetable. Ensuite, la licence ouverte des données, qui a permis à quantité de sites de réutiliser le contenu du répertoire — y compris Google, qui a longtemps proposé son propre annuaire à partir de cette base. DMOZ a ainsi été, pendant une décennie, la référence commune du web classé à la main.

Le basculement vers les moteurs

À la fin des années 1990, l’exploration automatique devient viable. En 1998, l’approche fondée sur l’analyse des liens entre les pages, popularisée par Google, change la donne : plus besoin de classer manuellement, un algorithme peut estimer l’importance relative d’un document à partir de la structure du web lui-même.

Trois évolutions scellent alors le sort du modèle manuel. Le nombre de pages passe de quelques millions à plusieurs milliards, hors de portée de toute équipe éditoriale. Les utilisateurs prennent l’habitude de taper une question plutôt que de naviguer dans des rubriques. Et les moteurs deviennent capables de répondre au niveau de la page, là où un annuaire ne référence qu’un site entier. La bataille n’était pas gagnable.

L’âge industriel de l’inscription en annuaire

Le modèle aurait pu décliner tranquillement. C’est le référencement qui a précipité sa chute réputationnelle. Puisque les liens entrants pesaient dans le classement, et qu’un annuaire produit des liens à volonté, un marché entier s’est construit sur cette équation.

Sont apparus dans la foulée : des logiciels de soumission automatique capables de remplir des centaines de formulaires, des offres commerciales promettant des inscriptions massives pour quelques dizaines d’euros, et surtout des milliers de sites créés uniquement pour héberger des fiches, sans le moindre lecteur. Le format s’est vidé de sa fonction d’origine. Google a répondu en traitant ces réseaux comme des schémas de liens destinés à manipuler les résultats, avec des vagues d’actions correctives dont la série Penguin, à partir de 2012, reste la plus connue. À partir de là, le mot « annuaire » a été durablement associé au spam.

Les fermetures successives

La décennie 2010 solde les comptes. Trois dates jalonnent cette sortie de scène :

• 2011 : Google ferme son propre annuaire, qui reposait sur les données de DMOZ, jugeant que la recherche automatique rendait le service superflu.
• 2014 : Yahoo! annonce l’arrêt de son répertoire historique, vingt ans après sa création.
• 2017 : DMOZ cesse son activité ; ses données, publiées sous licence ouverte, sont reprises par des initiatives communautaires qui prolongent le projet.

Ces fermetures ont valeur de symbole plus que de rupture technique : l’usage réel de ces répertoires avait déjà chuté depuis longtemps. Elles marquent surtout la fin de l’idée d’un classement universel du web tenu à la main.

Ce qui a survécu, et sous quelle forme

Le format n’a pourtant pas disparu — il s’est déplacé là où il rendait encore un service que les moteurs rendent mal. Trois branches ont tenu.

Les répertoires thématiques

Restreints à un domaine, tenus par des gens qui le connaissent, ils continuent d’offrir un panorama sectoriel qu’une page de résultats ne fournit pas. Beaucoup fonctionnent aujourd’hui comme des ressources de référence pour une communauté professionnelle.

Les répertoires locaux

La recherche de proximité a même renforcé leur pertinence : trouver l’ensemble des acteurs d’un territoire reste un besoin réel, et les moteurs ont eux-mêmes intégré des blocs de résultats qui reprennent cette logique.

Les répertoires d’établissements

Descendants directs du bottin professionnel imprimé, ils ont opéré une transition sans rupture de modèle. Leur fonctionnement actuel, entre héritage du papier et exigences numériques, est détaillé dans notre article sur les annuaires d’entreprises.

Ce que cette histoire nous apprend

Trois enseignements se dégagent, et ils restent parfaitement valables aujourd’hui. Premièrement, un répertoire ne vaut que par sa sélectivité : DMOZ tirait sa crédibilité de ses refus, pas de son volume. Deuxièmement, un format détourné de sa fonction finit toujours par être neutralisé — l’inscription de masse a tué la valeur de l’inscription tout court. Troisièmement, ce qui survit est ce qui rend un service que l’automatisation ne rend pas : la curation compétente d’un domaine restreint.

La conclusion pratique s’impose d’elle-même. Chercher à reproduire les recettes de 2008 n’a aucun sens ; s’appuyer sur les rares répertoires qui ont conservé une vraie exigence éditoriale en a beaucoup.

Questions fréquentes

Sources

• Google Search Central — Documentation sur le fonctionnement de la recherche et l’historique des mises à jour.
• Google Search — Règles concernant le spam et les schémas de liens (link schemes).
• Open Directory Project / Curlie — Documentation publique sur le projet et sa licence de données.

Article informatif. Le SEO évolue et aucun résultat n’est garanti : privilégiez toujours des pratiques conformes aux consignes de Google.