Vous connaissez sans doute le moteur de recherche français Qwant. Ce moteur a défrayé la chronique à plusieurs reprises ces dernières années, et à plusieurs titres.

L’un des critiques principales était sa dépendance au moteur états-unien Bing de Microsoft.

En effet, créer un index significatif du web est une entreprise difficile et coûteuse en temps comme en ressources. Qwant avait donc choisi plus ou moins officiellement de s’appuyer sur les résultats de Bing, pendant qu’il constituait son propre logiciel et son propre index, tout en vendant des publicités sur les pages de résultats pour s’assurer un début de revenu.

Rapidement sont apparues des critiques sur la vitesse d’indexation des sites, certaines pages n’étant manifestement rafraîchies que rarement.

J’ai voulu en avoir le cœur net en créant une page sur un site que je gère, nic.eu.org. La page est ici et affiche la date et heure du jour à Paris, avec une chaîne unique permettant de la retrouver facilement dans les moteurs. Elle est référencée par un lien caché sur la page d’accueil du même site.

Le résultat est plutôt bon en termes de fraîcheur. Ainsi, ce matin 11 mars 2020, on peut voir sur Qwant que la page indexée a été parcourue le 9 mars à 0h51 :

Cependant, les choses se gâtent en ce qui concerne l’indépendance vis-à-vis de Bing. En effet, la page retournée par Qwant est en fait celle indexée par Bing, comme le montre une recherche sur Bing qui donne une date identique.

On obtient le même résultat par une recherche sur Duckduckgo, autre moteur utilisant Bing :

Dans les journaux de connexion du serveur web, il est facile de voir qu’en effet, à cette date, c’est bien l’indexeur de Bing qui est passé sur la page, suivi peu après par celui de MSN :

40.77.167.206 - - [09/Mar/2020:00:51:23 +0100] "GET /d.html HTTP/1.1" 200 63 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" nic.eu.org

40.77.167.221 - - [09/Mar/2020:00:53:09 +0100] "GET /d.html HTTP/1.1" 200 63 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" nic.eu.org

À ce jour, l’indexeur de Qwant n’a pas visité cette même page. Il passe régulièrement sur le site, mais se contente en général de visiter la page d’accueil et l’icone du site :

194.187.171.130 - - [11/Mar/2020:10:28:48 +0100] "GET /favicon.ico HTTP/1.1" 404 196 "-" "Qwantify/1.0" nic.eu.org

194.187.171.142 - - [11/Mar/2020:10:28:48 +0100] "GET / HTTP/1.1" 200 1572 "-" "Qwantify/1.0" nic.eu.org