Petit jeu de fraîcheur avec les moteurs Qwant et Bing

Vous connaissez sans doute le moteur de recherche français Qwant. Ce moteur a défrayé la chronique à plusieurs reprises ces dernières années, et à plusieurs titres.

L’un des critiques principales était sa dépendance au moteur états-unien Bing de Microsoft.

En effet, créer un index significatif du web est une entreprise difficile et coûteuse en temps comme en ressources. Qwant avait donc choisi plus ou moins officiellement de s’appuyer sur les résultats de Bing, pendant qu’il constituait son propre logiciel et son propre index, tout en vendant des publicités sur les pages de résultats pour s’assurer un début de revenu.

Rapidement sont apparues des critiques sur la vitesse d’indexation des sites, certaines pages n’étant manifestement rafraîchies que rarement.

J’ai voulu en avoir le cœur net en créant une page sur un site que je gère, nic.eu.org. La page est ici et affiche la date et heure du jour à Paris, avec une chaîne unique permettant de la retrouver facilement dans les moteurs. Elle est référencée par un lien caché sur la page d’accueil du même site.

Le résultat est plutôt bon en termes de fraîcheur. Ainsi, ce matin 11 mars 2020, on peut voir sur Qwant que la page indexée a été parcourue le 9 mars à 0h51 :

Cependant, les choses se gâtent en ce qui concerne l’indépendance vis-à-vis de Bing. En effet, la page retournée par Qwant est en fait celle indexée par Bing, comme le montre une recherche sur Bing qui donne une date identique.

On obtient le même résultat par une recherche sur Duckduckgo, autre moteur utilisant Bing :

Dans les journaux de connexion du serveur web, il est facile de voir qu’en effet, à cette date, c’est bien l’indexeur de Bing qui est passé sur la page, suivi peu après par celui de MSN :

40.77.167.206 - - [09/Mar/2020:00:51:23 +0100] "GET /d.html HTTP/1.1" 200 63 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" nic.eu.org

40.77.167.221 - - [09/Mar/2020:00:53:09 +0100] "GET /d.html HTTP/1.1" 200 63 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" nic.eu.org

À ce jour, l’indexeur de Qwant n’a pas visité cette même page. Il passe régulièrement sur le site, mais se contente en général de visiter la page d’accueil et l’icone du site :

194.187.171.130 - - [11/Mar/2020:10:28:48 +0100] "GET /favicon.ico HTTP/1.1" 404 196 "-" "Qwantify/1.0" nic.eu.org

194.187.171.142 - - [11/Mar/2020:10:28:48 +0100] "GET / HTTP/1.1" 200 1572 "-" "Qwantify/1.0" nic.eu.org

No tips yet.
Be the first to tip!

Like this post? Tip me with bitcoin!

1Nb4aJWgAUAqMUCzeF2vTTDUNVNTM5ak42

If you enjoyed reading this post, please consider tipping me using Bitcoin. Each post gets its own unique Bitcoin address so by tipping you're also telling me what you liked, in addition to contributing to the blog hardware and electricity, and perhaps a few beers if you don't mind 🙂

One thought on “Petit jeu de fraîcheur avec les moteurs Qwant et Bing”

  1. Bonjour et félicitation pour cet audit interne. Si les grands médias en faisaient autant, et les grands sites comme SNCF, RATP, FRANCE5 etc, ils constateraient la même chose… que l’on prend les Français pour des imbéciles avec le “pseudo moteur Qwant”, que leur argent part en fumée pour enrichir certains actionaires privés . Espéront que la Caisse des Dépots saura se remettre en cause dans ce dossier et se retirer. Apparement, elle refuse coute que coute…

Comments are closed.