Un crawler Apple : vers un moteur de recherche ?

Apple parcoure des sites web avec des bots

Ici et traduction

On dirait que Apple n'aime pas trop Bing pour Siri , ou Google pour le Spotlight

Bientôt iSearch ou Apple Search ? Suspens.

que "apple" non ?

madri2 a dit:

que "apple" non ?

Cliquez pour agrandir...

Corrigé (il fait nuit, froid, etc)

Que Apple se lance dans un moteur de recherche serait la suite logique de la concentration des fonctionnalités utilisées sur les Mac et iDevice. Reste à voir jusqu'où ils iront vraiment dans ce domaine, mais ça ne m'étonnerait pas plus que a qu'ils l'intègrent d'office à leurs systèmes qu'il faut bien rentabiliser au maximum maintenant qu'ils ne facturent plus leurs logiciels bureautiques ou OS.

D'un autre côté, ils parcourent peut-être le web à la recherche d'articles parlant de leurs produits et de leurs marques, dans le but de s'assurer que tout roule et qu'il n'y a pas d'utilisation de leurs noms sans autorisation ou à dans des termes négatifs.

pprem a dit:

D'un autre côté, ils parcourent peut-être le web à la recherche d'articles parlant de leurs produits et de leurs marques, dans le but de s'assurer que tout roule et qu'il n'y a pas d'utilisation de leurs noms sans autorisation ou à dans des termes négatifs.

Cliquez pour agrandir...

Mais est-ce qu'ils ont besoin d'un robot propriétaire pour explorer le web ? Google, Bing et autres ont et l'index, et l'interface. Ou bien c'est pour fouiller des indexes plus confidentiels, type deep web.

Il y aura bientôt plus de robots que d'internautes sur la toile ... :roll: un délire ...

zeb a dit:

Il y aura bientôt plus de robots que d'internautes sur la toile ... :roll: un délire ...

Cliquez pour agrandir...

Dans ce style ?
Plus de la moitié des internautes sont des robots

Ouep dans ce style. Perso j'ai plu de tags d'analyse externe genre "gogole analmythique" mais en revanche je log via php toutes mes visites a la source (génération de la page). bref sans passer par les logs j'ai une idée précise de mes pages demandées et ça fait peur quand on met ça en perspective avec le nombre d'humains qui visitent ...

ça me rappelle que parfois l'onglet google analytics se coupe après le l de analytics

zeb a dit:

Il y aura bientôt plus de robots que d'internautes sur la toile ... :roll: un délire ...

Cliquez pour agrandir...

c'est clair

sur un site je n'ai que des bots (des ahrefs, webmeup en tête alors qu'il n'y a pas de lien externe ni partenaria dessus), Google, MSN et maintenant la BNF qui crawle dans le but de tout indexer

c'est à se demander si on travaille pour alimenter des automates qui alimentent des automates qui alimentent des automates... ou de vrais gens.

pprem a dit:

c'est à se demander si on travaille pour alimenter des automates qui ...

Cliquez pour agrandir...

Sans parler du pognon que ça représente en énergie (et je parle même pas de pollution)

pprem a dit:

sur un site je n'ai que des bots (des ahrefs, webmeup en tête alors qu'il n'y a pas de lien externe ni partenaria dessus)

Cliquez pour agrandir...

Y'a des gens très motivés qui Disallow tous les bots possibles imaginables (cf. le robots.txt de WRI)

Et si on y réfléchit : "des robots veillent à ce que des annonces ventilées sur le Net par des robots ne soient pas visionnées par des robots".

Apple lance officiellement son crawler Applebot : bientôt son moteur de recherche ?​

Google devrait-il s'inquiéter de voir son voisin et concurrent (sur mobile) Apple préparer un moteur de recherche ? En tout cas Apple a annoncé officiellement avoir un robot pour crawler le web...


Apple va-t-il lancer un moteur de recherche ? En tout cas son robot AppleBot crawle le web depuis fin 2014. L'avenir dira si cela donnera naissance à Apple Search
Cette page de support du site apple.com n'a l'air de rien, mais les référenceurs savent que cela signifie peut-être beaucoup : Apple confirme avoir développé un crawler qui parcourt le web. Officiellement, il est utilisé pour certains produits dont Siri et Spotlight (le moteur de recherche intégré dans Mac OS). Mais évidemment, Apple pourrait aller bien au-delà pour profiter de la manne d'informations récoltées.

Qui sait, Apple pourrait utiliser une partie de ses ~200 milliards de $ de cash (3 fois plus que les "maigres" 65 milliards de Google) pour développer un moteur de recherche ? "Apple Search" ou "iSearch" pourrait être proposé (imposé ?) à tous les utilisateurs d'appareils Apple (iOS, Mac OS), ce qui fait pas mal de monde au final. Un peu plus de concurrence à Google nous ferait le plus grand bien !

En attendant que Google rachète Apple, comme l'imagine Laurent Alexandre dans ses romans d'anticipation (excellents au passage)...

Si vous souhaitez vérifier si Applebot a commencé à crawler votre site, voici comment l'identifier...

Le nom d'agent (User-agent) complet inclut "Applebot", comme par exemple :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Pour ma part, le User Agent réel vu dans mes logs est du type

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ce crawler respecte le standard robots.txt (pour interdire le crawl, à tester avec cet outil) ainsi que les balises meta robots (pour interdire l'indexation).

Dans votre fichier robots.txt, utilisez simplement "Applebot". Par exemple si vous souhaitez lui interdire le crawl du répertoire "annonces" à la racine de votre site (sous-domaine), mettez :

User-agent: Applebot
Disallow: /annonces/

Son IP appartient au bloc 17.0.0.0.

Apple précise que si vous n'avez pas d'instruction particulière pour Applebot, il suivra celles destinées à Googlebot. Amusant non ?

Vous pouvez envoyer vos éventuelles questions à l'adresse email Apple-NOC “at” apple.com

Pour ma part, je l'ai vu passer sur WebRankInfo, avec par exemple les IP 17.142.152.70, 17.142.152.78, 17.142.152.97, 17.142.152.130, 17.142.152.131, 17.142.152.236

Alors, que pensez-vous que le géant Apple nous prépare ? L'avez-vous vu passer sur vos sites ?

Curieusement, la page de support qui l'officialise existe depuis mars en version française !
Il y aussi eu quelques offres d'emploi pour la "Search Relevance team" chez Apple, pour mettre en place une équipe et une stratégie afin de fournir des "résultats de recherche pertinents" aux utilisateurs de Spotlight.
Et autre info un peu confidentielle, le partenariat de Google avec Apple pour Safari expire cette année. Et Safari, c'est 13% de l'internet mondial. Peut-être ça en moins pour Google, d'un coup