5139 sujets

Le Bar du forum

Bonjour,
connaissez-vous les lieux d'implantation matérielle des robots d'indexation de 'google' et autres 'bing' et 'yahoo' en Amérique, Europe, Asie etc. ?

Et quelle en serait la stratégie géographique (à l'égard de + de 900 cent mille sites web existants actuellement) ?

C'est juste pour y voir plus clair ...
Modifié par pictural (08 Sep 2015 - 20:53)
Merci Edenpulse,
cela me semble parfaitement logique, indeed ! mais pas totalement explicite (car nous savons que google est 'taiseux' en certaines choses), ainsi de Mountain View (Silicon Valley, California, USA) le 'bot' de google me visite effectivement tandis qu'un data center n'y est pas renseigné (!?), ni à New York USA, ni London GB ... ni à Moscow Russia, etc. pour autant de visites désincarnées, effectivement menées par 'bot'.

Quant à Bejing China, c'est un autre 'bot' : baidu
http://www.hoovers.com/company-information/cs/company-profile.Baidu_Online_Network_Technology_(Beijing)_CoLtd.25e48037da75fa8f.html
moteur de recherche exerçant en Chine, également comparable au 'bot' d'indexation google, qui a vocation à y supplanter google surtout par temps sporadiques de 'crise et de censure' ... c-a-d souvent.

Quant à parler d'implantation stratégique, google s'en explique notamment ici : http://www.google.com/about/datacenters/inside/locations/singapore/ mais il faut en lire ce qui y apparaît également en filigrane.

J'y trouve deci-delà des éléments de réponse à mon topique. C'est probable que je marquerai bientôt le sujet comme 'résolu' ... et j'essaierai d'expliquer 'pourquoi'.
Modifié par pictural (09 Sep 2015 - 13:39)
Hum ok.
Google n'a aussi aucun intérêt à révéler ce genre d'informations. Je ne comprends pas en quoi cela peut-il être important en fait, de l'emplacement géographique du bot, surtout à ton niveau.
Google possède des serveurs de part le monde, pas uniquement dans des datacenters.
Pour ce qui est du lien du datacenter de singapore je ne vois pas ce que tu veux dire, qu'est on sensé lire en filigrane selon toi?
edenpulse a écrit :
(...)
Pour ce qui est du lien du datacenter de singapore je ne vois pas ce que tu veux dire, qu'est on sensé lire en filigrane selon toi?
Tu viens d'y répondre, constatant par toi-même que 'bot' et 'datacenter' sont éloignés les uns des autres. Ce dont je me doutais, merci.

Par ailleurs, nous ne savons pas précisément où sont localisés les 'bots' ou 'crawlers', sauf à le deviner par défaut lorsque l'on constate qu'en fait de fréquentation, un 'bot' met à jour son indexation en une visite de quelques millisecondes ... ce qui n'a rien à voir avec un 'visiteur humain'. Et qu'un 'bot' ne procède qu'à une seule visite par semaine (même par quinzaine), sauf invitation contraire et spécifique qu'on lui a adressée.
Et tu voudrais que le bot s'installe chez toi quelques jours ? Pour quoi faire ?

C'est comme si tu me disais que pour trouver un mot dans le dictionnaire, il fallait en lire l'intégralité à chaque fois.
Modifié par dann (09 Sep 2015 - 19:31)
Mon cher Edenpulse,
je devine que tu plaisantes ; en tout cas tu me divertis.

Pour ce qui est de Singapore, il faut y comprendre que google se désespère à plafonner en Chine à 20% du marché (jugulé), et que Taiwan et Singapore et Tokyo ne sont que ses approches 'de retrait'.

Maintenant, nous sommes ici pour mener une réflexion collective, et non pour nous asséner mutuellement de biens étranges certitudes ... Et encore, tu n'as toujours pas répondu au sujet : que savez-vous de l'implantation géographique des 'bots' d'indexation ; enfin si tu pensais que ça me dépasserais, tu n'y répondrais pas davantage ...
Modifié par pictural (09 Sep 2015 - 19:44)
pictural a écrit :
Tu viens d'y répondre, constatant par toi-même que 'bot' et 'datacenter' sont éloignés les uns des autres. Ce dont je me doutais, merci.

Par ailleurs, nous ne savons pas précisément où sont localisés les 'bots' ou 'crawlers', sauf à le deviner par défaut lorsque l'on constate qu'en fait de fréquentation, un 'bot' met à jour son indexation en une visite de quelques millisecondes ... ce qui n'a rien à voir avec un 'visiteur humain'. Et qu'un 'bot' ne procède qu'à une seule visite par semaine (même par quinzaine), sauf invitation contraire et spécifique qu'on lui a adressée.


Je ne comprends pas tes questions en fait. Le fait de se demander où se situe un programme de ce type dans un réseau informatique n'a pas de sens. L'executable de ce bot doit se trouver répliqué sur des centaines d'instances et de VM de serveurs (vu le taff à réaliser ça me parait logique) dans une architecture de type cloud étalée sur l'ensemble du globe. Il parait logique aussi, que dans les data-centers de Google, de nombreuses instances lui soient alloués. Effectivement, le bot consulte (le programme ne se déplace pas au final) des serveurs distants, mais l'ont ne peux pas savoir exactement à un instant T le site/serveur qu'il est en train de consulter. Comme tu le mentionnes, c'est de l'ordre de la milliseconde, voire moins...

Pour ce qui est de l'implémentation de Google en chine, ça n'a rien à voir avec un choix stratégique ou grand secret comme tu sembles le sous-entendre. Internet en chine est très censuré, et le gouvernement chinois et Google ne s'entendent pas. Donc c'est très normal que le peuple chinois se tourne vers d'autres moteurs, comme Baidu. Mais au niveau purement technique, il est important pour Google d'y être implanté bien entendu.
De plus, Google n'a plus grand chose à prouver ou de marchés totalement vierges à conquérir, je doute qu'ils aient une stratégie "géographique" forte.

Ce genre de réponses ne s'obtient de toute façon pas autrement que de demander à un responsable de chez Google, ce que je te souhaites bonne chance pour obtenir.
Pour terminer, je ne comprends pas à quoi cela sert de mener une "réflexion collective" sur ce sujet, tu souhaites une réponse : demande à Google (à un responsable physique), tu seras fixé, le reste n'est que spéculations vaines et futiles et de l'astiquage de neurones.
Ca va apporter quoi concrètement de connaître cette information ? JE ne pige pas trop non plus où tu veux en venir.

Si ça se trouve, des requêtes pour GoogleBot sont exécutées depuis ton smartphone sans que tu ne le saches; ou peut-être de manière passive quand tu navigues avec Chrome. Ce ne serait même pas très étonnant. Tant que personne ne s'en soucie vraiment, faire bosser les clients au lieu des serveurs ça ne coûte rien...
Ben voyons ! nous commençons à y voir plus clair. Il faut donc prêcher dans le désert et faire mine d'être un idiot pour obtenir un élément d'échange et de réponse.

Alors merci à Edenpulse et à QuentinC. Ceci dit je n'ai rien appris que je ne savais déjà.