Bande passante et fichiers pdf

Bonjour!
Sur notre site nous mettons à disposition des utilisateur des fichiers pdf, type manuels d'utilisation des produits et catalogue enligne, fichiers mp3 également pour certains produits.

Sauf que depuis 2 mois la bande passante du site explose! Et ça fait suite à la sortie d'un nombre conséquent de nouveau produits.

Je suis donc en quête d'une solution!
Augmenter la bande passante certe, mais à part ça? Externaliser les dits fichiers? Mais où?

Un autre hébergeur ? Un serveur que vous mettez à disposition et donc configuré ? Dorpbox ou équivalent ?

Bonjour,

As-tu consulté les "logs" de connexions (qui télécharge) ; moi je penserais plus à des robots de type attaque DOS ; qui pourrait avoir potentiellement repéré ton site.

Pour éviter cela tu peux faire des contrôles sur le téléchargements pour "bloquer" les robots : tu as plusieurs techniques donc la plus connu le captcha.

Nous avons plusieurs sites sur lesquels des documents PDF sont aussi disponible et de taille plus ou moins respectables et pourtant jamais eu de problème de bande passante.

mini-truc a écrit :
As-tu consulté les "logs" de connexions (qui télécharge) ; moi je penserais plus à des robots de type attaque DOS ; qui pourrait avoir potentiellement repéré ton site.

J'ai parlé avec mon hébergeur, rien que les pdf c'est 40go de bande passante... le catalogue à lui seul en prend 11go!

mini-truc a écrit :
Pour éviter cela tu peux faire des contrôles sur le téléchargements pour "bloquer" les robots : tu as plusieurs techniques donc la plus connu le captcha.

L'utilisateur passerait donc par un formulaire de sélection? Je n'aime pas trop les captcha, je trouve que c'est souvent une étape "fatiguante" plus qu'autre chose...

juliesunset a écrit :
J'ai parlé avec mon hébergeur, rien que les pdf c'est 40go de bande passante... le catalogue à lui seul en prend 11go!

Mais niveau des IP ? Elles viennent toutes de frances ? Ou d'Europe ? Tu dois être loin de l'internationale ; sinon il n'y a plus de doute ; changer de serveur et envisager d'en metre plusieurs en place dédié pour le DDL.

juliesunset a écrit :
L'utilisateur passerait donc par un formulaire de sélection? Je n'aime pas trop les captcha, je trouve que c'est souvent une étape "fatiguante" plus qu'autre chose...

Non pas forcément un formulaire ; un lien qui renvoit sur une demande de captcha puis téléchargement.

Mais tu as d'autres méthodes ; mais je ne les connais ; captcha est la plue simple

juliesunset a écrit :
Externaliser les dits fichiers? Mais où?

Amazon S3

mini-truc a écrit :
Mais niveau des IP ? Elles viennent toutes de frances ? Ou d'Europe ? Tu dois être loin de l'internationale ; sinon il n'y a plus de doute ; changer de serveur et envisager d'en metre plusieurs en place dédié pour le DDL.

Nous sommes basé au Canada. J'ai regardé les stat de l'hébergeur, la bande passante passe majoritairement par les US ou le Canada. Je ne saurais dire pour les IP.

juliesunset a écrit :
Nous sommes basé au Canada. J'ai regardé les stat de l'hébergeur, la bande passante passe majoritairement par les US ou le Canada. Je ne saurais dire pour les IP.

Donc tu peux enlever l'hypothèse d'un robot. Plus qu'a externaliser ou à renforcé vos serveurs.

Il faudra prendre en compte les réglementations de votre entreprise (si données sensibles ou non) et les réglementations de l'hebergeur choisi s'il autorise ou non l'usage "professionnel".

dew a écrit :
Amazon S3

Merci je regarde ça!

mini-truc a écrit :
Il faudra prendre en compte les réglementations de votre entreprise (si données sensibles ou non)

Les données "sensibles" ne sont accessible qu'avec un login et un mot de passe dans les cas où c'est sur le web.

mini-truc a écrit :
et les réglementations de l'hébergeur choisi s'il autorise ou non l'usage "professionnel".

Pas de problème à ce niveau, notre activité est professionnel depuis le début. Je n'ais vraiment rien à dire de négatif sur notre hébergeur, possibilité d'évolution de l'hébergement (ajout de modules, options, etc.), support et service très pro et rapide.

Quelques pistes :

Configurer apache pour qu'il compresse les fichiers statiques ?
=> mod_gzip, mod_deflate

Réduire la taille des PDF ?
=> PDF toolkits & co

NE plus utiliser PDF ?
=> parce que PDF est un format forcément plus lourd que du HTML/CSS

Changer d'hébergeur et en prendre un qui ne limite pas la bande passante mensuelle ?
=> IL y en a plein, j'en suis sûr; par exemple, la limite de 5 To sur les kimsufi OVH a sauté récemment

Par contre évite vraiment les CAPTCHA: si ça peut se justifier pour un contrôle de sécurité avant opération critique, avant login, etc, j'aime pas du tout et c'est très chiant, mais bon, éventuellement. Mais pour un téléchargement, je pense que ça ne se justifie pas du tout :
- Soit c'est un téléchargement protégé sous login, auquel cas tu enfonces une porte ouverte avec une étape de protection supplémentaire totalement inutile
- Soit c'est un catalogue libre d'accès et très probablement sans engagement, auquel cas je suis prêt à parier que ça décourage un certain nombre d'utilisateurs de le télécharger... du coup c'est probablement une perte de vente au final.

Bon, faut pas non plus s'alarmer pour 40 Go. J'ai un site dont le seul contenu volumineux est une application de 10-15 Mo, 95% de la bande passante est son téléchargement, 60 Go environ au total. IL y a de la marge avant d'atteindre les 5 ou 10 To que certains hébergeurs pro posent comme limite. Calcul rapide: ça te fais passé 100 fois plus de clients qu'actuellement...

QuentinC a écrit :
Configurer apache pour qu'il compresse les fichiers statiques ?
=> mod_gzip, mod_deflate

Je vais regarder ça...

QuentinC a écrit :
Réduire la taille des PDF ?
=> PDF toolkits & co

Je vais revoir pour l'optimisation, mais il me semble qu'on était au minimum possible...

QuentinC a écrit :
NE plus utiliser PDF ?
=> parce que PDF est un format forcément plus lourd que du HTML/CSS

Ça n'est pas une option ici! Ce sont pour la plupart des manuels d'instructions pour les différents produits de la marque.

QuentinC a écrit :
Par contre évite vraiment les CAPTCHA: si ça peut se justifier pour un contrôle de sécurité avant opération critique, avant login, etc, j'aime pas du tout et c'est très chiant, mais bon, éventuellement. Mais pour un téléchargement, je pense que ça ne se justifie pas du tout :
- Soit c'est un téléchargement protégé sous login, auquel cas tu enfonces une porte ouverte avec une étape de protection supplémentaire totalement inutile
- Soit c'est un catalogue libre d'accès et très probablement sans engagement, auquel cas je suis prêt à parier que ça décourage un certain nombre d'utilisateurs de le télécharger... du coup c'est probablement une perte de vente au final.

Comme dit plus haut, j'aime pas moi non plus, donc je n'utiliserai pas les captcha. Perte de vente je ne sais pas... on est fabriquant, pas vendeur. En fait oui, un peu vendeur, puisque l'on vend aux boutiques, mais très peu aux particuliers.

QuentinC a écrit :
Changer d'hébergeur et en prendre un qui ne limite pas la bande passante mensuelle ?
=> IL y en a plein, j'en suis sûr; par exemple, la limite de 5 To sur les kimsufi OVH a sauté récemment.

QuentinC a écrit :
Bon, faut pas non plus s'alarmer pour 40 Go. J'ai un site dont le seul contenu volumineux est une application de 10-15 Mo, 95% de la bande passante est son téléchargement, 60 Go environ au total. IL y a de la marge avant d'atteindre les 5 ou 10 To que certains hébergeurs pro posent comme limite. Calcul rapide: ça te fais passé 100 fois plus de clients qu'actuellement...

Ma limite de bande passant est 90go par mois et je peu en ajouter au besoin moyennant un petit montant. En soit ce n'est pas réellement un problème, mais si on peu trouvé une solution autre que d'avoir à acheter de la bande passante supplémentaire, mes boss vont m'aimer!

Non, blague à part. Je pense que nous allons mettre ça sur Dropbox (que nous utilisons déjà), et simplement utiliser un lien externe sur le site. En même temps ça va facilité la mise à jour des fichiers.
Modifié par juliesunset (23 Aug 2013 - 14:30)

a écrit :
Non, blague à part. Je pense que nous allons mettre ça sur Dropbox (que nous utilisons déjà), et simplement utiliser un lien externe sur le site. En même temps ça va facilité la mise à jour des fichiers.

IL ne faut pas oublier non plus que dropbox limite aussi le téléchargement à sa manière... ou alors il faut passer en mode pro.

Au fait, pendant qu'on parle de stockage pro, il y a quelque chose qui me chiffonne :
- 100 Go chez dropbox => 10$/mois
- 100 Go chez OVH/HubiC => 12€/an
Comment explique-t-on le rapport 10:1 ? lequel des deux est une arnaque ?

QuentinC a écrit :
IL ne faut pas oublier non plus que dropbox limite aussi le téléchargement à sa manière... ou alors il faut passer en mode pro.

Nous avons déjà un compte pro.

QuentinC a écrit :
Au fait, pendant qu'on parle de stockage pro, il y a quelque chose qui me chiffonne :
- 100 Go chez dropbox => 10$/mois
- 100 Go chez OVH/HubiC => 12€/an
Comment explique-t-on le rapport 10:1 ? lequel des deux est une arnaque ?

Pourrais pas dire, je ne connait pas OVH/HubiC...

Ce matin, nous étions encore sur le point de défoncé la bande passante... 20go en l'espace d'une fin de semaine. Impossible que ça soit dù uniquement au téléchargement des fichiers pdf. Je vais demander une enquête auprès de mon hébergeur.

Au fait, est-ce que ton hébergeur propose l'outil de statistiques webaliser ? Si oui, peut-être qu'il peut donner quelques réponses. J'y ai pensé en regardant le mien...

En particulier, ça te donne les fichiers visés et la bande passante utilisée pour le téléchargement de ces fichiers, de même que les IP qui téléchargent le plus. Ca te permettra au moins de voir tout de suite si c'est googlebot, une poignée de petits malins, ou une masse de petits téléchargements éparses.

dans mon cPanel, j'ai Awstat. Ça ne me donne pas d'info aussi précise que ce que tu me décrit. Mais j'ai une idée d'où passe la bande passante.

Selon mon hébergeur, notre problème se siturait au niveau des "206 hits".
Je viens de finir d'externaliser les fichiers et changer les liens sur le site. On va voir ce que ça donne.