Viewport fonctionnel une fois sur 5

Bonjour à tous !
J'aimerais voir faire part d'un problème...
Je suis entrain de développer mon site web.
Le but était de le rendre responsive.
J'ai donc usé de ce meta:

 <meta name="viewport" content="width=device-width, initial-scale=1.0">

Et du @media CSS:

@media screen and (max-width: 640px){ }

Le site est totalement responsive lorsque je redimensionne sur le navigateur.
Par contre, dès que je teste sur Smartphone, c'est la catastrophe...
Le viewport n'a pas l'air de fonctionner. J'ai fait quelques tests en mettant une width de 500. Eh bien même en faisant un alert de la taille de la fenêtre, j'ai 800px qui est, si j'ai bien compris le tutoriel, la taille du navigateur sous Android 3.X. C'est bien le navigateur que j'utilise.
Même chose sous Android 4.X

J'ai remarqué qu'en cochant l'option: "Voir version ordinateur", le viewport fonctionnait et là j'avais bien accès à ma résolution mobile. Mais ça ne fonctionne qu'une fois sur 5...

Voici le lien du site: http://perso.bryan-deliencourt.com
Il est sûrement pas très bien coder, je l'avoue mais ce problème est étrange car en redimenssionnant sur navigateur PC, ça fonctionne bien.

J'aurais besoin de votre aide !

Bonjour,

Sur quel device testes-tu ?
Quelle est sa valeur de viewport (width) ?

http://mydevice.io/

Je teste sur mon Samsung Galaxy SII.
D'après votre site, je suis en 360px+ et j'ai un device-width de 480px et viewport height de 640px.

Très utile au passage ce site. :o