1. Client Windows : j'utilise
http://msysgit.github.io/ (je viens de découvrir qu'il y a un GUI... j'ai toujours cliqué sur l'icône Git Bash sur le bureau huhu)
2. Intérêt : si tu travailles seul pas trop, à part pour te faire la main.
Si tu travailles à plusieurs, oh oui c'est très intéressant.
http://blog.freelan.org/2011/02/02/decouverte-de-git-sous-windows/ a l'air d'avoir une explication correcte.
Tu as 2 niveaux de dépôts : le dépôt global et celui de chaque utilisateur.
Bon en fait c'est faux mais c'est comme ça que je l'utilise : tout le monde travaille sur un projet et à un moment donné il faut envoyer une version au client ou la publier : cette version-là est plus importante que les autres même si GIT, techniquement, s'en fiche.
Tu peux donc commiter un travail en cours encore tout buggué et qui va prendre plusieurs jours à finir sur ton dépôt que personne ne voit et quand c'est terminé le commiter à tes collègues. Avec SVN si tu veux commiter tu vas tout casser chez tes collègues ou bien tu ne commites pas pendant des jours... à quoi bon versionner dans ce cas !
Perso j'utilise SVN surtout pour des CSS alors ça convient bien, chacun travaille sur des blocs ou pages assez indépendantes et chaque tâche est assez courte. Si c'était pour du développement avec des classes à modifier ce serait autre chose.
L'inconvénient de Git, c'est que tu as souvent 3 ou 4 arguments à donner en ligne de commande... OK c'est puissant mais il faut un gros temps d'apprentissage, un bloc-notes où noter les commandes que l'on utilise le plus, etc
Exemple : git push origin master est une commande de base.
3. Une fois que tu as installé Git sur ta machine, tu as un serveur Git

Pour travailler à plusieurs, encore faut-il pouvoir donner un lien visible par tes collègues donc un serveur mais tout seul pas besoin. Il existe des sites concurrents de Github avec des dépôts gratuits et privés mais je me rappelle plus du nom... Bon tu sais pas à qui tu confies tes données donc faut leur faire confiance (mais comme on les confie déjà à quelques gouvernements paraît-il...)
Pour débuter, voir le lien ci-dessus et sinon en anglais j'avais utilisé
https://help.github.com/ qui ne parle pas que de Github mais aussi de Git en général, y compris la partie "travailler à plusieurs". Ceci dit les pages sont super longues, j'avais beaucoup scanné visuellement et scrollé...