8710 sujets

Développement web côté serveur, CMS

Bonjour,
j'essaie de faire un script en php pour aider ma femme à récuperer le contenu de plusieurs pages d'un site puis de l'enregistrer dans un fichier texte. Evidemment dans l'url il y a 2 variables qui changent je pense que le script est sur la bonne voie mais je n'arrive pas à trouver ce qui coince pour que le script soit effectif et puisse passer toutes les pages existantes en revue, récupère leur contenu et le mette dans un fichier texte.


<?php
// Initialiser cURL
$curl = curl_init();
// Définir l'adresse à ouvrir
$ad = 1
// variable numéro de ville
$id = 1 ;
// numéro de batiment
while ($ad < 279) {
	while ($id < 999) {
	curl_setopt($curl, CURLOPT_URL, "http://www.rfinfo.vd.ch/rfinfo.php?no_commune=$ad&no_immeuble=$id");
	// Suivre les redirections s'il y en a
	@curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
	// Exécuter
	$result = curl_exec($curl);
	// Fermer pour libérer des ressources systèmes
	curl_close($curl);
	// Afficher le code source de la page
	echo htmlentities($result);
	// ici le code pour copier le contenu de la variable dans un fichier texte
	$id++ ;
	}
$ad++
}
?>


d'avance merci
En clair tu veux faire de l'extraction automatisée de données.
En France, c'est interdit. A lire la page du site, cela semble la même chose en Suisse.
Enfin il est interdit de se faire prendre
En pompant 279x999 = 280 000 pages en moins d'une heure, cela risque de se voir dans les fichiers de log du serveur.
Vu que l'administrateur du site bosse toujours avec la version 5.3.27 de PHP (publié le 09/05/2013), il n'aura peut-être pas le temps de lire ses fichiers de logs.
Quand on envoie une requête sur mon site, la première chose que je vérifie c'est la présence d'un user-agent dans les headers. En cas d'absence, la requête passe silencieusement à la trappe.
Après je ne suis pas sûr que le serveur accepte des requêtes par la méthode GET. En général, il y a des champs cachés dans le formulaire et des cookies qui se promènent entre le serveur et le navigateur.
En général, il est plus efficace au professionnel de payer pour le service fourni
Je comprends bien la problématique légale. Je veux aider quelqu'un qui se lance dans une activité et qui vient d'émigrer là-bas. certains de ses confrères lui on expliquer qu'ils avaient fait faire leur script de pompage par des indiens qui ont moins de scrupules que nous

moi je voulais juste savoir ce qui clochait dans mon script puisque dans l'état il n'ouvre qu'une seule page et toujours la même car pour le moment j'ai testé le script avec une des variables en fixe. l'autre par contre ne s'incrémente pas.

Je file le script à mon cousin en rappelant les risques encourus après vis à vis de la loi créer le script n'est pas problématique, le mettre en oeuvre en est une autre...

si toutefois je pouvais avoir une correction de mon script, je définirai mes variables de manières à faire un test sur une seule commune et sur les 10 derniers bâtiments. le reste ne m'appartiendra plus si le script est utilisé tel qu'attendu