Compter les mots

(reprise du message précédent)

Est-ce que :

[^\d\W]+[^\d\W-]*|[\d]*

correspond du coup ?


https://regexr.com/5mp6s


(oops j'ai oublié les caractères spéciaux comme le î )
(et mince j'ai perdu les - aussi... )
Modifié par _laurent (18 Feb 2021 - 15:02)

Et l'eau,

J'ai lu en Z les réponses et je me dis que tu (js_html) te casses la tête pour pas grand chose. J'ai ouvert un libre office writer et j'ai saisi le texte ci-dessous. Je n'ai même pas eu besoin d'utiliser Counter de l'objet collection. Bref, il suffit de faire simple.

Text = """anti-passe temps Chuck Norris a déjà compté jusqu'à l'infini. Deux fois. Google, c'est le seul endroit où tu peux taper Chuck Norris… Chuck Norris donne fréquemment du sang à la Croix-Rouge. Mais jamais le sien."""

for char in '.,\n':
    Text=Text.replace(char,' ')
word_list = Text.lower().split()

print(word_list)
print(len(word_list))

Pour commenter ce code :
- la boucle for va faire un petit nettoyage rudimentaire
- le text est mis en bas de casse afin qu'il n'y ait pas d'ambiguité (pour un traitement ultérieur)
- il est splité suivant les espaces (équivalent à explode en php)
- compte le nombre d'occurence dans la list. (j'obtiens le même résultat dans libre office writer)
Modifié par niuxe (19 Feb 2021 - 19:48)

@parsimonhi

parsimonhi a écrit :
ce dictionnaire est inutilisable pour ton problème

Ah bon ? Ce que l'on a besoin, ce n'est pas de savoir si les mots de chaque côté des apostrophes et traits d'union existent indépendamment ?

@niuxe
Ton script, c'est du JS ? Ce n'est pas plutôt du Python ou je ne sais quoi ?
Pourquoi tu mets trois """ ?
Si t'obtiens le même nombre que LibreOffice, c'est qu'il compte mal... Déjà, ta phrase n'a presque pas de mots composés, mais "jusqu'à", "c'est", "Croix-Rouge" doivent compter deux mots chacun, donc imagine un texte de plusieurs pages, on s'éloigne vite du compte...
En plus, là, les "; : ! ?" comptent comme un mot ; les mots composés, ça en est loin... Si ça ne fonctionne pas avec les dicos, je préfère amplement le code de _laurent.

Merci !

Bonjour,

js_html a écrit :
Ah bon ? Ce que l'on a besoin, ce n'est pas de savoir si les mots de chaque côté des apostrophes et traits d'union existent indépendamment ?

Si tu valides la règle "mot composé (que ce soit avec apostrophe ou tiret) vaut 1 mot seulement si au moins un des mots le composant n'est pas dans le dictionnaire", ça ne permet pas de résoudre tous les cas me semble-t-il.

Par exemple, "pense-t-on" doit compter pour 2 mots. On doit retirer le -t- (ok, ça, c'est facile), mais après, "pense" et "on" sont tous les deux dans le dictionnaire. Ils sont séparés par un "-", mais ce n'est pas un mot composé. De même dans "que fait-il", c'est 3 mots, pourtant tous les composés sont dans le dictionnaire. Et pour "va-t'en" c'est pareil : 2 (ou 3?) mots alors que "va" et "en" sont dans le dictionnaire, et qu'il faut retirer (ou pas?) cette fois-ci "-t'".

Il y a peut-être d'autres cas encore plus gênants. Je ne suis pas omniscient.

Il faut aussi faire attention qu'un mot composé a parfois plus de 2 composants.

Il faut tenir compte du fait qu'avec les apostrophes, il manque une (ou plusieurs dans certains cas) lettre au mot précédent l'apostrophe.

Amicalement,
Modifié par parsimonhi (20 Feb 2021 - 18:23)

Bonjour,

parsimonhi a écrit :
ce dictionnaire est inutilisable pour ton problème. Il ignore complètement les apostrophes, et il met (tous?) les mots avec des tirets, même ceux qui sont considérés comme devant être comptés comme plusieurs mots (voir par exemple cerf-volant). Or, c'est de la fiabilité sur ces points-là dont tu as besoin.

Sinon, si besoin, après d'amples recherches, j'ai trouvé un dictionnaire qui conviendrait : http://abu.cnam.fr/DICO/donner-dico-uncompress.html ! En copiant tous les mots, en splitant... J'obtiens 289 499 mots, dont 100 avec une apostrophe et 3682 contenant apostrophe ou trait d'union ou les deux. Il date de 1999 (donc les mots plus récents n'y apparaissent pas et les rectifications orthographiques de 1990 n'y apparaissent pas non plus, mais il doit déjà y avoir pas mal de voc...) ! Voici le fichier xlsx correspondant au dico trouvé : ici. Après, il est tout à fait possible de le transformer en txt ou autre...

Salut parsimonhi,
Est-ce que tu penses que c'est envisageable d'utiliser les vraies règles de comptage de mots, du coup ?
Mon dictionnaire convient-il ?
Quel processus faut-il faire ?

Merci !

Bonjour,

Les ressources : le ou les dictionnaires dont tu disposes, l'ensemble de règles de comptage de mots que tu as trouvé (ou qu'on t'a indiqué).

Pour le choix des règles, encore une fois, tu fais comme tu le sens. On n'est pas à ta place, on n'a aucune idée du contexte, on ne sait pas jusqu'où il faut être précis, on ne sait pas ce que tu veux faire de ce comptage, on ne sait pas pour quel genre de texte tu veux compter les mots.

On comprend juste qu'il y a un peu de tout sans trop savoir jusqu'où ça va (si par exemple tu commences à vouloir analyser n'importe quelle formule mathématique, voir des textes représentant du code informatique, on n'est pas rendu).

Bref, on ne peut pas faire les choix à ta place.

Amicalement,