Nettoyage de printemps

Pendant l’utilisation du trameur, nous est apparu un problème, ou des problèmes…

Tout d’abord, les répétitions. A chaque message que les personnes postent sur les forums, il se peut (et cela arrive souvent) que le message précédent soit cités (et recités). Il se peut aussi qu’à chaque message il y ait une répétition générée par le site même (nous l’avions dans l’article précédent avec le terme « abus »). Le trameur faisant bien son travail, il compte ces répétitions comme des occurrences, au final, nous nous retrouvons avec un corpus quelque peu faussé…

Autre chose polluait notre corpus, les boutons, les titres, les rubriques, qui apparaissaient sur les pages dumpées commençant par des  + des * ou des # .

Pour lutter contre tout ces petits tracas, on propose un solution  (qui n’est pas des plus glamour et légère peut-être):

scriptawksed

Avec awk, on supprime toutes les lignes qui sont identiques (comme par exemple  » signaler un abus  »
Avec le premier sed, on supprimer toutes les tabulations et les espaces au début de chaque ligne,Avec le deuxième sed, on supprime chaque ligne qui commencent (uniquement commencent) par un bouton du type + * #.

Vous l’aurez remarqué, nous avons dû crééer des fichiers intermédiaires entre chacune de ces étapes, d’où la lourdeur…

MAIS… on peut voir la différence entre tout d’abord les fichiers non nettoyés :

brutawksed

Et les fichiers dumps nettoyés :

nettoye

Il reste néanmoins des éléments « polluants », mais les boutons et répétitions étaient notre principal problème. On va pouvoir utiliser les fichiers dumps nettoyés pour le trameur désormais.

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s