Blog de David Masclet

Pendant plusieurs années, j'ai travaillé dans une équipe QA (Quality Assurance), où mon rôle était de trouver les causes et de corriger les bugs que d'autres équipes avaient faits: il y avait les développeurs qui implémentaient les fonctionnalités, les testeurs / bêta-testeurs, et mon équipe qui prenait en charge les bugs un peu retords. J'avoue avoir eu des fois beaucoup de mal à reproduire certains bugs.

J'ai appris par expérience que certains bugs pouvaient apparaitre seulement dans des cas de tests et ne se seraient jamais reproduits dans une utilisation normale, d'autres n'apparaissent plus lorsqu'on tente de les observer. C'est là, la différence entre les Bohr bugs, Schrödinbugs, Heisenbugs, et Mandelbugs. Toutes ses catégories de bugs tirent leurs noms de physiciens. Voici les différences fondamentales :

Lors de l'affichage de pages avec des mots dans des alphabets différents il peux arriver que des problèmes d'affichages apparaissent avec des � et des é

Dans le cas de Gisgraphy (exemple pour Pékin), j'ai voulu vérifier que tout s'affiche correctement et que ce qui est affiché correspond bien à l'équivalent ASCII.

Je me suis donc rendu sur cette page et j'ai testé 北京, ce qui m'a donne 'bei jing'.ouah ça marche! et mon navigateur affiche le japonais! essayons en arabe avec بكين , cela me donne "bkyn" qui se rapproche de Beijing et Pékin en phonétique, et là aussi ça s'affiche correctement.

Cela m'a donné l'idée d'un post pour démystifier l'encoding par une suite de questions-réponses. (Finalement je le ferai en deux posts car c'est un peu long, et je risque de perdre et décourager pas mal de lecteurs si je n'en fais qu'un). Le premier expliquera ce qu'est l'encoding :

• Qu'est ce qu'Unicode ?
• Qu'est-ce que l'encoding, le BOM, le Little et le Big Endian
• Quel est le meilleur encoding ?
• Comment fonctionne une police de caractère ?
• Comment gérer les sens d'écriture différents (par exemple, l'arabe qui s'écrit de droite à gauche)

Le second expliquera comment résoudre les problèmes fréquents avec de cas concrets et des extraits de code :

• Comment gérer l'encoding dans un environnement web en java (Java, Apache, Tomcat, ModJK, base de données, navigateurs)
• Comment gérer et débugger des problèmes d'encoding en java

Après ces deux posts vous ne devriez plus jamais voir ça : � sur vos sites, ou si c'est le cas vous saurez comment résoudre le problème :)

Autant trouver un bout de code pour de-zipper un fichier est assez facile, autant en trouver un pour de-tarrer est déjà un peu plus complexe. Ayant eu à le coder, Je vous propose (ça évitera peut être des galères à certains ;) ) une classe qui permet de le faire. Elle permet de décompresser les fichiers tar, tar.gzip, tar.gz, tar.bz2, et tar.bzip2, le choix du traitement se fait selon l'extension.

Connaissez vous les œuf de Pâques (ou easter egg en anglais). Les œufs de paques (dixit Wikipedia) sont des fonctions cachées au sein d'un programme accessible à partir d'un mot clé ou d'une combinaison de touches et de clics (ils peuvent aussi désigner des données erronées mis dans des bases de données payantes pour vérifier qu'elle n'est pas utilisée sans autorisation, il suffit alors de démontrer que les données utilisées illégalement contiennent ces œufs de pâques pour mettre à mal l'honnêteté de ceux qui l'utilisent, mais ce n'est pas l'objet de ce post) En voici quelque uns :

Il y a deux ans, j'envisageais de créer un projet de géolocalisation opensource sous licence LGPL : Gisgraphy . Mon but était de créer un framework permettant d'utiliser les données géographiques gratuites sur le Net. Actuellement il gère les données de Geonames et Openstreetmap, ce qui représente 34 millions d'entrées.

Petit bilan de deux ans de développement :

Les 3 webservices disponibles

• Géocoding / reverse géocoding mondial.
• Recherche texte basée sur solr / lucene avec correcteur orthographique, insensible à la casse, gestion des synonymes, Recherche dans plusieurs centaines de langues.
• Recherche de proximité basée sur postgres / postgis d'aprés coordonnées GPS.

Liste des fonctionnalités

• Serveur de téléchargement gratuit avec 28 millions de noms de rue et 8 millions de lieux en CSV.
• Serveur fournissant les services gratuitement (pour utilisation non commerciale).

Il arrive parfois que l'on ait à faire des tests avec des jeux de données combinatoires. Par exemple, on a un jeu de données A : disons {A1,A2}, et un jeu de données B : {B1,B2}, et on voudrait faire un test où toutes les combinaisons A * B soit testées :

• testMethode(A1,B1)
• testMethode(A1,B2)
• testMethode(A2,B1)
• testMethode(A2,B2)

Il est possible dans ce cas d'utiliser les theories. Il s'agit d'une technique, pour l'instant expérimentale (cf : nom du package), disponible à partir de JUnit 4.4.

Lorsque j'ai voulu offrir la possibilité de pouvoir télécharger les données de OpenstreetMap en CSV, je me suis dit que je devais préserver les ressources de mon serveur (car les webservices et le serveur de téléchargement allait être sur la même machine). Je me suis alors demandé comment limiter la bande passante pour un host en particulier. Il existe un module apache pour faire cela : mod_bandwith.

En regardant les extraits de code de mon blog, je me suis dit que cela serait plus fun, si j'y mettait de la coloration syntaxique.
Ne voulant pas réinventer la roue, je me suis mis à la recherche d'une solution "out of the box", et je suis tombé sur syntaxhighlighter qui me semble vraiment utile au vue du nombre de langages supportés : Bash, Cpp, CSharp, Css, Delphi, Diff, Groovy, Java, JScript, Php, Plain, Python, Ruby, Perl, Scala, Sql, Vb, Xml, AS3, JavaFX, PowerShell, Erlang, ColdFusion.

Il m'est arrivé de devoir limiter l'accès aux webservices de Gisgraphy en raison d'utilisateurs peu scrupuleux qui récupérent les données directement via le webservice. J'ai utilisé pour cela un module Apache appelé mod_evasive.