Français
Disponible sur Google Play

Exporter ses données de terrain en CSV depuis Android

Par GiveMeMood · · 7 min de lecture · Recherche de terrain

Illustration pour « Exporter ses données de terrain en CSV depuis Android » : capture d'écran de counter app : share export (exemple recherche de terrain), dans un thème de couleur Neon Contrast

À retenir

Pour exporter des données de terrain en CSV sur Android avec Counter App — Tally & Clicker, créez un compteur par unité d'échantillonnage avec les mêmes étiquettes sur chacun, puis ouvrez les options d'exportation, cochez « Résumé », « Événements », « Notes » ou « Emplacements » et choisissez CSV ou Excel. Des noms et des pas cohérents gardent le fichier prêt pour l'analyse, avec peu de nettoyage.

  • Counter App — Tally & Clicker exporte les comptages de terrain depuis un téléphone Android en CSV, en Excel (XLSX) ou en rapport HTML avec photos intégrées.
  • Un export de données de terrain bien rangé commence par la structure, avec un compteur par unité d'échantillonnage et un jeu d'étiquettes identique, servant de variables, sur chaque compteur.
  • La boîte de dialogue d'export de Counter App comporte quatre sections indépendantes, « Résumé », « Événements », « Notes » et « Emplacements », et « Événements » contient chaque comptage avec son horodatage.
  • Les photos des comptages de terrain vont dans le rapport HTML et dans les fichiers ZIP de sauvegarde, jamais dans le CSV.
  • Des noms cohérents complétés par des zéros, des libellés d'étiquettes courts et stables et un même format de date sur tous les téléphones gardent les fichiers CSV de terrain propres pour R, Python ou un tableur.

Compter sur le terrain n'a de sens que si l'on finit avec des chiffres analysables. Cela paraît évident, mais une bonne partie des données de terrain est collectée sous une forme qu'il faut ensuite dompter pour la faire entrer dans un tableur : noms incohérents, unités noyées dans du texte libre, deux observateurs qui utilisent des libellés différents pour la même chose. Counter App, de GiveMeMood, sait exporter en CSV, en Excel et en HTML sur un téléphone Android, mais l'export ne sera jamais plus ordonné que la structure que vous aurez construite avant le premier comptage.

Cet article part du fichier que vous voulez obtenir et remonte le fil pour montrer comment configurer les compteurs afin que le CSV ne demande que peu, voire pas, de nettoyage.

Quel tableau un export de données de terrain doit-il produire ?

Avant de créer quoi que ce soit dans l'application, esquissez le tableau dont votre analyse a besoin. Pour la plupart des travaux de terrain fondés sur le comptage, il ressemble à ceci : une ligne par unité d'échantillonnage et par variable, avec des colonnes pour le site, l'unité, le nom de la variable, l'effectif et éventuellement le lieu ou la date. Une disposition bien rangée (« format long ») est la plus facile à restructurer ensuite dans R, Python ou un tableau croisé dynamique.

Posez-vous ensuite trois questions :

  1. Quelle est mon unité d'échantillonnage ? Un transect, un quadrat, un point d'écoute, un piège, un intervalle de temps ?
  2. Quelles sont mes variables ? Des espèces, des codes de comportement, des classes de véhicules, des types de matériaux ?
  3. Quel contexte dois-je conserver ? Le lieu, l'observateur, la météo, le numéro de passage ?

Les réponses déterminent la façon dont vous utilisez catégories, compteurs et étiquettes.

Faire correspondre la structure aux colonnes

L'application comporte trois niveaux de structure :

  • Les catégories s'emboîtent sur trois niveaux maximum et jouent le rôle de colonnes de regroupement : projet, site, passage.
  • Les compteurs sont vos unités d'échantillonnage. Chacun a un nom, une couleur, un code, une description, des notes et un lien.
  • Les étiquettes à l'intérieur d'un compteur sont vos variables. Chaque étiquette a sa propre valeur, son pas, son objectif, sa couleur, son lieu, son code-barres, son minuteur, son chronomètre et ses notes.

Un choix par défaut raisonnable consiste à prévoir un compteur par unité d'échantillonnage et une étiquette par variable, avec le même jeu d'étiquettes sur chaque compteur. Quand la liste des étiquettes est identique partout, l'export « Résumé » s'aligne en une grille propre.

L'inverse, un compteur par variable avec les unités comme étiquettes, est parfois utile, par exemple quand la liste des variables est courte et les unités nombreuses. Choisissez une seule disposition pour tout le projet et tenez-vous-y.

Des conventions de nommage qui résistent à l'analyse

Les codes et chemins de catégorie de la carte du compteur deviennent des identifiants dans le fichier exporté.

Les noms deviennent des identifiants, et des identifiants incohérents cassent l'analyse. Quelques règles qui font gagner des heures :

  • Utilisez un motif fixe. « S01-T2-Q05 » plutôt qu'un mélange de « Site 1 T2 q5 » et de « S1/T2/Q05 ».
  • Complétez les nombres par des zéros pour que l'ordre alphabétique corresponde à l'ordre numérique. La liste des compteurs propose six ordres de tri, mais aucun ne peut empêcher « Q10 » de passer avant « Q2 ».
  • Gardez des noms de variables courts et stables. « bécasseau variable » et non « Bécasseau variable (adulte, en alimentation) ». Placez les précisions dans les notes ou dans des étiquettes séparées.
  • Évitez les virgules et les retours à la ligne dans les noms. Le CSV gère le texte entre guillemets, mais certains outils et petits scripts non.
  • Utilisez le champ code du compteur pour l'identifiant compact qu'attend votre base de données, et le champ nom pour un libellé qu'un humain reconnaît.

La recherche dans la liste des compteurs permet de retrouver vite une unité sur le terrain, et elle n'est utile que si les noms suivent un motif que l'on peut taper.

Les étiquettes deviennent des variables

Les libellés et les lieux des étiquettes deviennent les valeurs des colonnes ; réglez-les donc avec soin.

Le libellé de chaque étiquette devient une valeur dans les données exportées : traitez donc les libellés comme des noms de variables. Donnez à chaque étiquette, sur chaque compteur, la même orthographe et les mêmes majuscules. Les couleurs ne sont pas exportées comme données, mais des couleurs cohérentes réduisent les erreurs pendant le comptage, ce qui compte davantage.

Les pas méritent une mention dans vos métadonnées. Une étiquette au pas de 5 enregistre 5 par appui, et la valeur exportée est le total, pas le nombre d'appuis. Si certaines étiquettes utilisent un pas différent de 1, notez-le dans la description du compteur et dans votre README.

Le lieu d'une étiquette peut être un point GPS, un point choisi sur une carte ou un texte saisi. Pour l'analyse, des codes saisis qui correspondent à votre registre des sites sont en général plus utiles que des coordonnées brutes, sauf si vous cartographiez.

De quelles sections d'export une analyse de terrain a-t-elle besoin ?

Chaque case correspond à un type de tableau différent dans le fichier produit.

La boîte de dialogue des options d'exportation propose quatre sections que l'on coche indépendamment :

  • Résumé : les totaux par étiquette pour chaque compteur. C'est le tableau central de la plupart des analyses.
  • Événements : chaque comptage individuel avec son horodatage, son pas et la valeur obtenue. Indispensable pour tout ce qui dépend du temps : taux, intervalles, rythmes d'activité.
  • Notes : les notes en texte libre rattachées aux compteurs, aux étiquettes et aux événements.
  • Emplacements : les lieux enregistrés pour les étiquettes.

N'exportez que ce dont vous avez besoin. Un CSV limité au « Résumé » est léger et facile à vérifier. Ajouter « Événements » peut allonger considérablement le fichier, ce qui ne gêne pas un script mais complique une relecture à l'œil.

CSV, Excel ou HTML ?

Le CSV est le format par défaut pour l'analyse. C'est du texte brut, lisible par tous les outils et facile à versionner.

Excel (XLSX) convient aux collaborateurs qui vivent dans les tableurs, et il évite certaines surprises d'encodage et de séparateur que les fichiers CSV provoquent avec certains paramètres régionaux.

Le rapport HTML n'est pas fait pour l'analyse. C'est un document lisible avec photos intégrées, idéal en pièce jointe d'un rapport de terrain, pour un propriétaire foncier ou pour des archives.

L'écran « Partager et exporter » propose « Partager en page HTML » et « Exporter les données ». Les photos ne vont jamais dans le CSV ; pour elles, utilisez le rapport HTML ou un ZIP de sauvegarde.

La section « Événements » en pratique

Le journal de l'application contient les mêmes informations que celles exportées par la section « Événements ».

L'export « Événements » contient les mêmes informations que l'écran d'historique de l'application : chaque plus ou moins avec l'heure exacte, le pas, la valeur avant et après, et l'étiquette. Vous pouvez ainsi reconstituer la séance de comptage après coup : combien de contacts sont survenus dans la première minute d'un point d'écoute, ou si un observateur a compté par rafales.

Deux mises en garde. Les corrections apparaissent comme des événements moins ; si votre analyse additionne les événements, incluez-les plutôt que de les filtrer. Et l'historique de l'application n'a pas de recherche : pour auditer une longue séance, exportez « Événements » et filtrez dans l'outil de votre choix.

Les notes comme données qualitatives

Relire les notes avant l'export permet d'attraper des fautes de frappe qui atteindraient sinon le jeu de données.

C'est dans les notes que vit le contexte : météo, dérangement, identifications incertaines, écarts de méthode. Elles s'exportent sous forme de texte, et c'est justement parce qu'elles ne sont pas structurées qu'elles ont de la valeur.

Un peu de discipline aide. Mettez-vous d'accord sur quelques préfixes, comme « MTO: » pour la météo et « ID?: » pour les identifications incertaines, afin de pouvoir filtrer les notes plus tard par simple recherche de texte. Parcourez l'écran « Toutes les notes », qui liste les notes avec les libellés des étiquettes et les heures et peut être trié, avant d'exporter, et corrigez les fautes à la source.

Une vérification rapide avant l'export

Un rapport incréments/décréments déséquilibré invite à consulter d'abord l'historique.

Ouvrez le tableau de bord de chaque compteur avant d'exporter. Il affiche le total et l'objectif, les incréments face aux décréments, un histogramme d'activité sur sept jours et un diagramme circulaire par étiquette. Si les décréments sont anormalement élevés, quelqu'un a peut-être beaucoup corrigé, ou un appui en poche est passé inaperçu. Consultez l'historique et corrigez les données dans l'application avant qu'elles n'atteignent vos fichiers. Verrouiller les compteurs terminés évite d'emblée la plupart de ces problèmes.

Comment nettoyer et fusionner les fichiers CSV de terrain exportés ?

Même avec une bonne structure, prévoyez un peu de nettoyage :

  1. Uniformisez les noms de colonnes si vous combinez des exports issus de versions ou de configurations différentes de l'application.
  2. Vérifiez l'encodage quand les noms contiennent des lettres accentuées ; ouvrez le CSV en UTF-8.
  3. Analysez les dates explicitement. Indiquez à votre outil le format de date attendu plutôt que de vous fier à la détection automatique.
  4. Assemblez les fichiers par lignes, puis ajoutez les colonnes de contexte, comme l'observateur ou le passage, que vous avez codées dans les noms de catégories.
  5. Passez du format long au format large seulement à la fin, pour l'analyse précise qui l'exige.

Laissez les exports bruts intacts et faites tout le nettoyage dans un script, afin de pouvoir le relancer si vous découvrez un problème.

Plusieurs observateurs

Importer le ZIP d'un collègue montre son contenu avant toute fusion.

Il n'y a pas de synchronisation en direct entre les téléphones ; les projets à plusieurs observateurs ont donc besoin d'un plan :

  • Attribuez à chaque observateur une catégorie distincte ou un préfixe de compteur distinct, pour que les fichiers n'entrent jamais en collision.
  • Chaque observateur exporte un CSV en fin de journée et nomme le fichier avec la date et ses initiales.
  • Sinon, chaque observateur crée un ZIP de sauvegarde, qui peut être limité à certains compteurs ou catégories et peut compresser les photos.

Lorsqu'un ZIP de sauvegarde est importé, un aperçu montre son contenu et demande comment traiter les doublons : remplacer, copier ou ignorer. Notez que « Copier » crée des compteurs en double, ce qui convient pour conserver les deux versions mais pas pour une fusion de routine.

Formats de date et paramètres régionaux

Choisissez le format de date que votre logiciel d'analyse lit sans difficulté.

L'application propose cinq formats de date dans les paramètres. Choisissez-en un que vos outils d'analyse lisent proprement, et faites le même choix sur tous les téléphones de l'équipe. Si vos collaborateurs travaillent dans des langues différentes, les 37 langues d'interface de l'application ne modifieront pas vos libellés d'étiquettes, mais chaque téléphone conserve son propre réglage de format de date : mettez-vous donc d'accord avant le début de la saison.

Documenter ses données

Un jeu de données sans documentation est un casse-tête pour votre futur vous. À côté des exports, tenez un court README qui consigne :

  • ce que représente chaque catégorie, chaque compteur et chaque étiquette ;
  • toute étiquette dont le pas est différent de 1 ;
  • les préfixes de notes et leur signification ;
  • le téléphone et l'observateur à l'origine de chaque fichier ;
  • le format de date utilisé.

Les sauvegardes comme enregistrement de référence

Les exports sont des instantanés. Le ZIP de sauvegarde est ce qui se rapproche le plus d'un enregistrement complet, puisqu'il inclut les photos et peut être réimporté plus tard. Les données de terrain sont stockées sur le téléphone, sans cloud Counter App : faites donc une sauvegarde à la fin de chaque journée de terrain et copiez-la en lieu sûr. Les compteurs supprimés peuvent être restaurés depuis la corbeille, mais cela ne protège pas contre la perte du téléphone.

Un exemple de méthode de travail

Imaginez une équipe de deux personnes qui inventorie les pontes d'amphibiens dans douze mares. Les catégories sont Inventaire des mares → Passage → Observateur, les compteurs sont nommés de « P01 » à « P12 », et chaque compteur porte les mêmes quatre étiquettes. Chaque soir, les deux observateurs exportent « Résumé » et « Notes » en CSV, créent un ZIP de sauvegarde et copient le tout dans un dossier partagé sur un ordinateur portable, nommé par date. Un court script assemble les CSV, ajoute des colonnes passage et observateur à partir des noms de fichiers et écrit un seul tableau bien rangé. Cette organisation et ces chiffres sont un exemple, pas la description d'un projet réel.

Téléchargez l'application sur counterapp.online.

Questions fréquentes

Vers quels formats de fichier peut-on exporter les comptages de terrain ?

Counter App exporte des fichiers CSV et Excel (XLSX) pour l'analyse, ainsi qu'un rapport HTML qui intègre les photos des étiquettes, pour la lecture et l'archivage.

Un chercheur de terrain peut-il choisir les sections incluses dans un export CSV ?

Oui. « Résumé », « Événements », « Notes » et « Emplacements » sont des cases à cocher distinctes ; on peut donc n'exporter que les totaux ou y ajouter le journal complet des événements.

Les photos de terrain sont-elles incluses dans un export CSV ?

Non. Les photos sont intégrées au rapport HTML et incluses dans les fichiers ZIP de sauvegarde, pas dans le CSV.

Comment fusionner les exports CSV des téléphones de plusieurs observateurs ?

Il n'y a pas de synchronisation en direct. Fusionnez les fichiers CSV exportés dans votre outil d'analyse, ou importez des ZIP de sauvegarde avec un aperçu qui propose de remplacer, copier ou ignorer les doublons.

L'export des données de terrain exige-t-il un compte ou un stockage dans le cloud ?

Non. Counter App fonctionne sans compte et n'a pas de cloud Counter App ; les données sont stockées sur le téléphone, et c'est vous qui décidez quand et où partent les fichiers exportés.

Pour une étiquette au pas de 5, la valeur exportée correspond-elle aux appuis ou au total ?

L'export indique le total. Une étiquette au pas de 5 ajoute 5 par appui ; notez donc tout pas non standard dans la description du compteur et dans le README du jeu de données.

Les appuis sur moins apparaissent-ils dans l'export « Événements » ?

Oui. Les corrections sont consignées comme des événements moins ; une analyse qui additionne les événements doit donc les inclure plutôt que les filtrer.

Plus sur recherche de terrain · Tous les articles