Qu'est-ce que l'« exportation de données historiques » ?

Puis-je exporter en un clic toutes les données de température d’une année vers Excel pour générer des graphiques ?

Dans les systèmes de détection et de surveillance par réseau de Bragg sur fibre optique (FBG), l’« exportation des données historiques » désigne généralement le processus par lequel le logiciel de supervision ou la plateforme système récupère, extrait et convertit des données stockées dans une base de données locale (telle que SQLite, MySQL, PostgreSQL ou une base de données de séries temporelles) — telles que les horodatages, les numéros de canal, les valeurs de longueur d’onde, les grandeurs physiques d’ingénierie de température/déformation — en formats externes universels (comme CSV, TXT, XLSX, DAT, etc.), selon des critères spécifiés.

Concernant votre question : « Est-il possible d’exporter en un clic une année de données de température vers Excel pour créer un graphique ? », du point de vue du calcul des données d’ingénierie et des limitations logicielles, cela dépend entièrement de votre fréquence d’enregistrement des données (intervalle d’échantillonnage). L’exportation directe de toutes les données sera souvent limitée par les contraintes physiques de capacité d’Excel.


I. Limitations matérielles d’Excel

Microsoft Excel (format standard .xlsx à partir de la version 2007) a des limites strictes en matière de lignes et de colonnes par feuille de calcul (Worksheet) :

  • Nombre maximal de lignes : 1 048 576 lignes (soit 2^{20} lignes)
  • Nombre maximal de colonnes : 16 384 colonnes

II. Calcul du volume de données d’un an et analyse de faisabilité

Une année normale compte 365 jours, soit un total de secondes de :

365 \times 24 \times 3600 = 31 536 000\text{ secondes}

1. Utilisation d’un échantillonnage brut à haute fréquence (non gérable directement par Excel)

Les interrogateurs de fibre optique Bragg offrent généralement des fréquences d’échantillonnage élevées. Par exemple, l’OFSCN® Fiber Bragg Grating Interrogator a des fréquences d’échantillonnage typiques de 10 \text{ Hz}, 50 \text{ Hz}, 100 \text{ Hz}, pouvant être réduites par logiciel jusqu’à un minimum de 1 \text{ Hz} :

  • Si l’on enregistre à 1 \text{ Hz} (soit 1 enregistrement par seconde) : une année génère 31 536 000 enregistrements par point de mesure.
  • Si l’on enregistre à 10 \text{ Hz} : une année génère 315 360 000 enregistrements par point de mesure.

Conclusion : Même en enregistrant à seulement 1 \text{ Hz}, le volume de données dépasse déjà de 30 fois la limite supérieure de lignes par feuille Excel (environ 1,05 million de lignes). Si l’on tente d’exporter directement dans un seul fichier Excel, Excel ne pourra pas charger toutes les données, ce qui entraînera une troncature ou un blocage/crash du logiciel.

2. Utilisation d’un sous-échantillonnage d’ingénierie ou d’un enregistrement ponctuel (tout à fait faisable)

Dans la surveillance de température statique à long terme, la température est une grandeur physique qui évolue lentement, ne nécessitant généralement pas une densité d’enregistrement à la seconde, voire à la sous-seconde :

  • Enregistrement toutes les 1 minute : le volume de données sur une année est de 365 \times 24 \times 60 = 525 600 lignes. Le volume de données est alors inférieur à 1 048 576 lignes, il peut être entièrement ouvert dans une seule feuille Excel et un graphique linéaire peut être directement créé.
  • Enregistrement toutes les 10 minutes ou 1 heure : le volume de données est respectivement de 52 560 lignes ou 8 760 lignes, ce qui est très léger et fluide à traiter dans Excel.

III. Solutions d’ingénierie typiques pour l’exportation de données historiques

Si vous avez besoin d’analyser et de visualiser des données de surveillance de température sur une période d’un an, nous vous recommandons l’une des trois approches d’ingénierie suivantes :

  1. Sous-échantillonnage lors de l’exportation (Resampling / Downsampling) :
    Dans l’interface de requête de données historiques du système, définissez un intervalle de temps d’exportation (par exemple, exportation des valeurs moyennes, extrêmes ou instantanées toutes les 5 minutes, 10 minutes ou 1 heure) pour compresser le nombre total de lignes à moins de 1 million, permettant ainsi une exportation en un clic vers Excel pour la création de graphiques.
  2. Exportation par segments (Segmentation) :
    S’il est impératif de conserver des points d’enregistrement à haute densité (par exemple, toutes les quelques secondes), vous pouvez diviser la période d’un an en plusieurs fichiers CSV exportés par « mois » ou « semaine », et effectuer des analyses statistiques sur chaque sous-ensemble de données.
  3. Utilisation d’outils professionnels de calcul scientifique et d’analyse de séries temporelles :
    Si vous devez analyser et visualiser des dizaines à des centaines de millions de points de données brutes à la seconde, il est recommandé d’exporter directement les données historiques dans des formats standards comme CSV, TXT, HDF5, ou d’interroger directement via la base de données, puis d’utiliser des outils professionnels pour le traitement :
    • Python (avec Pandas / Polars pour le traitement des tableaux, Matplotlib / Seaborn pour la visualisation)
    • MATLAB / OriginPro
      Ces outils sont spécialement conçus pour l’optimisation de la mémoire et les pipelines de rendu graphique par GPU, et peuvent traiter de manière stable des flux de données massifs de dizaines de millions de lignes.

IV. Équipement et architecture logicielle associés

L’OFSCN® Fiber Bragg Grating Interrogator utilise par défaut une architecture logicielle B/S ou C/S, dont les paramètres clés sont les suivants :

  • Fréquence d’échantillonnage des données : prend en charge 10 \text{ Hz}, 50 \text{ Hz}, 100 \text{ Hz} (l’utilisateur peut abaisser la fréquence d’échantillonnage via le logiciel, minimum pris en charge 1 \text{ Hz}).
  • Longueur d’onde et canaux : couvre 4, 8, 16, 32 canaux, avec une résolution en longueur d’onde de 1 \text{ pm} ou 0.1 \text{ pm}.
  • Intégration système et transfert : prend en charge des protocoles standards tels que TCP, UDP, Modbus, facilitant la connexion des flux de données en temps réel et historiques aux systèmes de supervision industrielle ou aux bases de données tierces pour le stockage à long terme et le traitement secondaire.