Fouille de données
L’informatique dédiée à l’exploitation intensive de gros volumes de données est principalement liée aux activités de recherches de l’équipe Ondes, activités liées aux méthodes basées sur le bruit ambiant. Cette expertise se situe à l’interface entre les géophysiciens, les spécialistes de HPC et les bases de données dans le cadre de projets nationaux et européens.
Les codes et documentations associées développés dans le cadre de l’activité ’Fouille de données’ sont accessibles dans la Forge GitLab GRICAD (ou la Forge OSUG pour les projets non encore migrés). A noter que les forges logicielles et/ou documentation de certains de ces projets sont en accès restreints.
Outils conversion de format WIN->MSEED / prétraitement / corrélations / doublets & inversion (projets Whisper et F-Image) :
- code outils de conversion WIN vers MSEED
- wiki et journal projet Whisper, documentation données Japonaises, documentation et code prétraitements des données
- documentation et code outils corrélation/doublets/inversion
Outils beamforming (projets Imag’In, RESOLVE) :
- wiki RESOLVE
- documentation et code
- documentation MFP code
- documentation et code (ancienne version, n’est plus maintenue)
Outils visualisation des sorties du beamforming (collaboration avec R. Blanch et M. Ortega du LIG)
- documentation et code
Projet Optical Correlation : Il s’agit d’effectuer des mesures de déplacement 2D entre des images satellites, pour cela nous définissons un algorithme d’optimisation du fit par une fonction continue (de type sinus cardinal) de la corrélation discrète 2D entre 2 sub-images. Les paramètres optimaux du fit nous renseignent sur le déplacement, l’anisotropie, ...
- documentation et code et wiki
Projet PYCORR (collaboration P. Boué et L. Stehly)
– documentation
Outils Template Matching (projets EventDetection)
– documentation et code
NoiseCorr_DBF : Outils corrélations et double beamforming (projet sanjacinto) :
– documentation et code
– documentation (old wiki)
Outils de détection d’erreur de temps sur réseaux denses (projet iWORMS) :
– Journal en ligne du projet iWORMS (Activités, CR réunions, biblio...)
– documentation et code
– wiki
Outils pour la manipulation/réorganisation de datasets de données valorisées au format HDF5 (projet Utils) :
– documentation et code
Outils pour la conversion FCNT -> MSEED (Projets IMPROVE : Krafla et Harmalière) :
– documentation et code
Tools for performing flow velocity and particle concentration measurements based on Acoustic Particle Image Velocimetry (projet ImVort = Imagerie-Vorticité) :
documentation et code
Outils de prototypage visant à lier les données du centre de données RESIF et les infrastructures HPC CIMENT-GRICAD (projet Resif-Summer-Ciment et code)
Autres :
Lien vers les supports de la formation interne HDF5 pour les personnels RESIF, SIG, IPGP
Lien vers la Formation CiGri, et Support de la présentation
Lien vers l’offre de formation du site : outils pour le traitement de données, le développement logiciel et le calcul (mise à jour au fur et à mesure du déroulé des séances, version complète sur demande)
Les expertises métier des personnels techniques impliqués sont :
– optimisation de codes séquentiels (algorithmique, méthodes numériques, choix des langages, entrées-sorties, ...)
– déploiement d’application sur cluster HPC et FileSystem distribués (Lustre, BeegFS)
– parallélisation d’applications (MPI, OpenMP, grid computing)
– calcul sur grille (CiGri v3)
– Bibliothèques de calcul scientifique BLAS Lapack, Scipy, IntelMKL, ...
– Fortran / C / Python3 / Shell Bash
– iRODS : techniques de transfert, gestion des métadata, ...
– IO parallèles
– format de données HDF5, SEED, NetCDF3, ...
– traitement du signal
Contacts pour l’ activité ’Fouille de données’ :
– Michel Campillo, Philippe Roux, Florent Brenguier, Pierre Boué, Nikolai Shapiro : chercheurs, responsable de projets F-Image, RESOLVE, Pacific, Global, SEISMAZE, ...
– Albanne Lecointre, IR CNRS BapE , responsable de projet iWORMS, équipe Ondes, service GeoData (responsable adjointe du service GeoData)
Les moyens matériels et logiciels adossés à l’activité ’Fouille de données’
– Lien vers les moyens de calcul du mésocentre GriCAD
– Lien vers les moyens de calcul du laboratoire ISTerre
– Lien vers la plateforme de stockage mutualisée UGA-GriCAD SUMMER
Liens avec les autres activités et moyens informatiques à ISterre et à l’OSUG
==> Centre de données d’ISterre
==> Moyens informatiques du laboratoire
==> Centre de stockage OSUG
Liens avec les autres plateformes techniques d’ISTerre
dernière mise à jour le 07/04/2022