Logiciels

Pipelet

Pipelet est un logiciel sous license libre, conçu pour faciliter le traitement de données. 

Il permet de créer, manipuler, exécuter des chaînes de traitement, et naviguer à travers les différentes instances produites. 

Son infrastructure:

  • permet de construire et visualiser n'importe quel schéma de dépendance;  
  • offre un accès web aux données et figures produites, afin de faciliter les comparaisons et la traçabilité;
  • facilite le passage à l'échelle, en rendant les chaînes portables et parallélisables sur les machines de calcul parallèle.  

Le moteur du logiciel, ainsi que son interface Web sont écrits en Python. 

Obtenir le logiciel

Lire la documentation

APCScheduler

APCScheduler est une librairie python qui permet de soumettre des jobs sur une grille de calcul configurée en gLite/WMS depuis une User Interface (UI) et ayant accès à un Storage Element (SE).

APCSheduler rend l'utilisation de la grille proche de celle d'un cluster grâce à la création d'un tarball automatique pour les binaires exécutables et au rapatriement des données d'un répertoire "boite aux lettres" sur le Compute Element vers l'UI. Des commandes unix APCgrid permettent de gérer le contenu des SE, de créer des tarball et de lancer des jobs.

APCScheduler permet également de gérer les jobs sur le cluster du CCIN2P3 et en local avec une syntaxe très proche. APCScheduler offre la possibilité de grouper plusieurs jobs, d'attendre qu'ils soient tous terminés pour enchainer sur l'analyse des résultats.

APCScheduler est très facile à installer, il se compose d'une seule librairie python et de quelques scripts.

Obtenir le logiciel

Lire la documentation

 

 

 

French