Des flux scientifiques avec EWOKS : les pipelines de recherche entrent dans la suite
Les données de recherche arrivent rarement analysées. Elles arrivent comme sorties brutes d'instruments, à réduire, calibrer et traiter à travers la même séquence d'étapes à chaque fois, par des personnes différentes, des jours différents, de façon reproductible. Pour répondre à ce besoin, openEduSuite intègre désormais EWOKS, le framework open source de flux de travail scientifiques développé au Synchrotron européen (ESRF), comme service de la suite avec authentification unique.
Ce qu'est EWOKS
EWOKS (l'Extensible Workflow System, développé par le groupe logiciel du Synchrotron européen, ESRF) est un méta-système de flux de travail : une couche d'abstraction entre la définition d'un flux et le moteur d'exécution qui l'exécute. Un flux s'exprime comme un graphe de tâches et peut ensuite être exécuté sur tout moteur pris en charge : actuellement pypushflow, Orange, Dask et le moteur interne d'EWOKS. Propriétés clés :
- Écosystème Python : les tâches sont du Python ordinaire ; le code d'analyse existant s'enveloppe au lieu de se réécrire.
- Portabilité entre moteurs : la même définition de flux s'exécute sur différents moteurs, sans modifier le flux.
- Interface web et API REST : les flux se créent, s'éditent et se surveillent dans le navigateur (ewoksweb) et se pilotent par programme.
- Définitions sérialisables : les flux se stockent en JSON ou YAML et peuvent servir de documentation de provenance des données pour les publications.
EWOKS a été conçu pour traiter les pipelines de données d'expériences à grande échelle, où la reproductibilité n'est pas négociable. Ce sont exactement les propriétés dont les groupes de recherche des universités ont besoin aussi.
Une intégration à égalité avec les autres services
L'intégration suit le même schéma que pour tout autre service de la suite :
- Authentification unique : le service se place derrière la passerelle d'authentification standard et authentifie les utilisateurs auprès du fournisseur d'identité central Keycloak. Les chercheurs se connectent avec les comptes qu'ils possèdent déjà ; aucune gestion locale des utilisateurs.
- Chaînes de redirection vérifiées : le chemin SSO (démarrage de la passerelle, connexion au fournisseur d'identité, redirection vers l'application) est exercé par des tests automatisés de navigateur, de sorte qu'un flux de connexion cassé se détecte avant que les utilisateurs le trouvent.
- Une entrée de portail : EWOKS apparaît dans la grille principale des services du portail comme « Scientific Workflows », à côté du courrier, des fichiers et des autres services du quotidien.
Sa place dans l'ensemble
La suite couvre désormais trois couches d'automatisation complémentaires, chacune avec son rôle propre :
| Couche | Service | Rôle |
|---|---|---|
| Automatisation générale | n8n | Connecter des services web, notifications, colle administrative |
| Flux scientifiques | EWOKS | Pipelines de données de recherche reproductibles sous forme de graphes de tâches |
| Calcul interactif | JupyterHub, Dask | Exploration, notebooks, calcul distribué |
Aucune couche n'en remplace une autre. Un groupe de recherche peut prototyper une étape de réduction dans un notebook, la production comme tâche EWOKS, et faire notifier un canal par un flux n8n quand le pipeline se termine.
La suite
- Autorisation par groupe : affiner quels flux et résultats sont visibles par quels groupes de recherche, en s'appuyant sur le modèle de rôles existant.
- Flux d'exemple : une petite bibliothèque de pipelines prêts à adapter pour des schémas d'analyse courants.
- Documentation : un guide d'intégration à la suite pour que les institutions déploient le même schéma.
Appel à l'action
- Découvrir EWOKS : la documentation du framework se trouve sur ewoks.readthedocs.io.
- Apporter un pipeline : enveloppez le code d'analyse Python existant de votre groupe comme premier graphe de tâches et essayez-le dans la suite.
- Participer : rejoignez la communauté openEduSuite et façonnez la feuille de route des données de recherche.
De l'instrument à la découverte ; les pipelines reproductibles font désormais partie du poste de travail numérique.
Attribution : EWOKS est développé au Synchrotron européen (ESRF) et utilisé ici comme logiciel open source. Cet article est indépendant et n'est ni affilié à l'ESRF ni approuvé ou sponsorisé par celui-ci. Tous les autres noms de produits sont des marques de leurs propriétaires respectifs.
