Qu'est-ce que l'outil de création d'applications d'OpenMind et comment fonctionne-t-il ?

OpenMind L'entreprise conçoit des outils destinés à simplifier le développement de logiciels pour machines autonomes. Au cœur de cette démarche se trouve OM1, un système d'exploitation open source conçu pour les robots et autres dispositifs intelligents. L'entreprise décrit souvent OM1 comme une plateforme robotique de type Android, c'est-à-dire un environnement d'exécution partagé qui masque les différences matérielles et permet aux développeurs de se concentrer sur le comportement et la logique.

Récemment, OpenMind a introduit Créateur d'applications OpenMindUn outil de configuration visuelle, disponible sur son portail développeur, permet aux développeurs de créer, modifier et déployer des applications robotiques sans écrire de code pour les tâches courantes. L'annonce, faite via le compte X officiel de l'entreprise, était accompagnée d'une courte vidéo de démonstration présentant le produit en action.

Cet article explique ce qu'est OpenMind App Builder, comment il fonctionne sur le plan technique et quelle est sa place au sein de l'écosystème OM1.

Quelle est la mission globale d'OpenMind ?

L'objectif d'OpenMind est de permettre le développement de machines autonomes grâce à des standards partagés et des logiciels modulaires. OM1 est distribué sous licence MIT et développé en open source sur GitHub, où il a bénéficié de milliers d'étoiles et de contributions de la communauté. Son environnement d'exécution est conçu pour prendre en charge une large gamme de robots, notamment des humanoïdes, des quadrupèdes comme la série Unitree Go et des plateformes de recherche mobiles telles que TurtleBot.

Le Société soutenue par Pi Network Ventures Fabric est également un contributeur essentiel de la Fabric Foundation, une organisation qui se consacre aux normes de coordination des machines autonomes et d'identité sur la chaîne de valeur. Fabric promeut des spécifications telles que l'ERC 7777, qui définit la manière dont les comportements des robots peuvent être décrits et échangés. L'App Builder se positionne comme une interface pratique s'appuyant sur ces systèmes sous-jacents.

Qu'est-ce que l'outil de création d'applications OpenMind ?

OpenMind App Builder est une interface visuelle sans code ou à faible code permettant de configurer le comportement des robots OM1. On y accède via le portail développeur OpenMind après création d'un compte. Au lieu de rédiger manuellement des fichiers de configuration, les développeurs créent des applications en assemblant des nœuds visuels représentant les modes du robot et en définissant leurs interactions.

Chaque application est représentée par un organigramme. Les nœuds correspondent à des états comportementaux tels que l'accueil, la navigation ou la cartographie. Les transitions entre les nœuds définissent quand et comment le robot passe d'un comportement à un autre. La configuration ainsi obtenue est enregistrée et peut être déployée directement sur du matériel compatible via le portail.

L'outil de création d'applications ne remplace pas la programmation traditionnelle. Il s'appuie plutôt sur le système de configuration d'OM1 et exporte des fichiers de configuration structurés qui peuvent être étendus ou modifiés dans le code pour des cas d'utilisation avancés.

Découvrez des projets prometteurs...

Des projets prometteurs...

(Publicité)

L'article continue...

Concepts et terminologie fondamentaux

La compréhension de l'outil de création d'applications nécessite une familiarité avec plusieurs concepts d'OM1.

Modes

Un mode correspond à un état comportemental discret. Par exemple, un robot peut avoir un mode d'accueil, un mode de navigation et un mode de mémorisation. Chaque mode définit le modèle de langage utilisé, les capteurs actifs, les actions autorisées et le contexte d'arrière-plan disponible.

Nœuds et transitions

Dans l'éditeur visuel, chaque mode est représenté par un nœud. Les transitions sont des liens directionnels entre les nœuds. Une transition comprend des conditions qui déterminent le passage du robot d'un mode à l'autre. Les développeurs peuvent spécifier qu'une commande vocale déclenche le passage du mode veille au mode navigation.

Entrées, actions et arrière-plans

Les entrées représentent des sources de données ou de capteurs, comme des microphones, des caméras ou des flux web. Les actions représentent des sorties, comme des commandes de mouvement, la synthèse vocale ou des écritures en mémoire. Les arrière-plans fournissent un contexte persistant, comme la position GPS ou l'état de navigation.

Crochets de cycle de vie

Chaque mode comprend des points d'entrée de cycle de vie, notamment une invite système pour le modèle de langage. Cela permet aux développeurs de contrôler le comportement du modèle dans un mode donné à l'aide d'instructions en langage naturel stockées dans la configuration.

Comment fonctionne concrètement l'outil de création d'applications ?

La vidéo de démonstration publiée en même temps que l'annonce montre le flux de travail complet, du démarrage au déploiement.

Choisir un robot

Lorsqu'un développeur ouvre l'App Builder, la première étape consiste à sélectionner une machine dans la barre latérale. Cette action associe la configuration à un profil de robot spécifique, incluant ses capteurs et actions pris en charge. OM1 assure l'abstraction matérielle via une couche dédiée, permettant ainsi de réutiliser la même configuration de haut niveau sur des machines similaires.

modes de construction visuellement

Après avoir sélectionné un robot, un organigramme initial s'affiche sur la zone de travail. Les développeurs peuvent ajouter de nouveaux modes en cliquant sur l'icône « + ». Chaque nouveau mode ouvre un panneau d'édition permettant de définir les paramètres.

Dans ce panneau, le développeur sélectionne un modèle de langage dans une liste déroulante. Plusieurs modèles commerciaux et libres sont disponibles. Il ajoute ensuite les entrées, comme la reconnaissance vocale automatique pour la commande vocale ou les flux vidéo d'une caméra. Puis, il choisit les actions, telles que la navigation ou la synthèse vocale. Il est également possible d'activer des éléments d'arrière-plan comme le GPS ou le contexte de navigation.

Toutes les modifications sont enregistrées immédiatement et le canevas se met à jour pour refléter la configuration actuelle.

Définir les transitions

Une fois les modes créés, les transitions sont définies en faisant glisser un connecteur d'un nœud à un autre. Un éditeur de règles s'ouvre alors, permettant de spécifier les conditions. Ces conditions peuvent faire référence à des entrées, à l'état interne ou à d'autres signaux. Par exemple, une règle de transition peut spécifier qu'une commande vocale reconnue provoque le passage du robot du mode veille au mode navigation.

Une fonction de formatage automatique réorganise la zone de travail pour que l'organigramme reste lisible à mesure qu'il s'agrandit.

Déploiement

Une fois la configuration terminée, le développeur peut la déployer directement depuis l'interface. La configuration est alors chargée sur le robot via le portail OpenMind et appliquée sans transfert manuel de fichiers. Pour les équipes utilisant OM1 en local ou dans des pipelines de production, cette même configuration peut être déployée à l'aide d'outils en ligne de commande ou de workflows conteneurisés.

Modèles et composants pris en charge

Selon OpenMind, l'outil de création d'applications prend actuellement en charge plus de six modèles de langage, plus de quarante entrées, trente actions et plus de dix contextes d'arrière-plan. Ces chiffres reflètent la conception modulaire d'OM1, où chaque composant est implémenté sous forme de plugin.

Les modèles de langage peuvent être interchangés sans avoir à réécrire la logique de l'application. Les entrées et les actions sont également interchangeables, pourvu que le matériel sous-jacent les prenne en charge. Cette approche permet aux développeurs d'expérimenter rapidement différentes configurations tout en conservant une structure cohérente.

Intégration avec OM1 et les flux de travail basés sur le code

Bien que l'outil de création d'applications mette l'accent sur la configuration visuelle, il est conçu pour s'intégrer à la base de code d'OM1.

Les développeurs peuvent exporter les configurations sous forme de fichiers structurés et les stocker dans un système de contrôle de version. Les utilisateurs avancés peuvent créer des entrées et des actions personnalisées en ajoutant des modules Python aux répertoires appropriés du référentiel OM1. Ces composants personnalisés apparaissent ensuite dans l'interface de l'éditeur d'applications pour être sélectionnés.

Pour un déploiement à grande échelle ou sur des périphériques tels que le matériel Nvidia Jetson, OM1 prend en charge les configurations basées sur des conteneurs. L'outil de création d'applications complète ces flux de travail en réduisant le temps consacré à la configuration initiale et aux itérations.

Abstraction matérielle et portabilité

L'un des objectifs principaux de la conception d'OM1 est son indépendance vis-à-vis du matériel. L'App Builder reflète ce principe en n'exposant que des comportements de haut niveau plutôt que le contrôle moteur de bas niveau. Par exemple, un développeur peut configurer une action de navigation sans spécifier le mouvement de chaque articulation.

Cette abstraction est mise en œuvre via une couche d'abstraction matérielle qui relie les actions OM1 aux kits de développement logiciel spécifiques au robot, tels que ROS2 ou les API du fournisseur. De ce fait, la même logique applicative peut souvent être réutilisée sur différents robots avec des modifications minimes.

Limitations et considérations

L'outil de création d'applications vise à simplifier les tâches courantes, mais il ne remplace pas le besoin de jugement technique.

La prise en charge de certaines plateformes matérielles est limitée en fonction de leurs capacités de calcul. L'ensemble des fonctionnalités est actuellement disponible sur les systèmes Nvidia les plus récents, tandis que les plateformes plus anciennes peuvent nécessiter des compromis. Le noyau d'OM1 limite également l'accès direct à Internet pour des raisons de sécurité et de fiabilité, ce qui influe sur l'utilisation des API externes.

Pour une autonomie complexe, les développeurs doivent combiner les configurations d'App Builder avec la simulation, l'apprentissage par renforcement et des tests approfondis. La documentation d'OpenMind recommande de commencer par des comportements simples et de les valider dans des environnements simulés avant de les déployer sur des machines réelles.

Conclusion

OpenMind App Builder est un outil de configuration visuelle qui s'appuie sur l'environnement d'exécution OM1 et simplifie la création et le déploiement d'applications robotiques. En représentant le comportement du robot par des modes, des transitions et des composants modulaires, il permet aux développeurs d'assembler des applications fonctionnelles sans avoir à écrire de code pour chaque étape.

Sa valeur réside dans la simplification de la configuration tout en restant compatible avec les flux de travail basés sur le code. Pour les équipes développant sur OM1, l'App Builder offre une méthode structurée pour concevoir, tester et déployer le comportement du robot sur différentes plateformes matérielles. Plutôt que de remplacer le développement traditionnel, il sert d'interface, rendant le système sous-jacent plus accessible et plus facile à appréhender.

Sources:

• X PostAnnonce de l'OpenMind App Builder 
• Portail des Développeurs Créez des applications sur OpenMind