Souviens-toi des joueurs qui avaient des centaines d'adolescents jouant à Axie Infinity pour gagner des Potions d'Amour Magiques ? Ouais, c'était il y a 4 ans. Maintenant, tu pourrais simplement entraîner et déployer 100 Opérateurs de Codec Autonomes pour jouer à ta place ...et monétiser cela et le vendre à d'autres ✅ IA x Robotique Le récit IA x Robotique prend vraiment de l'ampleur avec les modèles VLA ​ À ce stade de l'écosystème IA, la majorité des protocoles et des agents utilisent des moteurs LLM basés sur du texte ou des captures d'écran statiques pour interpréter les données ​ Mais souviens-toi que la plupart du monde réel n'a pas accès aux API, tu as besoin de vision, de décisions et d'actions. Le monde réel doit être vu en pixels et c'est là que les modèles VLA entrent en jeu ​ @Codecopenflow permet l'automatisation des logiciels et de la robotique grâce à la vision en utilisant une pile technologique construite de zéro ✅ Opérateurs CODEC ​ Les opérateurs sont des agents logiciels autonomes qui peuvent effectuer des tâches à travers un cycle percevoir-raisonner-agir. La capacité de voir l'écran (ou les flux de caméra ou les données des capteurs) leur permet de prendre des décisions que les LLM ne pourraient pas faire ​ • Perception : Capture des captures d'écran, des flux de caméra ou des données de capteurs • Raisonnement : Traite les observations et les instructions en utilisant des modèles vision-langage • Action : Exécute des décisions à travers des interactions UI ou le contrôle matériel ​ Dans une boucle continue Les opérateurs peuvent fonctionner sur des serveurs bare-metal, des machines virtuelles (sur n'importe quel système d'exploitation), ou même sur des robots. ​ Chaque opérateur obtient automatiquement une machine de calcul dédiée (VM isolée ou instance de conteneur), et peut être sécurisé par des TEE (isolation au niveau matériel) pour le code et les données sensibles. ​ ✅ Couche d'Intelligence IA ​ Les opérateurs peuvent être configurés pour utiliser un ou plusieurs modèles (LLM ou VLA) combinés comme leur "cerveau" ​ Par exemple, associer le modèle de langage à faible coût Mixtral-8×7B avec le modèle de vision open-source CogVLM permet aux opérateurs de lire le texte à l'écran et d'interpréter les flux d'écran ou de caméra en direct - le tout à une fraction du coût de GPT-4. ​ Un modèle VLA (Vision-Language-Action) permet à l'agent d'interpréter les entrées visuelles, puis de décider d'une action en fonction de ce qu'il voit ✅ Cas d'utilisation ​ 🔹 Automatisation de bureau ​ Peut automatiser des tâches de bureau répétitives en contrôlant les interfaces graphiques. Comme remplir des tableurs, mettre à jour des calendriers ou d'autres tâches nécessitant une interaction avec l'interface graphique ​ Peut gérer les mises à jour de l'UI car il peut réellement voir ce qu'il fait ​ 🔹 Agents de jeu ​ Les opérateurs peuvent contrôler des joueurs ou tester des jeux vidéo. Les agents diffusent l'écran et peuvent effectuer des actions en fonction de ce qu'ils voient en envoyant des commandes au clavier ou à la souris au jeu. ​ Peut être utilisé pour des tests QA, ou même des adversaires NPC avancés ou l'automatisation de jeux web3 ​ 🔹 Robotique ​ Les opérateurs peuvent contrôler des robots physiques. La couche machine se connectera au matériel des robots avec des capteurs et des actionneurs, et l'agent peut envoyer des commandes pour déplacer un bras ou naviguer. ​ Par exemple, il pourrait capturer un flux de caméra d'objets se déplaçant sur un tapis roulant et effectuer des actions en fonction du mouvement. S'il y a un obstacle sur le chemin, l'opérateur peut le voir et contrôler le robot pour l'éviter ​ ✅ Collecte de données et rails de sécurité on-chain ​ En apportant les informations des opérateurs on-chain à Solana, ils peuvent offrir des journaux d'actions immuables de toutes les actions effectuées ​ À l'avenir, nous pouvons envisager un moment où les entreprises de robotique seraient tenues de miser un jeton pour garantir que leurs opérateurs ne feraient pas entrer un robot en contact physique avec un humain au-delà d'une certaine force. S'ils enfreignent cela, ils seraient pénalisés pour une partie du jeton misé (comme EigenLayer / Symbiotic restaking) ​ ✅ Environnement de formation pour la robotique ​ Avec Codec, des modèles virtuels non formés peuvent être déployés dans un terrain d'entraînement dynamique et de haute fidélité, sans robot physique requis. ​ Simuler, entraîner et affiner des comportements complexes à l'échelle du cloud, puis transférer ces politiques vers du matériel réel en toute confiance. Des environnements de formation peuvent être rapidement mis en place pour tous types d'opérateurs (logiciels, jeux ou robotique) ​ ✅ SDK Codec ​ Un SDK complet et une API ont été développés pour que les développeurs puissent déployer facilement leurs opérateurs ​ ✅ Marché des opérateurs ​ Les opérateurs peuvent (à l'avenir) être vendus sur un marché personnalisé. ​ Il y aura un partage des revenus afin que tu puisses expédier et monétiser ton opérateur VLA, ce qui signifie que si tu formes des opérateurs efficaces, tu pourrais avoir des sources de revenus supplémentaires ​ ✅ Pensées de conclusion ​ Je pense que nous verrons d'énormes développements dans le domaine VLA l'année prochaine. Nous avons vu à quelle vitesse les LLM sont développés, il n'y a que quelques années que GPT-1 a été lancé. La robotique et les modèles de vision deviendront très probablement un récit chaud à un moment donné de ce cycle, et j'aime être positionné tôt ​ Oh et ai-je mentionné que les co-fondateurs viennent de Hugging Face et Elixir games 👀 ​ Note : Slappjakke a de grandes réserves de $CODEC, et c'est l'un de ces moments où je suis devenu encore plus optimiste en écrivant ce fil et j'ai ajouté encore plus ​ Comme toujours, ce n'est pas un conseil financier et c'est un investissement à haut risque, donc fais tes propres recherches.