Kippei Matsuda, ingénieur chez Kawasaki Robotics, a réalisé un exploit remarquable en remportant le concours  » NFL Health & Safety – Helmet Assignment  » en 2022, une compétition féroce organisée par la National Football League (NFL) et Amazon.com, Inc. sur Kaggle, une plateforme mondiale de concours d’analyse de données d’IA. Nous nous sommes entretenus avec Matsuda pour savoir comment il a remporté la compétition face à des développeurs d’IA ambitieux du monde entier et comment Kawasaki Robotics développe actuellement la technologie pour diverses solutions.

Décrivez le défi lancé par la NFL, la solution et ce qui l’a rendu passionnant.

Le concours visait à identifier les collisions entre joueurs. Plus de 1 000 scientifiques des données du monde entier se sont affrontés pour élaborer une solution précise à l’aide de séquences de matchs de la NFL et d’informations provenant de capteurs. Le football américain est connu pour être l’un des sports les plus durs et les plus exigeants physiquement au monde, avec des contacts à fort impact, et bien que les joueurs portent des équipements de protection, les blessures sont fréquentes. Les collisions avec la tête, en particulier, entraînent souvent des blessures graves ou des handicaps, et il est difficile de trouver des moyens de réduire l’impact des collisions et d’offrir un traitement efficace après une blessure. Si nous pouvions identifier avec précision les joueurs qui ont subi un choc à la tête au cours d’un match, nous pourrions administrer un traitement efficace et faire avancer la recherche sur les effets des casques et sur la manière d’atténuer l’impact. Effectuer ce type de recherche manuellement prendrait énormément de temps, c’est pourquoi la NFL a organisé ce concours afin d’utiliser la technologie de l’IA pour résoudre ce problème.

La clé pour remporter ce concours a été l’intégration réussie de deux types de données distincts, la vidéo et les informations des capteurs. Nous avons utilisé des images vidéo pour identifier les collisions entre les joueurs et nous avons estimé la position des joueurs à l’aide de capteurs fixés sur eux. Nous nous sommes distingués par le développement d’un système d’intelligence artificielle qui analyse et prédit méticuleusement les moindres changements de position et de posture des joueurs, comme le fait de s’accroupir ou de tomber. Cette innovation a considérablement amélioré notre précision par rapport aux autres participants. En conséquence, notre vitesse de traitement a été 83 fois supérieure à celle d’une opération manuelle, et des tâches qui prenaient 3 à 4 jours ont pu être réalisées en seulement 2 heures, ce qui a été grandement apprécié.

Kippei Matsuda

En général, l’analyse d’images par l’IA consiste à détecter des objets dans des images, mais dans cette compétition, nous devions prendre en compte les positions tridimensionnelles (3D) des joueurs sur le terrain à l’écran, ce qui constituait un défi passionnant que nous n’avions jamais relevé auparavant. Il est difficile d’analyser des données parce qu’il faut les regarder encore et encore, mais la vidéo de la NFL était si puissante que j’ai pris plaisir à la regarder encore et encore. Grâce à cela, à la fin de la compétition, j’étais capable d’imaginer les mouvements des joueurs rien qu’en regardant les titres des vidéos.

Qu’est-ce qui vous a poussé à participer au défi NFL et quels ont été les résultats ?

Tout a commencé lorsque j’ai pensé que cela pourrait faire partie de mes études. Les aspects théoriques peuvent être appris dans des livres et d’autres sources, mais il est difficile de savoir comment utiliser des données réelles et effectuer une simulation. En tant que développeur, il est essentiel de toucher et d’analyser des données et de répéter des essais et des erreurs. Le concours m’a attiré parce qu’il fournissait du matériel qui conduisait à un apprentissage pratique.

« La participation au concours m’a permis de mettre en pratique le développement de l’IA.

Kippei Matsuda

Honnêtement, je n’ai jamais eu l’impression que le concours en lui-même était difficile ; ce qui était difficile, c’était de trouver du temps pour mes études et ma famille, car j’y travaillais pendant mon temps libre. Lorsque je jouais avec mes enfants au parc, je me disais soudain que je pourrais peut-être faire cette partie de cette façon, et cela me dérangeait. J’avais du mal à me détendre. J’étais dans le train et je tremblais. Depuis le début de ce projet, je ne pensais pas pouvoir gagner, mais quand j’ai gagné, j’étais ravie. Je n’ai pas eu à me plaindre d’avoir gagné et j’étais heureuse de partager la nouvelle avec tous ceux qui m’entouraient. J’ai eu du mal à travailler ce jour-là !

Comment travaillez-vous avec la vision de l’IA aujourd’hui chez Kawasaki Robotics ?

Je participe actuellement au développement de produits qui utilisent la vision artificielle spécifiquement pour la robotique. L’IA analyse les images capturées par les caméras et les traite de différentes manières ; par exemple, dans notre solution de dépalettisation, elle traite les images des produits qui doivent être déchargés. Les solutions de dépalettisation sont utilisées pour améliorer l’efficacité du déchargement dans les centres de distribution et les usines. La solution de dépalettisation est équipée d’une vision IA 3D et est capable d’analyser de manière très sophistiquée les marchandises qu’elle manipule.

La solution de dépalettisation de Kawasaki Robotics est équipée d’une vision 3D AI et est capable d’une analyse très sophistiquée de la cargaison qu’elle manipule. En nous spécialisant dans le déchargement, nous avons obtenu des performances élevées à un faible coût.Kippei Matsuda

Le déchargement manuel est très coûteux et prend beaucoup de temps, et les solutions robotiques conventionnelles ne sont pas assez flexibles pour gérer ce travail. À cet égard, notre solution de dépalettisation a permis d’augmenter la précision et la vitesse des opérations de déchargement automatisées par rapport aux solutions conventionnelles.

Par exemple, avec les solutions robotiques classiques, toutes les tailles et formes d’emballages doivent être enregistrées avant d’être prélevées. Si des emballages de formes non enregistrées arrivent dans le flux de travail, ils ne peuvent pas être traités. Notre solution de dépalettisation, en revanche, n’exige que l’enregistrement des tailles les plus petites et les plus grandes, et tous les paquets peuvent être traités. Dans les systèmes robotiques classiques, le robot doit connaître la taille et la forme correctes du produit qu’il manipule. Une caméra est nécessaire pour reconnaître et confirmer la taille et la forme du produit. Si elles sont confirmées, le bras du robot prélève le produit. L’apprentissage du système est un processus qui prend du temps.

Notre solution de dépalettisation ne nécessite aucun enregistrement préalable du produit, hormis les dimensions minimales et maximales, ce qui réduit considérablement le temps d’apprentissage.Kippei Matsuda

La principale raison du succès de la solution de dépalettisation de Kawasaki Robotics est que nous associons des caméras bon marché à notre logiciel d’intelligence artificielle robuste pour traiter des images de produits complexes sans avoir recours à une multitude d’accessoires. Nous avons obtenu une solution performante et facile à utiliser en nous concentrant sur le développement d’un système de dépalettisation, et en réduisant les fonctions, nous avons obtenu un meilleur rapport qualité-prix que les produits d’autres sociétés, ce qui facilite l’introduction du produit par les entreprises.

Comment les solutions de dépalettisation et d’IA vont-elles continuer à se développer ?

Je pense que l’efficacité des solutions de dépalettisation augmentera à mesure que de plus en plus de données seront collectées et que l’apprentissage de l’IA progressera. Par exemple, l’une des difficultés rencontrées dans le développement d’une solution de dépalettisation était la présence de ficelles et de rubans à la surface des emballages. Lorsque l’IA les voit, elle peut confondre les ficelles avec les limites du carton. Elle peut alors décider que la boîte est plus petite qu’elle ne l’est en réalité et la prendre par erreur. Toutefois, si le système est utilisé sur plusieurs sites à l’avenir et que des données sont collectées, il sera en mesure d’apprendre de multiples variations d’emballages. Ainsi, même si une boîte comporte des ficelles, du ruban adhésif ou des autocollants, le robot pourra la décharger de manière appropriée sur la base de son expérience passée, sans être induit en erreur. Il sera nécessaire de collecter un grand nombre de données de bonne qualité pour le robot. Je pense également que l’IA, appelée modèle d’infrastructure, sera essentielle. Un exemple est ChatGPT, qui a attiré beaucoup d’attention ces dernières années. Comme le modèle sous-jacent est formé sur la base d’une grande quantité de données, il possède une capacité de reconnaissance très élevée, une sorte de bon sens. Les modèles fondamentaux peuvent traiter une grande variété d’informations, y compris des textes, des images et des sons, et ont le potentiel d’étendre considérablement l’utilisation des robots, et pas seulement dans le domaine de la logistique. À l’avenir, j’aimerais étendre l’utilisation de l’IA en faisant bon usage des données et du modèle de base.

Cliquez ici pour la page produit de la solution de dépalettisation (japonais)