Kawasaki Robotics-ingeniør Kippei Matsuda opnåede en bemærkelsesværdig bedrift ved at vinde konkurrencen “NFL Health & Safety – Helmet Assignment” i 2022, en stærkt konkurrencepræget begivenhed arrangeret af National Football League (NFL) og Amazon.com, Inc. på Kaggle, en global AI-konkurrenceplatform for dataanalyse. Vi talte med Matsuda om, hvordan han vandt konkurrencen mod ambitiøse AI-udviklere fra hele verden, og hvordan Kawasaki Robotics i øjeblikket udvikler teknologien til forskellige løsninger.

Beskriv NFL-udfordringen, løsningen, og hvad der gjorde den spændende?

Konkurrencen havde til formål at identificere spillerkollisioner, og mere end 1.000 dataforskere verden over konkurrerede om at bygge en nøjagtig løsning ved hjælp af optagelser fra NFL-kampe og sensorinformation. Amerikansk fodbold er kendt for at være en af de hårdeste og mest fysisk krævende sportsgrene i verden med meget kontakt, og selv om spillerne bærer beskyttelsesudstyr, er skader hyppige. Især hovedkollisioner resulterer ofte i alvorlige skader eller handicap, og det har været en udfordring at finde måder at reducere virkningen af kollisioner på sammen med effektiv behandling, efter at en skade er opstået. Hvis vi nøjagtigt kunne identificere, hvilke spillere der havde slået hovedet i løbet af en kamp, kunne vi give effektiv behandling og fremme forskningen i hjelmens virkning og i, hvordan man kan mindske påvirkningen. At udføre denne type forskning manuelt ville være ekstremt tidskrævende, så NFL afholdt denne konkurrence for at bruge AI-teknologi til at løse dette problem.

Nøglen til at vinde denne konkurrence var den vellykkede integration af to forskellige datatyper, video og sensorinformation. Vi brugte videobilleder til at identificere spillerkollisioner og estimerede spillerpositioner ved hjælp af sensorer, der var fastgjort til spillerne. Udviklingen af et AI-system, der omhyggeligt analyserede og forudsagde selv de mindste ændringer i spillernes position og kropsholdning, såsom at sidde på hug eller falde, skilte os ud. Denne innovation forbedrede vores nøjagtighed betydeligt i forhold til andre deltagere. Resultatet var, at vores behandlingshastighed var 83 gange hurtigere end manuel betjening, og opgaver, der tog 3-4 dage, kunne nu klares på bare 2 timer, hvilket vi satte stor pris på.

Kippei Matsuda

Generelt handler AI-billedanalyse om at opdage objekter i billeder, men i denne konkurrence skulle vi tage højde for spillernes tredimensionelle (3D) positioner på banen på skærmen, hvilket var en spændende udfordring, som vi aldrig havde prøvet før. Det er svært at analysere data, fordi man er nødt til at se på dem igen og igen, men NFL-videoen var så stærk, at jeg nød at se den igen og igen. Takket være dette var jeg ved konkurrencens afslutning i stand til at forestille mig spillernes bevægelser bare ved at se på videoernes titler.

Hvad fik dig til at deltage i NFL-udfordringen, og hvad var resultatet?

Det hele startede med, at jeg tænkte, at det kunne være en del af mine studier. Teoretiske aspekter kan læres fra bøger og andre kilder, men det er svært at vide, hvordan man bruger faktiske data og kører en simulation. Som udvikler er det vigtigt at røre ved og analysere data og gentage forsøg og fejl. Jeg blev tiltrukket af konkurrencen, fordi den indeholdt materialer, der førte til praktisk læring.

“At deltage i konkurrencen gav mig mulighed for at omsætte AI-udvikling til praksis”

Kippei Matsuda

Ærlig talt følte jeg aldrig, at selve konkurrencen var svær; det, der var svært, var at finde tid til mine studier og min familie, da jeg arbejdede på det i min fritid. Når jeg legede med mine børn i parken, tænkte jeg pludselig: “Måske kunne jeg gøre den del på denne måde”, og det generede mig. Det var svært at slappe af. Jeg sad i toget og rystede. Fra starten af projektet troede jeg ikke, at jeg kunne vinde, men da jeg gjorde, var jeg begejstret. Jeg klager ikke over at have vundet, og jeg var glad for at dele nyheden med alle omkring mig. Jeg kunne næsten ikke få noget arbejde gjort den dag!

Hvordan arbejder du med AI-vision i dag hos Kawasaki Robotics?

Jeg er i øjeblikket involveret i at udvikle produkter, der udnytter AI-vision specifikt til robotteknologi. AI analyserer billeder, der er optaget af kameraer, og behandler dem på forskellige måder; i vores depalleteringsløsning behandler den f.eks. billeder af det produkt, der skal læsses af. Depalleteringsløsninger bruges til at forbedre aflæsningseffektiviteten på distributionscentre og fabrikker. Depalleteringsløsningen er udstyret med 3D AI-vision og er i stand til at foretage meget sofistikerede analyser af det gods, den håndterer.

Kawasaki Robotics’ depalleteringsløsning er udstyret med 3D AI-vision og er i stand til at foretage meget avancerede analyser af det gods, den håndterer. Ved at specialisere os i aflæsning har vi opnået høj ydeevne til en lav pris.Kippei Matsuda

Manuel losning er meget kostbar og tidskrævende, og konventionelle robotløsninger er ikke fleksible nok til at håndtere arbejdet. I den henseende er det lykkedes vores depalleteringsløsning at øge nøjagtigheden og hastigheden af automatiserede aflæsningsoperationer sammenlignet med konventionelle løsninger.

Med konventionelle robotsystemløsninger skal alle pakkestørrelser og -former f.eks. registreres, før de plukkes. Hvis pakker med uregistrerede former kommer ind i workflowet, kan de ikke behandles. Vores depalleteringsløsning kræver dog kun, at de mindste og største størrelser registreres, og alle pakker kan behandles. I konventionelle robotsystemer skal robotten kende den korrekte størrelse og form på det produkt, der skal håndteres. Et kamera er nødvendigt for at genkende og bekræfte produktets størrelse og form. Hvis det bekræftes, at det er korrekt, vil robotarmen plukke produktet, og det er en tidskrævende proces at lære systemet det.

Vores depalleteringsløsning kræver ingen forudgående produktregistrering ud over minimums- og maksimumsdimensionerne, hvilket reducerer undervisningstiden betydeligt.KippeiMatsuda

Hovedårsagen til, at Kawasaki Robotics’ depalleteringsløsning har været en succes, er, at vi parrer billig kamerahardware med vores robuste AI-software til at behandle komplekse produktbilleder uden en masse ekstraudstyr. Vi opnåede en højtydende og brugervenlig løsning ved at fokusere på at udvikle et depalleteringssystem, og ved at indsnævre funktionerne opnåede vi en bedre omkostningseffektivitet end andre virksomheders produkter, hvilket gør det lettere for virksomheder at introducere produktet.

Hvordan vil depalletering og AI-løsninger fortsætte med at udvikle sig?

Jeg tror, at effektiviteten af depalleteringsløsninger vil stige, efterhånden som der indsamles flere og flere data, og AI-læringen skrider frem. For eksempel var en af vanskelighederne ved at udvikle en depalleteringsløsning snorene og båndene på overfladen af pakkerne. Når AI ser dem, kan den forveksle snorene med grænserne for pappet. Den kan så beslutte, at kassen er mindre, end den faktisk er, og tage den ved en fejltagelse. Men hvis systemet bruges forskellige steder i fremtiden, og der indsamles data, vil det være i stand til at lære flere variationer af pakker. Så selv om en kasse har snore, tape eller klistermærker, kan robotten aflæsse den korrekt baseret på dens tidligere erfaringer uden at blive vildledt. Det bliver nødvendigt at indsamle en masse data af god kvalitet til robotten. Jeg tror også, at AI, kaldet infrastrukturmodellen, bliver nøglen. Et eksempel er ChatGPT, som har tiltrukket sig meget opmærksomhed i de senere år. Da den underliggende model er trænet på baggrund af en stor mængde data, har den en meget høj genkendelsesevne, en slags sund fornuft. Grundlæggende modeller kan håndtere en række forskellige oplysninger, herunder tekst, billeder og lyd, og har potentiale til at udvide brugen af robotter dramatisk, ikke kun inden for logistik. I fremtiden vil jeg gerne udvide brugen af AI ved at gøre god brug af data og den grundlæggende model.

Klik her for produktsiden for Depalletizing Solution (japansk)