Inżynier Kawasaki Robotics, Kippei Matsuda, dokonał niezwykłego wyczynu, wygrywając konkurs „NFL Health & Safety – Helmet Assignment” w 2022 roku, zacięte wydarzenie organizowane przez National Football League (NFL) i Amazon.com, Inc. na Kaggle, globalnej platformie konkursowej analizy danych AI. Rozmawialiśmy z Matsudą o tym, jak wygrał konkurs z ambitnymi programistami AI na całym świecie i jak Kawasaki Robotics rozwija obecnie technologię dla różnych rozwiązań.

Opisz wyzwanie NFL, rozwiązanie i co sprawiło, że było ono ekscytujące?

Konkurs miał na celu identyfikację kolizji zawodników, a ponad 1000 naukowców zajmujących się danymi z całego świata rywalizowało o zbudowanie dokładnego rozwiązania przy użyciu nagrań z meczów NFL i informacji z czujników. Futbol amerykański jest znany jako jeden z najtrudniejszych, wymagających fizycznie sportów na świecie, obejmujący kontakt o dużej sile uderzenia i chociaż gracze noszą sprzęt ochronny, urazy są powszechne. W szczególności zderzenia głowami często skutkują poważnymi obrażeniami lub niepełnosprawnością, a znalezienie sposobów na zmniejszenie wpływu kolizji oraz skuteczne leczenie po wystąpieniu urazu stanowiło wyzwanie. Gdybyśmy mogli dokładnie zidentyfikować, którzy gracze doznali uderzeń głową podczas meczu, moglibyśmy skutecznie zastosować leczenie i przyspieszyć badania nad skutkami kasków i sposobami łagodzenia ich wpływu. Prowadzenie tego typu badań ręcznie byłoby niezwykle czasochłonne, więc NFL zorganizowało konkurs, aby wykorzystać technologię AI do rozwiązania tego problemu.

Kluczem do zwycięstwa w tym konkursie była udana integracja dwóch różnych typów danych, wideo i informacji z czujników. Wykorzystaliśmy obrazy wideo do identyfikacji kolizji zawodników i oszacowaliśmy pozycje zawodników za pomocą czujników przymocowanych do zawodników. Wyróżniło nas opracowanie systemu sztucznej inteligencji, który skrupulatnie analizował i przewidywał nawet najmniejsze zmiany w pozycji i postawie gracza, takie jak kucanie lub upadek. Ta innowacja znacznie poprawiła naszą dokładność w porównaniu do innych uczestników. W rezultacie nasza prędkość przetwarzania była 83 razy większa niż w przypadku operacji ręcznych, a zadania, które zajmowały 3-4 dni, można było teraz wykonać w zaledwie 2 godziny, co zostało bardzo docenione.

Kippei Matsuda

Ogólnie rzecz biorąc, analiza obrazu AI polega na wykrywaniu obiektów na obrazach, ale w tym konkursie musieliśmy wziąć pod uwagę trójwymiarowe (3D) pozycje graczy na boisku na ekranie, co było ekscytującym wyzwaniem, którego nigdy wcześniej nie robiliśmy. Trudno jest analizować dane, ponieważ trzeba je oglądać w kółko, ale wideo NFL było tak potężne, że z przyjemnością oglądałem je w kółko. Dzięki temu pod koniec konkursu byłem w stanie wyobrazić sobie ruchy zawodników, patrząc tylko na tytuły filmów.

Co sprawiło, że wziąłeś udział w wyzwaniu NFL i jakie były wyniki?

Wszystko zaczęło się od tego, że pomyślałem, że może to być część moich studiów. Teoretycznych aspektów można nauczyć się z książek i innych źródeł, ale wiedza o tym, jak wykorzystać rzeczywiste dane i przeprowadzić symulację, jest trudna. Jako programista, dotykanie i analizowanie danych oraz powtarzanie prób i błędów jest niezbędne. Konkurs przyciągnął mnie, ponieważ zapewniał materiały, które prowadziły do praktycznej nauki.

„Udział w konkursie pozwolił mi zastosować rozwój sztucznej inteligencji w praktyce”

Kippei Matsuda

Szczerze mówiąc, nigdy nie czułem, że sam konkurs był trudny; to, co było trudne, to znalezienie czasu na studia i rodzinę, ponieważ pracowałem nad tym w czasie wolnym. Kiedy bawiłem się z dziećmi w parku, nagle myślałem: „Może mógłbym zrobić tę część w ten sposób” i to mi przeszkadzało. Trudno było się zrelaksować. Byłem w pociągu i cały się trząsłem. Od początku tego projektu nie sądziłem, że mogę wygrać, ale kiedy to zrobiłem, byłem podekscytowany. Nie narzekałem na wygraną i z radością podzieliłem się tą wiadomością ze wszystkimi wokół mnie. Tego dnia prawie nie mogłem wykonać żadnej pracy!

Jak dziś pracujesz z wizją AI w Kawasaki Robotics?

Obecnie zajmuję się opracowywaniem produktów wykorzystujących sztuczną inteligencję specjalnie dla robotyki. Sztuczna inteligencja analizuje obrazy przechwycone przez kamery i przetwarza je na różne sposoby; na przykład w naszym rozwiązaniu do depaletyzacji przetwarza obrazy produktów, które należy rozładować. Rozwiązania do depaletyzacji są wykorzystywane do poprawy wydajności rozładunku w centrach dystrybucyjnych i fabrykach. Rozwiązanie do depaletyzacji jest wyposażone w wizję 3D AI i jest zdolne do wysoce zaawansowanej analizy ładunku, który obsługuje.

Rozwiązanie do depaletyzacji Kawasaki Robotics jest wyposażone w wizję 3D AI i jest zdolne do wysoce zaawansowanej analizy ładunku, który obsługuje. Specjalizując się w rozładunku, osiągnęliśmy wysoką wydajność przy niskich kosztach.Kippei Matsuda

Ręczny rozładunek jest bardzo kosztowny i czasochłonny, a konwencjonalne rozwiązania zrobotyzowane nie są wystarczająco elastyczne, aby poradzić sobie z tą pracą. Pod tym względem nasze rozwiązanie do depaletyzacji pozwoliło zwiększyć dokładność i szybkość zautomatyzowanych operacji rozładunku w porównaniu z konwencjonalnymi rozwiązaniami.

Przykładowo, w przypadku konwencjonalnych systemów zrobotyzowanych, wszystkie rozmiary i kształty opakowań muszą zostać zarejestrowane przed ich pobraniem. Jeśli opakowania o niezarejestrowanych kształtach znajdą się w przepływie pracy, nie mogą zostać przetworzone. Nasze rozwiązanie do depaletyzacji wymaga jednak rejestracji tylko najmniejszych i największych rozmiarów, a wszystkie opakowania mogą być przetwarzane. W konwencjonalnych systemach zrobotyzowanych robot musi znać prawidłowy rozmiar i kształt obsługiwanego produktu. Do rozpoznania i potwierdzenia rozmiaru i kształtu produktu wymagana jest kamera. Jeśli zostanie to potwierdzone jako prawidłowe, ramię robota pobierze produkt, aby nauczyć system, że jest to czasochłonny proces.

Nasze rozwiązanie do depaletyzacji nie wymaga wcześniejszej rejestracji produktu poza minimalnymi i maksymalnymi wymiarami, co znacznie skraca czas uczenia.KippeiMatsuda

Głównym powodem, dla którego rozwiązanie Kawasaki Robotics do depaletyzacji odniosło sukces, jest to, że łączymy niedrogi sprzęt kamerowy z naszym solidnym oprogramowaniem AI do przetwarzania złożonych obrazów produktów bez wielu dodatków. Osiągnęliśmy wysokowydajne i łatwe w użyciu rozwiązanie, koncentrując się na opracowaniu systemu depaletyzacji, a dzięki zawężeniu funkcji osiągnęliśmy lepszą wydajność kosztową niż produkty innych firm, ułatwiając firmom wprowadzenie produktu.

Jak będzie rozwijać się depaletyzacja i rozwiązania AI?

Uważam, że wydajność rozwiązań do depaletyzacji będzie rosła w miarę gromadzenia coraz większej ilości danych i postępów w uczeniu się AI. Przykładowo, jedną z trudności w opracowaniu rozwiązania do depaletyzacji były sznurki i taśmy na powierzchni opakowań. Gdy sztuczna inteligencja je widzi, może pomylić sznurki z granicami kartonu. Może wtedy zdecydować, że pudełko jest mniejsze niż w rzeczywistości i wziąć je przez pomyłkę. Jeśli jednak system będzie używany w różnych miejscach w przyszłości i gromadzone będą dane, będzie on w stanie nauczyć się wielu odmian opakowań. Wówczas, nawet jeśli pudełko ma sznurki, taśmę lub naklejki, robot może je odpowiednio rozładować w oparciu o swoje wcześniejsze doświadczenia, nie dając się wprowadzić w błąd. Konieczne będzie gromadzenie wielu danych dobrej jakości dla robota. Myślę też, że kluczowa będzie sztuczna inteligencja, zwana modelem infrastruktury. Jednym z przykładów jest ChatGPT, który w ostatnich latach przyciąga wiele uwagi. Ponieważ model bazowy jest trenowany w oparciu o dużą ilość danych, ma bardzo wysoką zdolność rozpoznawania, rodzaj zdrowego rozsądku. Podstawowe modele mogą obsługiwać różne informacje, w tym tekst, obrazy i dźwięk, i mają potencjał, aby znacznie rozszerzyć zastosowanie robotów, nie tylko w logistyce. W przyszłości chciałbym rozszerzyć zastosowanie sztucznej inteligencji poprzez dobre wykorzystanie danych i modelu podstawowego.

Kliknij tutaj, aby wyświetlić stronę produktu Depalletizing Solution (w języku japońskim)