Разбирането на езика на глухонемите става все по-достъпно в технологичен план, благодарение на разработения от Google софтуер, успяващ да проследи различните символи. Софтуерът е създаден за смартфони, което прави удобството мобилно и приложимо навсякъде.
Технологията е разработена основно чрез machine learning, използвайки базови познания по жестовия език и допълнена с разпознаване на различната форма, движение и жестикулация на ръцете. Тук се включва и AR, успяваща в реално време да очертае формата на ръката в структура, напомняща на рентгенова снимка.
New research leverages @TensorFlow Lite with MediaPipe to enable on-device, real-time hand tracking and gesture recognition, critical for applications such as #AR and on-device #signlanguage understanding. Check it out with the #opensource pipeline here → https://t.co/f21XoRoh7e pic.twitter.com/ianPFrIiHY
— Google AI (@GoogleAI) August 19, 2019
Основните фактори за визуализацията са три. Най-напред е детекторът, който улавя движенията на дланта, наречен BlazePalm. Разпознаването на ръката може да бъде сложна задача, поради различните размери и различния обем. Също така, задачата става цялостно по-сложна, ако BlazePalm трябва да разпознае и артикулацията на пръстите. Затова, най-напред детекторът е фокусиран върху отчитането единствено на огъванията и движенията на дланта.
Следва модел за очертаване на ръката или “Hand Landmark Model.” Тук вече се намесва локализирането на 21 ключови точки от китката до кокалчетата на ръката. Моделът успява да запомни различните позиции на ръката, за което не му пречи дори слабата видимост на по-затъмнени места. За по-добро покритие на всички възможни движения и позиции, изобретателите са подсигурили и рендване на синтетичен модел на ръката, кореспондиращ с 3D ключовите точки и създаващ ясно изображение.
Разпознаване на жестикулирането е третата стъпка. Това става чрез анализиране на състоянието на пръстите. Изправени или сгънати – технологията разбира за това, следвайки промяната в ъглите на ставите.
Идеята на този AI софтуер е да редуцира изолацията на глухонемите в ежедневен план, а бъдещето му е в развитието на все по-точно разпознаване на жестовия език.
