Изследователи от Nanyang Technological University и University of Technology, Сидни наскоро разработиха архитектура за машинно обучение, която може да разпознава човешки жестове чрез анализ на изображения, заснети от разтегливи сензори за напрежение. Новата архитектура, представена в Nature Electronics, е вдъхновена от функциите на човешкия мозък.

„Нашата идея дойде от това как човешкият мозък обработва информация“, казва Ксиадонг Чен, един от изследователите работили по проекта. „В човешкия мозък процесите като мислене, планиране и вдъхновение, не зависят само от конкретна сетивна информация, а се активират от цялостна мултисензорна информация, достигаща до мозъка. Това ни вдъхнови да комбинираме визуална информация и соматосензорна информация за прилагане на изключително прецизно разпознаване на жестове.“

При разработването на техниката им за разпознаване на човешки жестове, Чен и неговите колеги гарантират, че тя може да интегрира различни видове информация, събрана от множество сензори.

„За да постигнем целта си, подобрихме качеството на събраните данни, като проектирахме и изработихме разтегливи и съвместими сензори, които могат да събират по-точни соматосензорни данни от жестове на ръка, в сравнение с  досегашните“, казва Чен. „В допълнение, разработихме вдъхновена от биологията, соматосензорно-визуална архитектура за обучение, която може рационално да обедини визуалната и соматосензорна информация, наподобяваща йерархията при синтеза на информацията в мозъка.“

Това се случва по няколко начина:  чрез имитация на мозъчната структура, съставена от изкуствени невронни мрежи вместо биологични; обработка на модални сензорни данни, например обработка на визуална информация, която се извършва в части от човешкия мозък, отговорни за зрението и други.

Според първоначалните оценки иновативната архитектурата за машинно самообучение (Machine Learning – бел. ред.), разработена от Чен и неговите колеги, превъзхожда предишните модели за едномодално разпознаване (т.е. подходи, които обработват само визуални или соматосензорни данни, вместо да разглеждат и двете).

Вдъхновената от мозъка архитектура, разработена от този екип, в крайна сметка може да бъде въведена в реални условия. Например, може да се използва за разработване на здравни роботи, които могат да четат езика на тялото на пациента, или може да помогне за създаването на по-модерна виртуална реалност (VR), разширена реалност (AR) и развлекателни технологии.