Новая схема обучения ИИ в сочетании с умной кожей, наносимой на спрей, может расшифровывать движения человеческих рук, распознавать набор текста, язык жестов и даже форму простых знакомых объектов. По словам разработчиков, технология быстро распознает и интерпретирует движения рук с ограниченными данными и минимальным обучением и должна работать для всех пользователей.
Помимо использования в играх и виртуальной реальности , новая технология распознавания задач руками может позволить людям общаться с другими людьми и с машинами с помощью жестов. Другие приложения, которые предполагают технологи, включают хирургов, дистанционно управляющих медицинскими устройствами, а также новый способ роботов и протезов для распознавания объектов и движений.
Разработанная до сих пор технология распознавания жестов основывалась на громоздких браслетах, измеряющих электрические сигналы, производимые мышцами, или на перчатках с датчиками деформации на каждом суставе. Другие подходы включают камеры, которые отслеживают движения человека и интерпретируют их с помощью машинного обучения. Для этих систем камер с захватом движения требуются изображения, снятые с нескольких окружающих углов, а это означает, что для одной системы распознавания жестов требуется несколько камер. По словам Сунхо Джо , эти многокамерные системы также страдают от ограничений, присущих датчикам на основе технического зрения., профессор школы вычислительной техники Корейского передового института науки и технологий. К таким ограничениям относятся области рабочего пространства, не охваченные несколькими камерами, а также ошибки, которые неизбежно возникают, когда рука или другой объект перекрывается из поля зрения.
Программное обеспечение, используемое до сих пор, также было громоздким. Исследователи обычно полагались на модели машинного обучения, основанные на контролируемых алгоритмах обучения, требующих больших вычислительных ресурсов. Они требуют, чтобы для каждого нового пользователя и задачи собирался большой объем данных, и все они требуют маркировки людьми. Чтобы сделать систему распознавания движения более упорядоченной, Джо и его коллеги из Сеульского национального университета и Стэнфордского университета сосредоточились на повышении эффективности как датчиков, так и алгоритмов. «Мы попытались создать систему распознавания жестов, которая была бы достаточно простой по форме и достаточно адаптируемой, чтобы работать практически с любым пользователем и задачами с ограниченным объемом данных», — говорит он.
Есть две ключевые части новой системы, о которых команда сообщила в журнале Nature Electronics . Один представляет собой сетку, состоящую из миллионов нанопроволок серебра, покрытых золотом, которые встроены в полиуретановое пластиковое покрытие. По его словам, сетка прочная и эластичная, а также помогает сенсору прилипать к коже. «Он точно повторяет морщины и складки каждого пальца человека, который его носит», — говорит Джо.
По его словам, сетка может быть напечатана непосредственно на коже с помощью портативной машины, и она настолько тонкая и легкая, что практически незаметна. Он добавляет, что материал также является биосовместимым и дышащим — и выдерживает несколько дней ежедневного использования, включая мытье рук, если его не стереть водой с мылом.
Команда напрямую напечатала сетку на тыльной стороне руки пользователя, спускаясь по указательному пальцу. Сеть нанопроводов улавливает крошечные изменения электрического сопротивления, когда кожа под ними растягивается. Когда рука движется, нанометки создают уникальные шаблоны сигналов, которые по беспроводной сети отправляются через легкое устройство Bluetooth на компьютер для обработки. Здесь в дело вступает ИИ. Система машинного обучения сопоставляет изменяющиеся закономерности электропроводности с конкретными физическими задачами и жестами. Исследователи сначала используют случайные движения рук и пальцев от трех разных пользователей, чтобы помочь ИИ изучить общую корреляцию между движениями.
Затем, основываясь на этих предварительных знаниях, исследователи обучают систему различать паттерны сигналов, генерируемые конкретными задачами, такими как набор текста на телефоне, набор текста двумя руками на клавиатуре, удерживание и взаимодействие с шестью объектами разной формы. Каждый пользователь выполнял отдельные жесты, связанные с задачами, пять раз, чтобы создать небольшой набор данных, на котором исследователи обучали модель. Алгоритм учится распознавать, например, когда пользователь набирает определенную букву на клавиатуре или обводит наклонную поверхность пирамиды. В ходе тестов система смогла распознавать объекты, которые держит в руках, и предложения, набираемые на виртуальной клавиатуре новым пользователем.
«Наша схема обучения не только гораздо более эффективна в вычислительном отношении, но и универсальна, поскольку может быстро адаптироваться к различным пользователям и задачам с небольшим количеством демонстраций», — говорит Джо. Новая схема обучения ИИ в сочетании с умной кожей, наносимой на спрей, может расшифровывать движения человеческих рук, распознавать набор текста, язык жестов и даже форму простых знакомых объектов. По словам разработчиков, технология быстро распознает и интерпретирует движения рук с ограниченными данными и минимальным обучением и должна работать для всех пользователей.
Помимо использования в играх и виртуальной реальности , новая технология распознавания задач руками может позволить людям общаться с другими людьми и с машинами с помощью жестов. Другие приложения, которые предполагают технологи, включают хирургов, дистанционно управляющих медицинскими устройствами, а также новый способ роботов и протезов для распознавания объектов и движений.
Разработанная до сих пор технология распознавания жестов основывалась на громоздких браслетах, измеряющих электрические сигналы, производимые мышцами, или на перчатках с датчиками деформации на каждом суставе. Другие подходы включают камеры, которые отслеживают движения человека и интерпретируют их с помощью машинного обучения. Для этих систем камер с захватом движения требуются изображения, снятые с нескольких окружающих углов, а это означает, что для одной системы распознавания жестов требуется несколько камер. По словам Сунхо Джо , эти многокамерные системы также страдают от ограничений, присущих датчикам на основе технического зрения., профессор школы вычислительной техники Корейского передового института науки и технологий. К таким ограничениям относятся области рабочего пространства, не охваченные несколькими камерами, а также ошибки, которые неизбежно возникают, когда рука или другой объект перекрывается из поля зрения.
Программное обеспечение, используемое до сих пор, также было громоздким. Исследователи обычно полагались на модели машинного обучения, основанные на контролируемых алгоритмах обучения, требующих больших вычислительных ресурсов. Они требуют, чтобы для каждого нового пользователя и задачи собирался большой объем данных, и все они требуют маркировки людьми.
Чтобы сделать систему распознавания движения более упорядоченной, Джо и его коллеги из Сеульского национального университета и Стэнфордского университета сосредоточились на повышении эффективности как датчиков, так и алгоритмов. «Мы попытались создать систему распознавания жестов, которая была бы достаточно простой по форме и достаточно адаптируемой, чтобы работать практически с любым пользователем и задачами с ограниченным объемом данных», — говорит он.
Есть две ключевые части новой системы, о которых команда сообщила в журнале Nature Electronics . Один представляет собой сетку, состоящую из миллионов нанопроволок серебра, покрытых золотом, которые встроены в полиуретановое пластиковое покрытие. По его словам, сетка прочная и эластичная, а также помогает сенсору прилипать к коже. «Он точно повторяет морщины и складки каждого пальца человека, который его носит», — говорит Джо.
По его словам, сетка может быть напечатана непосредственно на коже с помощью портативной машины, и она настолько тонкая и легкая, что практически незаметна. Он добавляет, что материал также является биосовместимым и дышащим — и выдерживает несколько дней ежедневного использования, включая мытье рук, если его не стереть водой с мылом.
Команда напрямую напечатала сетку на тыльной стороне руки пользователя, спускаясь по указательному пальцу. Сеть нанопроводов улавливает крошечные изменения электрического сопротивления, когда кожа под ними растягивается. Когда рука движется, нанометки создают уникальные шаблоны сигналов, которые по беспроводной сети отправляются через легкое устройство Bluetooth на компьютер для обработки.
КЮН ГЮ «РИЧАРД» КИМ/СТЭНФОРДСКИЙ УНИВЕРСИТЕТ
Здесь в дело вступает ИИ. Система машинного обучения сопоставляет изменяющиеся закономерности электропроводности с конкретными физическими задачами и жестами. Исследователи сначала используют случайные движения рук и пальцев от трех разных пользователей, чтобы помочь ИИ изучить общую корреляцию между движениями.
Затем, основываясь на этих предварительных знаниях, исследователи обучают систему различать паттерны сигналов, генерируемые конкретными задачами, такими как набор текста на телефоне, набор текста двумя руками на клавиатуре, удерживание и взаимодействие с шестью объектами разной формы. Каждый пользователь выполнял отдельные жесты, связанные с задачами, пять раз, чтобы создать небольшой набор данных, на котором исследователи обучали модель. Алгоритм учится распознавать, например, когда пользователь набирает определенную букву на клавиатуре или обводит наклонную поверхность пирамиды. В ходе тестов система смогла распознавать объекты, которые держит в руках, и предложения, набираемые на виртуальной клавиатуре новым пользователем.
«Наша схема обучения не только гораздо более эффективна в вычислительном отношении, но и универсальна, поскольку может быстро адаптироваться к различным пользователям и задачам с небольшим количеством демонстраций», — говорит Джо.
Джо добавляет, что теперь они планируют попробовать разместить устройства с наносеткой на нескольких пальцах, чтобы зафиксировать больший диапазон движений рук. По его словам, большее количество датчиков приведет к большему объему данных для анализа, поэтому исследователям необходимо будет тщательно продумать баланс между точностью и разумными вычислительными нагрузками для системы ИИ.