Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предугадывать жесты, основываясь только на голосе человека. Она выдаёт реалистичный результат и оказывается точной почти в половине случаев.
Нейросеть обучили на 144 часах видеозаписей с 10 людьми, которым приходится много жестикулировать, включая телеведущих, преподавателей и проповедников. В результате, алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом, – передает TJ.
Пока система работает с небольшой точностью и только в 44% случаев результат совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.
Чтобы поддержать будущие исследования команда опубликовала набор данных с характерными жестами и исходный код в открытом доступе.
Напомним, нейросеть-повар научилась создавать рецепты по фото.
