Один імплант у мозку розпізнав мовлення й жести паралізованих людей

У дослідженні взяли участь 3 людини з тяжким паралічем, які мали значні порушення рухів кінцівок і мовленнєвого апарату. Для реєстрації активності мозку використовували один високощільний електрокортикографічний імплант (ECoG), розташований над сенсомоторною корою.

Спочатку дослідники перевірили, чи можна за допомогою одного імпланта розпізнавати спроби різних рухів — верхніх кінцівок, голови, обличчя та рухів, пов’язаних із мовленням. Виявилося, що різні типи рухів формували відмінні, хоча частково перекривані, патерни мозкової активності.

Наступний етап проводили у 2 учасників.

Для кожного створили два паралельні декодери:

• один розпізнавав спроби мовлення;
• другий — спроби виконання жестів.

Учасників просили окремо намагатися вимовляти певні фрази, виконувати жести або робити це одночасно. Розпізнані команди використовували для керування персоналізованим повнорозмірним віртуальним аватаром, який міг відображати як мовлення, так і рухи тіла.

Одним із важливих результатів стало те, що мозкова активність під час одночасної спроби говорити й жестикулювати не була просто сумою сигналів, які виникали при окремому мовленні та окремих жестах. Моделі, навчені лише на ізольованих спробах мовлення чи рухів, гірше працювали, коли людина намагалася виконувати обидві дії одночасно.

Коли до навчання системи додали дані про одночасні спроби мовлення та жестів, точність покращилася, а кількість помилкових спрацьовувань зменшилася.

Дослідники також перевірили інтерфейс у більш природному форматі — під час коротких розмов. Один учасник у трьох розмовних блоках мав медіанну точність 100 % як для розпізнавання мовлення, так і для жестів.

В іншого учасника в п’яти розмовних блоках середня точність становила:

• 85 % для жестів;
• 75 % для мовлення.

Водночас ці показники отримані на обмеженому наборі попередньо визначених фраз і жестів, тому їх не слід трактувати як 100-відсоткову точність системи у звичайному повсякденному спілкуванні.

Людське спілкування складається не лише зі слів. Жести, рухи голови, вираз обличчя та інші невербальні сигнали допомагають передавати емоції, наміри й контекст. Після інсульту, ураження стовбура мозку або при нейродегенеративних захворюваннях, зокрема бічному аміотрофічному склерозі, людина може втратити як здатність говорити, так і можливість жестикулювати.

Результати показують, що один кортикальний імплант потенційно може забезпечувати керування кількома способами комунікації одночасно, а не лише відтворювати текст або окремі рухи.

Обмеження

Це дослідження є доказом концепції, а не готовою технологією для широкого клінічного використання. У дослідженні брали участь лише 3 людини, а одночасне керування мовленням і жестами в режимі реального часу перевіряли лише у двох.

Крім того:

• використовувався обмежений набір фраз і жестів;
• система потребувала індивідуального навчання;
• застосовувався інвазивний мозковий імплант;
• експериментальна система була дротовою та підключалася до зовнішнього обладнання.

Тому необхідні дослідження за участю більшої кількості людей, ширшого словникового запасу та більшої кількості жестів, а також оцінка стабільності роботи системи протягом тривалого часу.

ДЖЕРЕЛО: nature

На платформі Accemedin багато цікавого! Аби не пропустити — підписуйтесь на наші сторінки! Facebook. Telegram. Viber. Instagram.