Използване на изкуствен интелект за възстановяване на езика на жена с тежка церебрална парализа

Мадрид. Изследователи от Калифорнийския университет в Сан Франциско (UCSF) и Университета Бъркли в Съединените щати са разработили интерфейс мозък-компютър (BCI), който позволява на жена, тежко парализирана от инсулт, да разговаря чрез цифров аватар.

Това е първият път, когато речта и изражението на лицето са синтезирани от мозъчни сигнали, съобщиха изследователите в списание Nature. Системата може също да декодира тези сигнали в текст с около 80 думи в минута. Това е значително подобрение спрямо наличната в търговската мрежа технология.

Едуард Чан, професор по неврохирургия в UCSF, който работи върху технологията, известна като интерфейс мозък-компютър (BCI), повече от десетилетие, се надява изследването да доведе до пробиви в близко бъдеще. Свържете се със система, която позволява глас от мозъчни сигнали, одобрен от Администрацията по храните и лекарствата.

„Нашата цел е да възстановим форма на обогатена комуникация, която всъщност е най-естественият начин да говорим с другите“, казва Джийн Робъртсън, изследовател по психиатрия в Weill Institute for Neuroscience на UCSF. Чан, изтъкнат професор, добави.

Тези разработки, подчерта той, ни доближават много по-близо до реалните решения за пациентите.

Екипът на Чанг преди това беше демонстрирал, че може да дешифрира мозъчни сигнали в текст от човек, претърпял внезапно нарушение на церебралната циркулация в мозъчния ствол (инсулт) преди много години. Текущите изследвания предполагат нещо по-амбициозно. Това е декодирането на мозъчни сигнали в богата реч, заедно с движения, които оживяват лицето на човек по време на разговор.

Д-р Чан имплантира 253 тънки като хартия електроди под прав ъгъл към повърхността на мозъка на жената в области, които нейният екип смята за важни за езика.

компютърна банка

Електродите блокирали мозъчните сигнали, които биха били изпратени до езика, челюстта и мускулите на ларинкса, както и към лицето, ако инсултът не беше настъпил. Кабел, свързан към порт, монтиран на главата, свързва електродите с компютърна банка.

В продължение на няколко седмици участниците работиха с екипа, за да обучат алгоритмите за изкуствен интелект (AI) на системата да разпознават уникални мозъчни сигнали в речта. За да направи това, тя повтаряше различни фрази от нейния речник от 1024 думи отново и отново, докато компютърът разпозна модели на мозъчна активност, свързани със звуците.

Вместо да обучават AI да разпознава цели думи, експертите са създали системи, които дешифрират думи от фонеми. Това са звукови субединици, които изграждат говоримия език по същия начин, по който буквите изграждат писмения език. Например Hola съдържа четири фонеми: HH, AH и L y OW.

Използвайки този метод, компютърът трябва да научи само 39 фонеми, за да дешифрира всяка английска дума. Това подобри точността на системата и утрои нейната скорост.

Точността, бързината и речниковият запас са важни. Това позволява на потребителите с течение на времето да комуникират почти толкова бързо, колкото ние, и да водят по-естествен и нормален разговор. Шон Мецгер, който разработи текстовия декодер с Алекс Силва, каза: И двамата са студенти в Калифорнийския университет, Бъркли. Програма за сътрудничество по биотехнологии на UCSF.

За да създаде гласа, екипът измисли алгоритъм за синтезиране на гласа, използвайки запис на нейната реч на сватбата и го коригира да звучи като гласа на Ан преди нараняването.

Екипът анимира аватарите с помощта на софтуер, разработен от Speech Graphics, компания, която създава лицева анимация, базирана на изкуствен интелект, за да симулира и движи мускулите на лицето.

Изследователите разработиха персонализиран процес на машинно обучение, който позволява на софтуера на компанията да използва сигналите, които мозъкът на жената изпраща, когато тя се опитва да говори, и да ги преведе в движения на лицето на аватара. Това кара челюстите да се отварят и затварят, устните да изпъкват, бръчките и езикът да се движат нагоре и надолу и движенията на лицето на радост, тъга и изненада.

Възстановяваме увредените от инсулта връзки между мозъка и гласовия тракт. Първият път, когато обект говори с тази система и премести лицето на аватара си едновременно, знаех, че това ще има голямо въздействие. Кайро Литълджон и проф. Гопала Анумантипали, завършили студенти, работещи с проф. Чан, казаха: Той има бакалавърска степен по електроинженерство и компютърни науки от Калифорнийския университет в Бъркли.

Важна следваща стъпка за екипа е да създаде безжична версия, която не изисква потребителите да бъдат физически свързани към BCI.

Дейвид Мо заключи, че ако тази технология може да бъде използвана, за да даде на хората повече контрол върху техните компютри и телефони, това ще има дълбоко въздействие върху независимостта и социалните взаимодействия на хората.

Вашият коментар