Парализованная женщина впервые в мире смогла «говорить». Это стало возможным из-за цифрового аватара, сообщает The Guardian.
Отмечается, что новая технология использует крохотные электроды на поверхности мозга и работает быстрее синтезаторов, основанных на отслеживании глаз. Так она превращает сигналы мозга в язык и мимику.
«Новая технология использует крохотные электроды, имплантированные на поверхность мозга, для обнаружения электрической активности в той части мозга, которая контролирует язык и движение лица. Эти сигналы превращаются непосредственно в речь и выражение лица цифрового аватара, включая улыбку, угрюмость или удивление. Наша цель — восстановить полноценный, воплощенный способ общения, который действительно является для нас наиболее естественным способом общения с другими», — сказал профессор Эдвард Чанг, руководивший работой в Калифорнийском университете в Сан-Франциско (UCSF).
Согласно исследованию, команда имплантировала прямоугольник толщиной из бумаги, состоящей из 253 электродов, на поверхность мозга в области, критической для речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, контролировали мышцы ее языка, челюсти, гортани и лица. После имплантации женщина работала с командой над обучением алгоритму искусственного интеллекта системы обнаруживать уникальные сигналы ее мозга для разных звуков речи, многократно повторяя разные фразы.
Компьютер запомнил 39 различных звуков, а языковая модель в стиле Chat GPT использовалась для перевода сигналов в понятные предложения. Затем это использовалось для управления аватаром с персонализированным голосом, похожим на голос Энн до травмы, на основе записи ее выступления на свадьбе. Технология не была идеальной: слова декодировались неправильно в 28% случаев при тестировании, включающем более 500 фраз, и она генерировала мозг в текст со скоростью 78 слов в минуту по сравнению со 110-150 словами, обычно произносимыми в естественном разговоре», — добавили ученые.
