[전문기술] 마음의 소리를 읽어주는 뇌 임플란트

[전문기술]  마음의 소리를 읽어주는 뇌 임플란트

 

 

◇ “내부 언어 또는 내부 독백(internal speech)”을 단어로 번역할 수 있는 뇌-기계 인터페이스(BMI) 개발에 관한 연구결과가 발표. 기존 연구가 발성 과정의 음성 데이터에 의존한 것과 달리 뇌 신호만으로 단어를 예측했다는 점에서 향후 말할 수 없는 사람들의 의사소통에 큰 도움이 될 것으로 기대      ▸주요 출처 : Nature news, Brain-reading device is best yet at decoding ‘internal speech’, 2024.5.13., Nature human behaviour, Representaion of internal speech by single neurons in human supramarginal gyrus, 2024.5.13

 

 ■최근 연구에서 “내부 언어(internalspeech)”의 뇌 신호를 포착해 단어로 번역하는 뇌-기계 인터페이스(BMI, Brain-machine interface)*를 개발

* 뇌와 기계를 연결해 컴퓨터 등을 조작하는 시스템으로, 뉴럴링크가 대표적 BMI 기업임

○ 이번 연구는 발성과정 음성 데이터 없이 “내부 언어”를 해독한 최초의 성과

- 기존 연구가 발성과정의 음성 데이터에 의존한 것과 달리 뇌신호만으로 79%의 정확도로 단어를 예측한 점에서 큰 차이

    ※ “내부 언어”을 담당하는 뇌영역이 명확하지 않아 기존 연구는 입술을 움직이거나 부분적 발성(partly vocalized) 데이터가 있어야 해독(decoding)이 가능했음

○ 이번 연구에서는 단어에 대해 선택적으로 활성화되는 뉴런을 식별하고 특성을 분석

- 연구팀은 이전 연구에서 단어의 운율(rhyme)을 결정하는 것과 같이 말과 글을 처리하는 작업이 수행될 때, 뇌의 모서리위이랑(SMG, supramarginal gyrus)이 활성화되는 것을 관찰

- 기존 음성 디코딩 연구에서는 이식 위치로 고려되지 않았던 모서리위이랑에 다중미세전극(arrays of tiny elctrodes)을 부착하기로 결정

○ 2명의 척수 손상 참가자의 모서리위이랑(SMG)에 전자장치를 이식 2주후, SMG 단일뉴런의 활성을 측정

- 6개의 단어와 2개의 의사단어(pseudowords)를 소리 또는 문자로 신호(cue) 하고→내부적으로 말하고 → 동일한 단어를 발성하여 말하도록 실험 설계

    ※ battlefield, cowboy, python, spoon, swimming, telephone으로 의미를 가진 6개 단어와 nifzig, bindip의 2개 단어는 의미 없이 단어를 모방하는 의사단어로 구성

- 실험 과정에서 SMG 단일뉴런의 활성화 데이터를 수집하여 단어에 따라 선택적으로 활성화되는 뉴런을 식별하고, 뉴런군의 특성을 분석

 

■내부 언어를 해독할 수 있는 뇌 영역이 명확하지 않았던 상황에서, SMG 부위에서 내부 언어의 디코딩이 가능함을 처음으로 확인

○ 일차 체성감각피질(S1)* 뉴런이 “발성 언어(vocalized speech)”에서만 반응한 것과 달리, SMG 뉴런은 내부 언어 뿐 만 아니라 발성 언어에서도 활성화

    * 뇌의 마루엽 중심뒤이랑(postcentralgyrus)에 위치하며, 체성감각(피부, 운동, 평형 감각 등) 정보를 처리하는 대뇌피질

- 내부 언어로 활성화된 SMG 뉴런의 82∼85%가 발성 언어에서도 활성화되었고, 나머지 SMG 뉴런은 내부 언어에서만 활성화되는 것으로 조사

    ※ 과학자들은 내부 언어(internal speech)와 발성 언어(vocalized speech)의 신호처리 과정이 유사할 것으로 예상하지만 뇌 영역의 중첩 정도는 아직까지 불분명

○ 하지만 참가자에 따라 단어 예측의 정확도가 달랐는데 사람마다 내부 언어를 처리하는 방식이 다양하여 BMI 제어력이 다를 수 있음을 시사

- 무작위로 떠올린 단어를 뇌 신호 패턴으로 예측한 실험에서 단어별 패턴이 뚜렷이 달랐던 첫 번째 참가자는 79%의 높은 정확도를 보였으나,  

- 단어별로 고유하게 활성화되는 SMG 뉴런이 적었던 두 번째 참가자의 경우, 23%로 낮은 예측 결과를 보임

 

< SMG 뉴런 활성 측정을 위한 언어작업(language process) 설계 >

 

 

¶ ITI(inter-trial interval) : 시행 간격, Cue :소리와 문자 신호, D1 :1st delay,Internalspeech :내부 언어, D2 : 2nddelay, Vocalized speech : 발성 언어

¶ 2가지 cue sign(소리, 문자) X 2가지 말하기(내부적 말하기, 발성하여 말하기), 총 4가지 언어작업을 6단계로 시행

 

■이번 연구결과가 말할 수 없는 사람들의 생각을 읽고 의사를 소통하는 데에 도움이 될 것으로 기대

○ 이를 위해 더 많은 참가자와 새로운 단어로 실험해 기술을 개선하는 추가 연구가 필요

- 연구팀은 SMG가 내부 언어 해독에 중요한 영역이나, 아직까지 내부 언어의 뇌 활성화 기전 및 처리방식에 대해 확실히 규명된 것은 아니라고 설명

    ※ 또한 참여자 모두 말할 수 있고 뇌 언어 영역이 온전하다는 점을 고려하면 말하기 능력을 상실한 사람들에게 이 기술이 일반화될 수 있는지 의문

- 연구팀은 이 기술이 “감금증후군(condition like locked-in syndrome)”과 같은 상태처럼 더 이상 움직일 수 없거나 말할 수 없는 사람들을 위해 특히 유용할 것으로 예상

 

< “내부 언어” 디코딩과 관련된 SMG 뉴런군의 활성 데이터 특성(dPCA*) 분석 >  

 

 

 

(a) 타이밍 분석 : SMG 뉴런군은 내부 언어, 발성 언어 타이밍에서 최고조로 활성화되나, S1** 뉴런군은 발성 언어 타이밍에서만 활성화. (b) 신호 유형 분석 : 소리에 비해 문자 신호에서 SMG 뉴런이 더 빨리 활성화되나, 이후에는 신호 유형에 따라 차이가 크지 않음을 확인. (c) 단어 유형 분석 : 의사단어는 의미단어와 유사한 패턴을 보여 단어의 의미가 SMG 활성에 영향을 주지 않음을 확인

 

    * dPCA : 데이터의 시각화, 노이즈 제거, 데이터 압축 등의 목적으로 원래 데이터의 정보를 최대한 유지하면서 데이터의 차원을 축소하거나 특징을 추출하는데 사용되는 통계적 방법 중 하나

     * S1(일차 체성감각 피질) 뉴런 : 뇌의 마루엽 중심뒤 이랑(브로드만 영역 3번)에 위치하며 감각기로부터 전달되는 체성감각(피부, 운동, 평형 감각 등) 정보를 처리