뇌파 개인차 극복을 위한 딥러닝 기반 정규화 기술을 개발해 뇌와 컴퓨터 연결의 상용화를 앞당기는 데 발판을 마련한 김성은 인공지능응용학과 교수를 만나봤다. 그를 통해 뇌 신호를 디코딩해 기계로 제어하는 기술인 BCI 기술과 뇌 인공지능의 미래에 관한 이야기를 나눌 수 있었다.

Q. 간단한 자기소개 부탁드립니다.

A. 저는 2021년도에 인공지능응용학과 교수로 임용돼 우리대학에서 연구를 시작했습니다. 주된 연구 분야는 인공지능 파트 중에서 뇌와 뇌의 관계를 이해하려는 인공지능 분야입니다. 뇌의 신호로부터 사람의 의도, 질환이나 질병 같은 것들을 이해하려는 인공지능 기술을 연구하고 개발하고 있습니다.

 최근에는 브레인 컴퓨터 인터페이스(BCI)라는 기술로 논문을 내고 학회에서 발표했어요. 뇌 신호로부터 사람이 원하고 있는 의도나 사람이 생각하고 있는 내용을 파악한 다음 기계에 명령을 어떻게 내릴 것인지에 대한 디코딩 기술을 연구하고 있습니다.

Q. BCI 기술에 대해 구체적으로 설명 부탁드립니다.

A. BCI 기술은 뇌 신호를 컴퓨터, 디바이스, 기계 같은 제어 장치와 연결해주는 인터페이스 기술입니다. BCI 기술은 등장한지 100년 이상 지났어요. 뇌를 이해하려고 노력한 세월이 이 정도죠. 가장 이슈가 됐던 것은 BCI 기술을 연구하는 회사인 ‘뉴럴링크’에서 2년 전쯤 원숭이에게 임플란트 칩을 뇌에 심었어요. 그 뇌 신호로부터 신호를 무선으로 전송받아 신호를 분석해 사람의 의도를 파악하는 엄청난 기술을 선보였습니다.

 연구 분야가 무궁무진하지만, 실생활에 사용하기에는 아직 부족해요. 그렇지만 얼마 전에 미국 기업 ‘뉴럴링크’가 사람에게 실험할 수 있는 FDA 승인을 받았습니다. 이제는 임플란트 칩을 사람의 뇌에 심을 수가 있게 됐죠. 그렇게 되면 사람이 직접 시연할 수 있는 날이 2, 3년 이내에 오지 않을까 하는 생각이 들고, 한 10년 뒤에는 여러분의 뇌를 임플란트하는 세상이 오게 될 수도 있죠. 미래의 얘기를 하자면 직접 말하지 않고도 생각만으로 많은 것들을 하게 되고 내 생각을 여러분에게 생각으로 바로 전달할 수도 있어요. 뇌에서 뇌로 바로 커뮤니케이션하기 위한 연구까지도 진행되고 있다고 보시면 될 거 같습니다.

Q. BCI 기술은 주로 어느 분야에서 어떻게 활용되는 기술인가요?

A. 보통 사람이 생각하고 움직이려는 의도를 파악해서 디스플레이에 보여주거나 디바이스 혹은 로봇 팔, 휠체어, 자동차 등 움직일 수 있는 장치들을 제어하는 데 활용됩니다. 예를 들면 신체의 일부가 불편한 사람들, 신체 중 일부를 로봇으로 이용하는 사람들에게 뇌 신호만으로도 로봇 팔이 내 팔인 것처럼 사용할 수 있도록 도와주는 거죠. 더 나아가 요즘에는 음성을 이해하려고 합니다. 그래서 요즘에 샌프란시스코 대학에서 뇌 신호만 가지고 그 사람이 말하려고 하는 언어를 해독해요. 말하지 않고 생각만 했지만, 그 생각을 언어로 바꿔서 이해하는 분야까지도 진출하고 있다고 보시면 됩니다.

Q. 이번에 개발하신 딥러닝 정규화 기법에 대해서 원리를 포함해 구체적으로 설명 부탁드립니다.

A. 뇌 신호라는 게 한 가지 약점이 있습니다. 동일한 행동에 대한 생각을 하더라도 사람마다 뇌 신호 패턴의 차이가 있어요. 왜냐하면 뇌는 자라나는 환경에 따라서 뇌의 구성이 달라지거든요. 그래서 똑같은 행동을 하더라도 뇌는 절대로 똑같이 동작하지 않아요. 그래서 뇌 신호를 가지고 똑같은 행동의 의도를 파악해야 하는데 사람마다 차이가 있기 때문에 한 사람만으로 실험해서는 알 수가 없죠. 그렇다고 여러 사람을 동시에 실험한다면 사람마다 다른 패턴들을 갖고 있기 때문에 공통된 패턴을 찾아야 합니다.

 그래서 이번 연구는 모든 사람이 똑같이 행동할 때 나온 뇌 신호를 가지고 공통으로 가진 특징만을 추출할 수 있는 인공지능 기법을 개발했다고 이해하시면 됩니다. 1분 정도 눈을 감고 쉴 때의 뇌파를 ‘휴식기(Resting State)’인 뇌파라고 표현합니다. 휴식기에 측정된 뇌파를 이용해서 그 사람의 뇌파 특징을 파악한 후 이 뇌파를 AI가 파악해 해당 뇌파와 관련이 높은 패턴만 남기는 작업을 거쳤죠. 즉 ‘딥러닝 정규화 기법’를 이용해서 진행했습니다.

Q. 뇌파 개인차 극복을 위한 딥러닝 기술을 개발하신 이유가 무엇인가요?

A. 사람이 다 똑같은 생각을 하더라도 서로 다른 패턴이 나오기 때문에 정규화를 해주지 않으면 성능이 나올 수가 없습니다. BCI가 가진 기본적인 문제점인데요. 지금까지는 캘리브레이션(Calibration)을 이용했습니다. 사람마다 한 시간 정도 동일한 행위를 시키면서 뇌파를 측정하고 그 뇌파로 우리가 만든 알고리즘에 적용을 시켜 튜닝하는 거죠.기본적인 방법이에요. 근데 이 방법은 다소 힘듭니다. 매번 튜닝할 때마다 사람을 한 시간씩 운동시켜야 하니까요. 캘리브레이션 과정 없이 한 번에 끝내자는 게 최근 연구의 방향성이죠. 그중에 하나로 약 1분 정도 짧게 측정한 휴식기 뇌파만으로도 쉽게 그 문제를 해결할 수 있는 방식을 제안했다는 게 어찌 보면 획기적이었다고 보시면 될 것 같습니다.

Q. 뇌 인공지능 과학자가 되기까지 노력한 과정과 계기가 있으시다면 간략하게 듣고 싶습니다.

A. 사실 우리나라는 뇌 공학이 활발히 연구되고 있는 나라는 아니에요. 대한민국의 국격도 높아졌고 질적인 연구 능력도 굉장히 좋아졌지만 뇌 공학을 연구하기에는 아직은 열악한 환경입니다. 왜냐하면 뇌 공학 분야는 연구비도 많이 들고 다른 나라에 비해 관리가 체계적으로 잡혀있지 않아서입니다. 이러한 이유 때문인지 저도 원래 뇌 공학에 관심이 없었어요. 저는 전자과를 졸업하고 박사 학위를 받은 후 삼성전자 연구소에서 통신이나 신호처리 연구를 주로 했습니다.

 그러던 중 미국 MIT와 하버드 의대의 연구원들로부터 함께 연구하자는 제안을 받게 됐습니다. 그래서 이를 계기로 과감하게 회사를 그만두고 미국으로 가서 연구를 시작하게 됐어요. 처음에는 호기심으로 시작하게 된 연구였지만 3년 동안 MIT, 하버드 연구원들과 함께 연구를 진행하며 뇌 공학에 대해 조금 알게 됐고 공부를 하며 흥미를 느끼게 됐습니다. 이후 한국으로 돌아와 교수로 임명된 후 뇌 공학 연구를 지속할 좋은 기회를 얻게 되어 현재까지 뇌 공학을 연구하고 있습니다. 저의 연구 강점인 신호처리나 딥러닝 AI를 활용해 효율적으로 뇌 신호를 의미 있게 이해하고 분석해 세상의 여러 기기를 컨트롤하고 싶다는 목표를 이루기 위해 노력하고 있습니다.

Q. 앞으로 교수님의 미래 계획이나 인생 목표가 있으시다면 어떤 것인가요?

A. 저는 앞으로도 그냥 지금처럼 계속 재밌게 연구할 수 있었으면 좋겠어요. 사실 연구라는 게 한다고 결과가 늘 좋게 나오는 건 아니거든요. 그래서 앞으로도 계속 재밌는 연구 주제, 또 제가 흥미를 가지고 해볼 수 있는 연구 내용이 끊임없이 발굴돼 나왔으면 좋겠고 제가 에너지를 쏟아서 열정적으로 연구할 수 있는 연구 주제들이 나오길 바랍니다.

 최근에는 뇌 신호를 이용해 사람의 감정을 인식하는 연구를 진행하고 있습니다. 뇌 신호가 아니더라도 우리 몸이 가진 생체 신호를 이용해 사람에게 어떠한 문제점이 있는지 진단하고 예측해 병원에 가야 함을 알려주는 경고 시스템에 관해 연구하고 있습니다. 이러한 연구를 통해 좋은 결과들을 내서 학생들에게 좋은 진로의 길을 만들어주는 역할이 되고 싶습니다.

Q. 뇌 과학 연구의 현 위치와 전망이 어떻게 되나요?

A. 뇌 과학 연구 분야는 정말 다양해요. 유럽이나 미국에서는 생물학 쪽 연구 분야가 가장 활발하게 진행되고 있습니다. 이 분야의 경우 동물을 이용해 분자 단위로 쪼개고 잘라서 실제로 뇌가 어떻게 작동하는지 연구하는 분야에요. 동물을 이용해 계속 실험해야 한다는 문제점이 있지만, 가시적으로 확인할 수 있는 연구를 진행하기 때문에 정확한 결과를 도출할 수 있어 현재 활발히 진행되고 있는 분야예요.

 또 다른 연구 분야로는 뇌를 쪼개보지 않고 옆에서 바라보는 게 있어요. 이를 보통 ‘뉴로 이미지 처리(Neuroimaging)’라고 하는데 뇌의 영상을 찍어서 실제 뇌가 어떻게 동작하는지 뇌 신호들을 이용해 분석하는 방식이에요. 우리나라에서는 현재 동물실험보다는 주로 뇌 이미징 방향으로 연구가 활발히 진행되고 있어요.

Q. 뇌 공학을 통해 이루고 싶은 목표가 있으시다면 어떤 것인가요?

A. 결론적으로는 뇌 신호를 이용해서 사람의 의도나 상태, 질환 같은 것들을 이해하고 분석해 세상의 여러 기기를 통제하며 사람들에게 도움을 주고 싶습니다. 인간의 로봇 팔이나 다리와 같은 신체 기관을 쉽게 통제해 마치 로봇 팔을 진짜 내 팔처럼 사용할 수 있는 수준까지 이르도록 뇌 신호를 이용해 인간의 유익한 도구로 사용할 수 있도록 돕고 싶어요.

 또 하나는 뇌 신호를 통해 직관적인 소통을 할 수 있는 세상을 만들고 싶어요. 언어를 전달하기 어려움이 있는 상황에서 굳이 말을 하지 않고도 상대방을 쳐다보기만 했을 때 내 생각을 상대방에게 전달시킬 수 있는 편리한 세상을 만들고 싶습니다. 저는 뇌 신호를 이해하고 분석하는데 기여할 수 있는 다양한 알고리즘, 딥러닝 체계 그리고 AI 기술에 관한 지속적인 연구를 통해 사람들의 불편함을 개선하는 데에 기여하는 사람이 되고 싶습니다.

Q. 마지막으로 뇌 공학 관련 연구를 꿈꾸는 학생들에게 한 말씀 부탁드립니다.

A. 우리대학에서도 뇌 공학 또는 뇌 과학에 관심을 가지는 학생들이 있는데 학교에서는 뇌와 관련된 수업이 없어서 걱정이 많다고 하더라고요. 하지만 무조건적으로 뇌 과학 쪽의 수업을 많이 들을 필요는 전혀 없어요. 본인의 전공 수업을 많이 들으면서 뇌 공학 캠프라든지 우리나라에서 운영되는 뇌 관련된 워크숍이나 다양한 대외활동을 참여하시는 것을 추천합니다. 여러 활동을 통해 뇌를 연구하는 다양한 과학자들의 세미나 강연을 듣고 그들이 어떤 식으로 뇌를 연구하고 분석하고 있는지 알아보고 뇌파 측정 실습과 같은 실험 활동을 참여해서 본인의 관심사를 형성해 나아가는 것이 중요하다고 생각합니다.