CEDC2024 - Gold prize

프로젝트 소개

뇌졸중으로 인한 의사소통 장애 및 근력 재활 의료용 기능성 햄버거 만들기 게임

• 본 프로젝트는 뇌졸중으로 인해 언어 및 근력 장애를 겪는 환자들을 위한 재활용 모바일 게임으로 사용자가 음성 명령을 통해 게임을 진행하고, 근전도(EMG) 센서를 통해 근육 활동을 측정하여 재활 과정을 지원한다. 이를 통해 사용자는 음성 능력의 향상과 근육 퇴화를 방지하는 데 도움을 받을 수 있다.

사용자는 음성 명령을 통해 햄버거 재료를 선택하고, 근전도(EMG) 센서를 통해 팔·손 근육의 움직임을 감지하여 게임을 진행

1. 음성 인식 기반 발음 훈련

2. EMG 센서 기반 근력 강화 훈련

3. 재미 요소와 재활 효과를 결합한 게임 플레이

기존 재활 치료의 지루함을 줄이고, 사용자가 스스로 참여하면서 꾸준히 훈련하도록 설계

구현 내용

본 프로젝트는 Unity 엔진을 기반으로 개발되었으며, 음성 인식, EMG 센서 연동, 재활 평가 기능을 게임 시스템 안에 자연스럽게 통합하여 뇌졸중 환자가 재미있게 참여할 수 있는 기능성 재활 게임 환경을 제공합니다.

1. 음성 인식

• 사용자는 “빵”, “치즈”, “패티” 등 재료 이름을 음성으로 발화한다.
• 게임은 Google Speech-to-Text API를 사용해 음성을 실시간 텍스트로 변환한다.
• 인식된 단어는 Unity 내 재료 리스트와 매칭되어 즉시 게임 동작으로 반영된다.
• 발음에 따라 재료의 모양이 달라지며 점수화한다.
• 이를 통해 사용자는 게임을 클리어하기 위해 자연스럽게 반복 발음 훈련을 수행한다.

2. 음성 처리

• Google STT에서 제공하는 Confidence Score를 활용해 발음 정확도를 평가한다.
• 정확도가 기준 이상이면 선택 성공, 미만이면 실패 및 재시도 요청이 이루어진다.
• 실시간 피드백을 통해 사용자는 자신의 발음 상태를 즉시 확인하며 교정 효과를 얻는다.

3. 근전도(EMG) 센서

• 팔, 손 근육 활동은 Arduino 기반 EMG 센서(MyoWare)를 사용해 측정한다.
• Arduino가 EMG 전기 신호를 아날로그 값으로 수집하고, BLE/Serial로 Unity에 전달한다.
• Unity는 EMG 신호의 강도·패턴을 분석하여 게임 내 동작 성공/실패를 판정한다.
• 근육 활성도가 기준치 이상이면 포장 성공, 기준 미달 시 실패 또는 재시도를 안내한다.
• Arduino EMG 센서를 활용해 근육 사용·강화 훈련을 자연스럽게 수행할 수 있다.

4. 재활 평가

• Unity는 Google STT(음성) 결과와 Arduino EMG(근전도) 데이터를 종합 분석해 재활 상태를 평가한다.
• 주요 평가 요소:
  • 발음 성공률 / 정확도(Confidence 평균)
  • EMG 근육 활성도(평균·최대값)
  • 수행 동작 성공률 및 소요 시간
• 분석 결과는 난이도 조정, 훈련 추가 요청, 맞춤 피드백 등에 활용된다.
• 여러가지 요소의 평가 점수를 통해 햄버거 모양이 결정된다.
• 모든 데이터는 DB(MySQL, MariaDB, Firebase 등)에 저장되며, 사용자는 자신의 재활 진행을 확인할 수 있어 지속적인 동기부여가 가능하다.

시스템 흐름도

개발 환경

• 게임 엔진: Unity
• 음성 인식: Google Cloud Speech-to-Text
• 근전도 센서: Arduino 기반 EMG 센서 (Serial/BLE 통신)
• 데이터베이스: MySQL / MariaDB / Firebase
• 플랫폼: Android 모바일 앱

데모 영상

_.mp4