🎈 프로젝트명 : SONTOK
📌 프로젝트 컨셉 : 실시간 수어 번역 애플리케이션
🛠 개발 기간 : 23.10.09 ~ 23.11.17 (6주)
- *농인과 *청인의 실시간 대화를 도와주는 애플리케이션
- 대화의 전체 내용을 저장 및 열람하는 기능
*농인: 청각장애인 중 한국수어를 제1언어로 사용하고 한국수어에 기반한 독특한 농문화를 영위하며 사는 사람
*청인: 농인에 대비되는 개념으로 음성언어를 중심으로 의사소통을 하는 사람
| 구분 | 기능 | 설명 | 비고 |
|---|---|---|---|
| 1 | 실시간 수어 번역 | 농인의 수어를 텍스트로 번역, 텍스트를 음성으로 변환하여 청인에게 전달 | |
| 2 | 음성을 텍스트로의 변환 | 청인의 음성을 텍스트로 변환하여 농인에게 전달하는 기능 | |
| 3 | 대화 내용 저장 | 실시간 대화 내용 전체를 저장 | 수어, 음성 대화를 일괄 텍스트화하여 저장 |
| 4 | 대화 내용 열람 | 저장한 대화 내용을 불러오기 |
| 상세 | 내용 |
|---|---|
| GitLab | 형상 관리 |
| Jira | 일정 및 이슈 관리 |
| Mattermost | 커뮤니케이션 |
| Notion | 일정 및 문서 관리 |
| 상세 | 버전 | 비고 |
|---|---|---|
| Kotlin | 1.8 | |
| JDK | 17 | |
| min SDK | 29 | |
| target SDK | 33 | |
| MediaPipe | latest | |
| Tensorflow Lite | 2.14.0 | |
| Naver CLOVA | 1.1.6 | CLOVA Speech Recognition(CSR) |
| 상세 | 버전 | 비고 |
|---|---|---|
| Python | 3.11.6 | |
| opencv-contrib-python | 4.8.1.78 | |
| Tensorflow | 2.14.0 | |
| Mediapipe | 0.10.7 | |
| Matplotlib | 3.8.0 |
SONTOK 다운로드 해당 Google Play링크에서 APK 파일을 다운받아 안드로이드 환경에서 설치할 수 있습니다.
- 1.1.9
- 최종 릴리즈 버전
| 이름 | 역할 | 담당 | 비고 |
|---|---|---|---|
| 탁성건(팀장) | ML | data 수집, dataset 생성, modeling | profornnan@gmail.com |
| 강성구 | ML | modeling, data 전처리, 모델 버전 관리, 파일구조 관리 | sungku2757@gmail.com |
| 이재홍 | ML | ML, 영상, 발표 자료 | h78749891@gmail.com |
| 김용우 | Android App | Figma 기획 및 제작, Front-End(media pipe, tensorflow lite), 모델 테스트 | greenlife126@gmail.com |
| 동화영 | Android App | Figma 기획 및 제작, Front-End(MediaPipe 적용, TTS 적용, MediaPipe의 결과를 ML 입력데이터로 변환) | donghwayeong@gmail.com |
| 임서희 | Android App | Figma 기획 및 제작, Front-End | seooh212@gmail.com |
| 프로필 | 내용 | 비고 |
|---|---|---|
 |
탁성건 인공지능이라는 새로운 분야에 도전하며 데이터 셋 생성, 전처리 및 학습 과정을 통해 ML에 대한 이해를 높일 수 있었던 좋은 경험이었습니다. |
|
 |
강성구 공통, 특화와는 다른 새로운 분야에 대한 도전이었습니다. 직접 데이터 셋도 만들고, 안드로이드와 연동도 해보는 과정에서 시행착오가 많았지만 하나하나 해결해나가면서 배울 점도 많아 뜻 깊은 시간이었습니다. |
|
 |
김용우 공통, 특화를 거쳐 SSAFY에서의 마지막 프로젝트인 자율 프로젝트를 마무리 지었습니다. 프로젝트를 진행하며 그 동안 쌓았던 노하우와 기술을 마음껏 쏟아 부을 수 있는 좋은 기회였습니다. 팀원들이 모두 열심히 해 주어서 프로젝트가 잘 마무리 될 수 있었습니다. 다만, 프로젝트를 마무리 할 때는 언제나,, "조금만 더 시간이 있었다면..." 이라는 아쉬움이 남는 것 같습니다. 온 디바이스에서 3개의 인공지능 모델(media pipe pose, media pipe hand * 2, 우리의 model)과 클로바 X의 STT, TTS 를 모두 적용해 보는 좋은 경험이였습니다. |
|
 |
동화영 팀원들과 자율적으로 주제를 정하며 누군가의 삶에 도움이 되는 서비스를 만들자는 하나의 목표를 정하였습니다. 지금껏 개개인이 쌓아온 기술력을 총집합하여 하나의 애플리케이션에 녹아낼 수 있는 소중한 기회였습니다. 처음 적용해보는 STT, TTS, MediaPipe 기술을 안드로이드 온디바이스 환경으로 적용해보는 도전적인 과제이었으나, 실사용자들이 우리의 서비스를 사용하면서 편리하게 소통할 수 있을 모습을 상상하며 끊임없이 도전한 프로젝트였습니다. |
|
 |
이재홍 성실하게 노력하는 팀원들과 새로운 분야를 여러 각도에서 접근해 볼 수 있는 기회였습니다. |
|
 |
임서희 STT와 TTS 그리고 실시간 통신을 통한 수어 번역 프로젝트를 경험할 수 있었고 즐겁게 프로젝트를 마무리 한 것 같습니다. |