불특정 다수 및 유해물질 모자이크 실시간 방송 플랫폼

프로젝트 소개

2024 한이음 공모전 동상 수상작

실시간 방송의 불특정 다수의 초상권 침해 문제를 해결하고, 칼/담배 등 유해물질을 모자이크하며 욕설을 자동으로 삐처리하는 실시간 방송 보호 어플리케이션입니다.

---

주요 기능

기능	설명
실시간 얼굴 모자이크	실시간 방송 중 불특정 다수 얼굴 자동 인식 및 블러 처리
유해물질 모자이크	칼, 담배 등 위험 물체를 실시간 감지 후 모자이크 처리
방송 다시보기	과거 방송을 다시 볼 수 있는 기능
욕설 삐처리	방송 다시보기에서 방송인의 음성 중 욕설을 감지하여 자동 삐처리
정보 취약 계층을 위한 화자 분석 및 자막 생성	방송 다시보기에서 실시간 자막 자동 생성

---

💡 담당한 개발 내용

모자이크 기반 실시간 스트림 처리, FastAPI 모델 서버 연동 등 실시간 방송 파이프라인을 전반적으로 구축했습니다.

실시간 댓글, 실시간 반응 등 라이브 방송 환경에 필요한 실시간 인터랙션 기능들을 구현했습니다.

1. 프론트엔드 개발 (Flutter)

• 실시간 방송 파이프라인 UI/UX 구성 및 구현 (방송인 얼굴 받기 -> 모자이크 옵션 선택 -> 실시간 스트리밍 화면)

2. 백엔드 개발 (FastAPI · Node.js)

• FastAPI 기반 모자이크 모델 서버 구성
• 미디어 프로토콜 HLS과 FFmpeg를 사용하여 실시간 스트리밍 구현
• 양방향 소통을 위한 Websocket을 사용하여 실시간 반응, 실시간 댓글 구현
  
  

3. 서버 인프라 및 배포 (AWS EC2 · S3 · MongoDB)

• AWS EC2 기반 서버 배포
• MongoDB로 방송 텍스트 데이터 저장
• AWS S3 방송인 얼굴 사진 저장
• AWS S3에 .ts로 구성된 .m3u8 영상 데이터 저장
  
  

---

시연 영상

✔️ https://www.youtube.com/watch?v=b8qGRg34ZHg

---

개발 기간

2024년 3월 ~ 2024년 10월

---

기술 스택

Frontend & Backend

기술	역할
Flutter	프론트엔드
FastAPI	AI 모델 서버
Node.js	백엔드 서버
AWS S3	방송인 얼굴 사진 & 방송 데이터 저장
AWS EC2	배포 환경
MongoDB	데이터베이스

---

팀 구성 및 역할

이름	역할
김나영	팀장 · 프론트엔드 · 백엔드
백채은	AI 모델링
정예린	AI 모델링
이다은	프론트엔드 · 백엔드