IUEM — 부르면 AI가 채점하고, 다음 곡을 골라 준다
AI(Suno)로 만든 곡에 도전해 똑같이 부르거나 연주하면, 음정과 박자를 실시간으로 판정하고 끝나면 랭킹에 오른다. 이 사이트는 그 서비스를 만들며 실제로 막혔던 것과 넘은 방법을 남긴 기록이다.
핵심 흐름
| 단계 | 하는 일 | 쓰는 것 |
|---|---|---|
| 1. 곡 준비 | 완성곡에서 보컬을 분리하고, 보컬에서 정답 음표를 뽑고, 가사 줄마다 시작 시각을 맞춘다 | Demucs · librosa pyin · faster-whisper |
| 2. 부른다 | 반주가 흐르고 정답 음표가 다가온다. 내 목소리가 선으로 그려지고 가사가 차오른다 | Web Audio · YIN · Canvas |
| 3. 채점한다 | 화면은 20ms 마다 판정하고, 제출하면 서버가 녹음을 정답 음표와 다시 맞춰 최종 점수를 낸다 | 같은 규칙의 TS / Python 채점기 |
| 4. 다음 곡 | 점수에 따라 다음 챌린지를 추천하고, 곡별·주간 랭킹에 오른다 | PostgreSQL · Gemini 코칭 |
지금 숫자로 보면
- 실제 Suno 곡 3곡(영어 2 · 한국어 1)을 챌린지로 만들었다. 노래 구간의 89~93% 를 정답 음표가 덮는다.
- 브라우저 채점기와 서버 채점기는 같은 입력에서 7/7 같은 점수를 낸다.
- 정답 음을 그대로 내는 가상 연주자로 전 과정을 돌리면 화면 99점 · 28/28 PERFECT, 서버 최종 96점.
기준 2026-09-22.