목표:
사용자의 커버곡 오디오와 원곡 오디오를 비교하여
음정(Tune),
음색(Tone),
박자(Beat)
측면에서 정량적인 유사도 점수를 산출하고,
이를 기반으로 가시적인 피드백과 시각화를 제공하는 AI 시스템을 구축한다.
| 항목 | 설명 | 방식 |
|---|---|---|
| DTW 기반 유사도 | 전체 pitch 시퀀스를 DTW로 비교 | librosa.pyin() → fastdtw |
| Transpose 기반 | 전체 평균 pitch 차이 계산 | mean(abs(user - ref)) |
| 구간 평균 기반 | 전체를 10구간으로 나누고 평균 pitch 차이 | np.mean(semitone_diff_chunks) |
🔸 단위: Cent or Semitone
🔸 주요 고려사항: pitch 차이가 음역 차이만 의미하지 않도록 정규화, matching 기반 기준 고려
| 항목 | 설명 | 방식 |
|---|---|---|
| Cosine 유사도 | MFCC 평균 벡터 코사인 유사도 | cosine(user_mean, ref_mean) |
| Norm Euclidean | MFCC 평균 + std 벡터 정규화 후 거리 | euclidean(StandardScaler(...)) |
| DTW 기반 | 전체 MFCC 시퀀스 DTW 거리 | fastdtw(mfcc_stack.T) |
🔸 MFCC는 13개 계수 + Δ + ΔΔ로 구성 (39차원)
🔸 VGGish 등 딥러닝 임베딩 방식은 추후 실험 예정
| 항목 | 설명 | 방식 |
|---|---|---|
| Onset Euclidean | onset strength 시퀀스 거리 | euclidean(onset_user, onset_ref) |
| Onset DTW | onset 시퀀스 DTW 거리 | fastdtw(onset_user, onset_ref) |
| Onset Matching | onset 위치 간 매칭률 (±0.1초 허용) | match_count / ref_len |
| Onset Proxy | onset absolute diff 총합 | sum(abs(user - ref)) |
| Tempo 차이 | BPM 차이 절대값 → 점수화 | abs(user_bpm - ref_bpm) |
🔸 onset: librosa.onset.onset_strength
🔸 beat:
librosa.beat.beat_track