🎧 음성 분석 프로젝트 기술 보고서

🧭 프로젝트 개요

목표:

사용자의 커버곡 오디오와 원곡 오디오를 비교하여


🔍 분석 항목 및 방법

1. 🎼 Tune (Pitch)

항목 설명 방식
DTW 기반 유사도 전체 pitch 시퀀스를 DTW로 비교 librosa.pyin() → fastdtw
Transpose 기반 전체 평균 pitch 차이 계산 mean(abs(user - ref))
구간 평균 기반 전체를 10구간으로 나누고 평균 pitch 차이 np.mean(semitone_diff_chunks)

🔸 단위: Cent or Semitone

🔸 주요 고려사항: pitch 차이가 음역 차이만 의미하지 않도록 정규화, matching 기반 기준 고려


2. 🎧 Tone (Timbre)

항목 설명 방식
Cosine 유사도 MFCC 평균 벡터 코사인 유사도 cosine(user_mean, ref_mean)
Norm Euclidean MFCC 평균 + std 벡터 정규화 후 거리 euclidean(StandardScaler(...))
DTW 기반 전체 MFCC 시퀀스 DTW 거리 fastdtw(mfcc_stack.T)

🔸 MFCC는 13개 계수 + Δ + ΔΔ로 구성 (39차원)

🔸 VGGish 등 딥러닝 임베딩 방식은 추후 실험 예정


3. 🥁 Beat / Rhythm

항목 설명 방식
Onset Euclidean onset strength 시퀀스 거리 euclidean(onset_user, onset_ref)
Onset DTW onset 시퀀스 DTW 거리 fastdtw(onset_user, onset_ref)
Onset Matching onset 위치 간 매칭률 (±0.1초 허용) match_count / ref_len
Onset Proxy onset absolute diff 총합 sum(abs(user - ref))
Tempo 차이 BPM 차이 절대값 → 점수화 abs(user_bpm - ref_bpm)

🔸 onset: librosa.onset.onset_strength

🔸 beat: librosa.beat.beat_track