์ฆ,
Waveform โ (STFT or CQT) โ Time-Frequency Representation
.wav ํ์ผ ์์ด .stft๋ .cqt๋ง ๊ฐ๊ณ ์๋ค๋ฉด?ํ์ํ๋ฉด waveform โ STFT/CQT ๋ณํ ํ spectrogram์ผ๋ก ์๊ฐํํ๋ ์์๋ ๋ง๋ค์ด์ค๊ฒ์!
| ๊ตฌ๋ถ | STFT (Short-Time Fourier Transform) | CQT (Constant-Q Transform) |
|---|---|---|
| ํต์ฌ ๊ฐ๋ | ์ผ์ ํ ์๊ฐ ์ฐฝ(window)์ผ๋ก ๋๋ ํ FFT | Q๊ฐ(์ฃผํ์ ๋๋น ํด์๋)์ด ์ผ์ ํ ํํฐ๋ฅผ ์ฌ์ฉ |
| ์ฃผํ์ ๋ถํด๋ฅ | ์ ํ(๋ฑ๊ฐ๊ฒฉ) โ 100Hz, 200Hz, 300Hz ... | ๋ก๊ทธ ์ค์ผ์ผ โ ์์ ์๊ณ(๋, ๋ , ๋ฏธ...)์ ๋ ๊ฐ๊น์ |
| ์๊ฐ ๋ถํด๋ฅ | ์ฃผํ์์ ๋ฐ๋ผ ๊ท ์ผ | ๊ณ ์ฃผํ: ์ข์ / ์ ์ฃผํ: ๋์จ |
| ๊ณ์ฐ ์๋ | ๋น ๋ฆ | ์๋์ ์ผ๋ก ๋๋ฆผ |
| ์์ ์ ํด์ | ๋ ์ง๊ด์ | ๋ ์ง๊ด์ (์๊ณ ๊ธฐ๋ฐ) |
| ์ฌ์ฉ ์ฌ๋ก | ์ผ๋ฐ ์๋ฆฌ, ๋ ธ์ด์ฆ, ์์ฑ ๋ถ์ | ์์ , ํ์, ์ฝ๋, ์์ ๋ถ์ |
| ๋ถ์ ๋ชฉ์ | ์ถ์ฒ ๋ณํ |
|---|---|
| ์์ฑ ์ธ์ / ํ๊ฒฝ ์๋ฆฌ ๋ถ์ | STFT / Mel Spectrogram |
| ์์ ์ฅ๋ฅด ๋ถ๋ฅ | Mel ๋๋ CQT |
| ํ์(Chord) ์ธ์ | โ CQT |
| ์ ๋์ด(Pitch), ์์ (Scale) ๋ถ์ | โ CQT |
| ๋ฐ์, ํ ํฌ ๊ฐ์ง | STFT ๋๋ onset ๊ธฐ๋ฐ ๋ถ์ |