音乐信息提取-1-音频表示

音频信号是声音的一种表示，它表示由振动引起的气压随时间的波动（数字信号处理-1-关于声音与波）。

1 波形与时域

音频信号在时域上的表示就是波形随时间的变化，可以将波形的幅度值理解为声压。

声音是连续的，但数字记录是离散的，一段连续的波形我们只能按时间分成很小的间隔去记录。这里就涉及到采样率，记为 fs( sampling frequency) 或 sr(sampling rate)，也就是一分钟采样多少次。CD 光盘中采样率一般为 44100 Hz。

%matplotlib inline
import numpy, scipy, matplotlib.pyplot as plt, IPython.display as ipd
import librosa, librosa.display
import stanford_mir; stanford_mir.init()

# 返回波形数组，采样率
x, sr = librosa.load('audio/c_strum.wav')
# 播放器
ipd.Audio(x, rate=sr)
# 波形
plt.figure(figsize=(15, 5))
librosa.display.waveshow(x, sr, alpha=0.8)
1
2
3
4
5
6
7
8
9
10
11
12

2 音色

音色（Timbre）是区别声音的一种显著特征。

2.1 音色与时间

音色的一个特征是它的时间演变。信号的包络线（envelope）是一条平滑曲线，它近似于波形随时间变化的幅度极值，是波形的一种简化近似。

包络通常由 ADSR 模型建模，该模型描述了声音的四个阶段：起音、衰减、延音、释放（ attack, decay, sustain, release）。

在起音阶段，声音逐渐增强，通常在很宽的频率范围内带有类似噪声的成分。 这种在声音开始时的类似噪音的短时声音通常被称为瞬态（transient）。

在衰减阶段，声音稳定并达到稳定的周期性模式。

在维持阶段，能量保持相对恒定。

在释放阶段，声音逐渐消失。

2.1 音色与频谱

用于表征音色的另一个属性是分音（Partials）的存在及其相对强度。 分音是音乐中的主要频率，最低分音是基频( fundamental frequency)。

如下图幅度值最大的 1000Hz 即是主要分音，最低分音 500Hz 即是基频

x, sr = librosa.load('audio/oboe_c6.wav')
ipd.Audio(x, rate=sr)

X = scipy.fft.fft(x[10000:14096])
X_mag = numpy.absolute(X)
plt.figure(figsize=(14, 5))
plt.plot(f[:2000], X_mag[:2000]) # magnitude spectrum
plt.xlabel('Frequency (Hz)')
1
2
3
4
5
6
7
8

参考：
公开 wav 格式音频，针对音乐信息提取
musicinformationretrieval.com