跳到主要内容

人声消除 — 用 AI 分离人声和伴奏

在浏览器中用 Spleeter AI 模型把歌曲分离成人声和伴奏两条音轨,或用经典方法快速制作卡拉 OK 伴奏。

本机运行

发现问题,或者觉得哪里可以更好?每条消息我们都会阅读,并尽快修复。

这款人声消除工具使用 Deezer Research 开源的音源分离模型 Spleeter,把一首歌分成两条音轨——单独的人声,以及去掉人声的伴奏。伴奏可以用作卡拉 OK 或练习用的伴奏音轨,人声则可以作为清唱用于混音、翻唱或扒歌词。它支持 MP3、WAV、M4A、OGG 和 FLAC 文件以及视频中的音轨,你可以在歌曲的同一位置随时切换原曲、人声和伴奏,然后把任意一条下载为 WAV 或 MP3。

所有处理都在你的浏览器中完成。首次分离前会先显示大小,然后下载模型(两个网络,共 39 MB)和与我们的其他 AI 工具共用的 24 MB AI 引擎,两者之后都由浏览器缓存;此后,在一台较新的笔记本电脑上分离一首 4 分钟的歌曲,浏览器能使用显卡(WebGPU)时只需 7 秒,只用处理器时需要 35 秒;较旧的电脑和手机会更慢。Spleeter 是 2019 年的模型:大多数流行、摇滚和嘻哈歌曲都能分离得很干净,但在编曲密集或混响很重的歌曲中,伴奏里会残留一些人声。另外还有即时的经典卡拉 OK 模式,用一个立体声声道减去另一个声道;它不是 AI,效果也更粗糙,但无需下载任何东西。之后如需裁剪音轨,可使用音频剪辑工具;如需先从视频中提取声音,可使用视频转 MP3。

使用方法

  1. 把歌曲或视频拖放到框中,或点击选择文件。
  2. 保持选中“AI 分离”(或选择“经典卡拉 OK”,即时获得较粗糙的结果)。
  3. 点击“分离”。首次使用时会下载模型;之后进度条会显示歌曲各部分的处理进度。
  4. 点击“播放”,在原曲、人声和伴奏之间切换以检查效果。
  5. 选择 WAV 或 MP3,然后点击“下载人声”或“下载伴奏”。

常见问题

如何免费去除歌曲中的人声?

在本页打开歌曲,保持选中“AI 分离”,然后点击“分离”。Spleeter 模型会在你的浏览器中把歌曲分成人声和伴奏;把伴奏下载为 WAV 或 MP3 即可。无需账号,没有水印,也没有每月次数限制;歌曲最长可达 10 分钟。

这真的是 AI 吗?用的是什么模型?

默认方法是 Spleeter 2-stem,这是 Deezer Research 以 MIT 许可证发布的 U-Net 神经网络,用录音棚多轨录音训练,用来预测频谱中哪些部分属于人声。它在这里通过 onnxruntime-web 运行。“经典卡拉 OK”选项不是 AI:它用左声道减去右声道,从而去掉恰好混在正中间的所有声音。

为什么伴奏里还能听到一些人声?

没有任何分离器是完美的,而 Spleeter(2019)比 HTDemucs 或 MDX-Net 等最新模型轻量得多;那些模型要大好几倍(HTDemucs 单个文件约 180 MB),在网页中下载和运行都太吃力。在混响很重、有合唱或失真吉他的歌曲中,伴奏里可能会有微弱的人声残留,人声音轨中也会有气声或“相位感”的瑕疵。对于卡拉 OK 和练习来说,效果通常已经足够好。

能分离鼓、贝斯和其他乐器吗?

目前不能。本页只分离两条音轨:人声和伴奏。四轨模型(人声、鼓、贝斯、其他)的下载量至少是两倍,因此这里不在浏览器中提供。

我的歌曲会被上传到服务器吗?

不会。模型文件从本站下载到你的浏览器,歌曲在你的设备上处理;你打开的任何内容都不会被发送出去。浏览器本身无法读取的少见文件类型会用 ffmpeg 解码,ffmpeg 同样是下载(来自 jsDelivr CDN)后在本地运行。

分离出来的音轨可以随意使用吗?

分离一首歌并不会改变它的版权归属。练习、在家唱卡拉 OK 和学习编曲通常没有问题;但如果要发布或出售用他人录音制作的混音、翻唱或伴奏,就需要获得版权方的许可。

AI 分离与经典卡拉 OK 技巧的对比

经典方法依赖于歌曲的混音方式:主唱通常被放在正中间,在左右声道中完全相同,用一个声道减去另一个声道就能把它抵消。但正中间的其他声音也会被一起抵消——贝斯、底鼓、军鼓,往往还有主奏乐器——所以本工具会把 120 Hz 以下的低音加回来。剩下的是声像偏向两侧的声音,以及人声的立体声混响,听起来像幽灵般的回声。它即时完成且无需下载,但只适用于立体声文件,也无法得到人声音轨。

Spleeter 的原理不同。它把歌曲转换成频谱图(每 23 毫秒记录一次各频率的响度),再由两个用录音棚多轨训练的神经网络估算每个点有多少属于人声、多少属于伴奏。这些估算值形成软遮罩并作用于原始声音,因此伴奏会保留贝斯、鼓和居中的乐器,你还能单独得到人声。

浏览器版本是如何实现的

模型每次处理约 12 秒,因此歌曲被分成相互重叠的片段处理;在两段重叠处,它们的遮罩会交叉淡化,听不出接缝。Spleeter 的网络只处理 11 kHz 以下的频率;高于此频率时,每个时刻采用其遮罩的平均值,因此镲片和齿音会在两条音轨之间分配,而不是被切掉。伴奏等于原曲减去人声,这是精确的,因为两个遮罩之和始终等于整体。

这些网络通过 onnxruntime-web 在后台 worker 中运行:在支持 WebGPU 的浏览器(如当前版本的 Chrome 和 Edge)中使用显卡,否则通过 WebAssembly 使用处理器。两者结果相同,只是速度不同。

让分离更干净的小技巧

• 尽量使用最好的音源:WAV、FLAC 或 320 kbps MP3 比低码率文件分离得更干净,低码率文件的压缩瑕疵会干扰模型。

• 用于卡拉 OK 时,伴奏中少量残留的人声在你跟唱时会被盖住;请重点检查最安静的段落,那里的残留最明显。

• 用于清唱时,人声音轨中可能夹带一些鼓点或吉他声;可以裁掉,或在音频编辑器中降低这些部分的音量。

• 超过 10 分钟的歌曲,可以先用音频剪辑工具分段裁剪。