詳細については、ファンクラブサイト「Fantia」内の記事をご覧ください。
2022年09月
過去に行われたニコカラメーカーシリーズ関連のイベントをまとめてみました。
必ずしもニコカラメーカーシリーズのことだけではなく、その周辺も含む場合もありますが、ご参考にどうぞ。
- 2022/07/17 字幕作成ツール勉強会(主催:クロさん)
歌詞作成(RhythmicaLyrics)~字幕焼付(ニコカラメーカー 2)~エンコードまで、初心者向けにカラオケ字幕動画作りの一連の流れの勉強会。
ワンランクアップのためのスキル伝授もあり。 - 2022/04/03~2022/04/30 興味ある持ちカラ講習会/勉強会アンケート
- 2021/12/11 あつまれニコカラ制作者。動画持ち込みカラオケやります(主催:フックンさん)
作成したカラオケ字幕動画で動画持ち込みカラオケをしつつ、カラオケ字幕動画作りの情報交換トークをざっくばらんに行った。
→オフレポ - 2020/10/18 カラオケ字幕動画の作り方講習会(主催:K さん)
タグ打ち(RhythmicaLyrics)~字幕焼付(ニコカラメーカー 2)~エンコードまで、初心者向けにカラオケ字幕動画作りの一連の流れの勉強会。
実際に作成するというのは楽しく、鑑賞会も盛り上がった。
→オフレポ - 2017/06/24 ニコカラ作成講習会(主催:SAI さん、SHINTA)
歌詞作成(RhythmicaLyrics)~字幕焼付(初代ニコカラメーカー)まで、初心者向けにカラオケ字幕動画作りの一連の流れの勉強会。
実は中級者の参加者もいて、意外と知らない機能の再発見があったりした。
→オフレポ
ニコカラメーカー 2 の Q&A を充実させようと検討中です。
ニコカラメーカー 2 を使っていて使い方が分からなかったところ、昔、疑問に思ったことがあるところ、などがありましたら、このページの末尾にコメントして教えてください。
よろしくお願いします。
Demucs とは
楽曲音源をパートごとに分離し、ボーカル抽出・ドラム抽出などができるツール「Demucs」。
AI(機械学習)による分離を行うため、従来型のソフトよりも圧倒的にきれいに分離できます。また、AI 分離ツールで有名な Spleeter よりもさらに一歩進んだ技術を用いています。
AI(機械学習)による分離を行うため、従来型のソフトよりも圧倒的にきれいに分離できます。また、AI 分離ツールで有名な Spleeter よりもさらに一歩進んだ技術を用いています。
本家 Demucs は使い方が難しいのですが、現在は簡単に使える Windows GUI アプリがあります。
(補足)インストール不要の Web サービス型 Demucs(ブラウザで使える Demucs)もありますが、現時点ではサイト負荷が高いのかアクセスできません。Google Colab 内で動作させることもできます。Colab がお好きな方はそちらをどうぞ。
インストール
本家で紹介されている CarlGao4 氏のアプリをインストールします。
ダウンロードページには Windows アプリが 2 種類(Demucs GUI CPU Windows 64-bit / Demucs GUI CUDA Windows 64-bit)用意されています。CUDA 版は GeForce 系 GPU を活用して高速に処理ができます。CUDA 版は CPU 処理もできるので、よく分からない場合は CUDA 版をダウンロードしておけば良いのではないでしょうか。
ダウンロードしたファイル(Demucs-GUI_0.1_CUDA_Release_Win_x64.7z)は 7z 形式で圧縮されており、Windows の標準機能では展開(解凍)できません。7-Zip などのソフトを使って展開してください。
展開できたらそれでインストール完了です。
使い方
「Load model」ボタンをクリックします。
「Device」で処理ハードウェアを選べます。GeForce 系の新しめの GPU がある場合は CUDA が選択されているはずです。高速処理が可能なので、そのままにしておきます。CUDA が使えない場合は CPU が選択されているはずです。
左下の進捗数値が最大まですすみ、右下の MEM 等が変動しなくなれば分離完了です。楽曲ファイルは WAVE にしているのですが「Failed to write with soundfile, using wave instead」というエラーが表示されてしまいます。しかし、分離自体はできているようです。
「vocals.wav」がボーカル抽出音源、「bass.wav」「drums.wav」「other.wav」がその他の音源です。
私の環境では、Load model に 7 秒かかり、その後 5 分 26 秒の楽曲を分離するのにかかった時間を加えると、
- GPU (CUDA) で分離 ➡ 1 分 22 秒
- CPU で分離 ➡ 8 分 47 秒
の時間がかかりました。
なお、出力される WAVE ファイルのサンプリングレートは 44.1 kHz になります(元が 48 kHz でも強制リサンプリングされます)。
オフボーカル合成
Demucs ではオフボーカル音源が「bass.wav」「drums.wav」「other.wav」の 3 つに分離されてしまうので、この 3 つを合成する必要があります。
合成は RadioLine Free を使うと簡単です。
3 つのファイルをそれぞれ、RadioLine Free のウィンドウの左側にあるコントロールパネルにドロップします(波形領域にドロップするとスタート位置が 0 秒にならずにズレてしまいますので注意)。
その後、[ファイル → 音声ファイルとして全体を保存]メニューで保存すると、オフボーカルの WAVE ファイルが作れます。
(補足)合成はマルチトラックを扱えるソフトならどれでもできますが、動画編集ソフトを使う場合は、音声トラックにデフォルトでイコライザやエフェクトなどが入り、音声が変質してしまうケースがあるので注意してください。
感想
使い始めたばかりの第一印象ですが、Spleeter よりもさらに一段ときれいに分離できています。
本家の解説によれば、Spleeter がスペクトル(波長ごとの強度分布)の情報だけを使用しているのに対し、Demucs はスペクトルに加えて波形も使用したハイブリッドシステムなので精度が高いとのことです。
Spleeter ではコーラスはカットできないことも多少あるのですが、Demucs はコーラスもかなりカットするようです。Spleeter のクセである歌い始めのボーカル残りも Demucs にはありません。
Spleeter ではオフボーカル音源がたまにシャリシャリすることがあるのですが、Demucs はそれに比べるとシャリシャリ感は抑えられているように感じられます。
一方で、オフボーカル音源の音欠けは Demucs のほうが多少気になることが多いかもしれません。とはいえ、トータルの精度では Demucs が優位です。
精度が高い反面、処理時間は Demucs のほうが遅いです。CUDA でも 5 倍、CPU だと 30 倍以上かかります。
また、分離方法を選べないのも難点です。Spleeter は 2~5 の範囲で分離ファイル数を選べるのでボーカルカットも簡単なのですが、Demucs はボーカル以外が強制的に「ベース」「ドラム」「その他」の 3 つに分離されてしまうので、ボーカルカット音源を作るためにはそれら 3 つを別途合成する手間が発生します。とはいえ、バージョンアップでこの辺りは改善されるかもしれません。
関連記事
更新履歴
- 2022/09/10 初版。
- 2022/09/11 オフボーカル合成を記載。
- 2023/05/22 関連記事を追記。
Spleeter とは
楽曲音源をパートごとに分離し、ボーカル抽出・ボーカルカット(オフボーカル音源作成)などができるツール「Spleeter」(発音は「スプリーター」であって「スプリッター」ではないと思われます)。
AI(機械学習)による分離を行うため、従来型のボーカルカットソフトよりも圧倒的にきれいに分離できます。
本家 Spleeter は使い方が難しいのですが、現在は簡単に使える Windows GUI アプリがあります。
(補足)以前はインストール不要の Web サービス型 Spleeter(ブラウザで使える Spleeter)があったのですが、現在は見当たらないようです。Web サービス型は現れては消え、安定していないイメージがあります。
インストール
Spleeter アプリはいくつかありますが、使いやすいのは Makenweb のアプリ(SpleeterGUI)だと思います。
Makenweb のサイトからアプリをダウンロードします。ページ中程にある「Download installer MSI file」をクリックします。
ダウンロードした MSI ファイル(SpleeterGUI_V2.9.2.msi)をダブルクリックするとインストーラーが起動します。しばらく待っていると「Next」ボタンが押せるようになるので、先に進めていくことでインストールが完了します。管理者権限が必要です。
使い方
Language メニューから日本語を選ぶことで日本語画面になります。
(補足)日本語表記がちょっと微妙なので、修正版を開発者の方にお送りしました。ソースコードにはマージされたのですが、残念ながら、まだリリースアプリには反映されていないようで、微妙なままです。
曲の長さが 10 分を越える場合は、「曲の最大長」を増やします。
「に保存」ボタンをクリックして、分離後のファイルを出力するフォルダーを選びます。
楽曲ファイルのフォーマットは
- WAVE
- FLAC
- MP3
- OGG
- M4A
- WMA
に対応しているようです。
完了音が鳴ると、分離された音源ファイルが、出力先フォルダーに保存されています。
「vocals.wav」がボーカル抽出音源、「accompaniment.wav」がボーカルカット(オフボーカル)音源です。
私の環境では、5 分 26 秒の楽曲を分離するのに約 15 秒~16 秒ほどかかりました。
なお、出力される WAVE ファイルのサンプリングレートは 44.1 kHz になります(元が 48 kHz でも強制リサンプリングされます)。
感想
個人の主観ですが、従来型のボーカルカットソフトとは比べものにならないほど高精度でボーカルカットできます。異次元と言っても良いと思っています。
従来は、ボーカルのパンが中央であることが多いことを利用して、パンが中央のものを中心にカットしていました。このため、ボーカルが左右にあるとうまくカットできませんし、そもそも中央でも今ひとつだったりしました。
Spleeter は AI で人間の声そのものを認識してカットしているので、ボーカルが中央かどうかに関わらず安定してカットできます。
メインボーカルはほとんどカットできますし、コーラスもカットされることが多いです。
Spleeter のクセとしては、歌唱が始まった直後の部分は、ボーカルがカットされずに少し残る場合があります。「うさぎおいし」の「う」が割と強めに残り、「さ」がうっすらと残り、「ぎ」以降がきれいにカットされる、というような感じです。とはいえ、いつもこうなるわけではなく、ほとんどはちゃんとカットされます。
関連記事
更新履歴
- 2022/09/10 初版。
- 2022/09/10 関連記事記載。
- 2023/05/22 関連記事追記。
翔星グループ
月別アーカイブ
記事検索
最新記事
最新コメント
タグクラウド
- ACF
- Android
- AQUOSPAD
- ASPNET
- BitLocker
- Blazor
- CBuilder
- CSharp
- csv2resw
- FactoryTown
- Fantia
- GPS
- H264
- H265
- HaikuOS
- HANASU
- HDD
- IIJ
- LTE
- MicrosoftStore
- MVNO
- MVVM
- NAS
- Nexus7
- PetitKara
- PHP
- RaspberryPi
- SQLite
- SSD
- SymphonyOfWar
- TYPINGMANIA
- USB3
- UTAU
- Vegas
- VisualStudio
- Wi-Fi
- WiMAX
- Windows
- Windows10
- Windows10Mobile
- Windows11
- WinUI3
- WPF
- うたりす
- お知らせ
- お願い
- その他無線
- ちょちょいとファイル合併2
- ちょちょいと自動更新
- ちょちょいと自動更新2
- はじまるA列車
- へなぽらんど
- ゆかり
- ゆかりすたー
- ゆかりすたー4
- ゆっこビュー
- ゆっこビュー2
- アニメ
- アンケート
- イベント
- オーディオ
- カラオケ
- ゲーム
- サンプルコード
- サービス
- スピード測定
- スーパーバレットブレイク
- セキュリティ
- ソフトウェア
- タブレット
- トトリのアトリエ
- ニコカラ
- ニコカラりすたー
- ニコカラメーカー
- ニコカラメーカー2
- ニコカラメーカー3
- ネットワーク
- ハードウェア
- プラグイン
- プログレスバー素材メーカー
- ヘッドセット
- ボーカルカット
- マシンスペックまとめ
- マシンベンチマークまとめ
- ライザのアトリエ2
- ライザのアトリエ3
- ラングリッサー
- ルフランの地下迷宮と魔女ノ旅団
- ロロナのアトリエ
- 動画
- 募集
- 唄詠
- 唄詠2
- 唄詠利用
- 挨拶
- 簡易キーチェンジャー
- 考察
- 開発
- 鼻歌採譜プラグイン