歌声データベースの作成/ラベリング/LabelMakrでテンプレートを作る - DiffSingerモデル制作wiki

概要

LabelMakrはSOFA（ 歌唱重視の強制アライメントツール）とWhisper（OpenAIの開発した音声認識AI）を利用したlabファイル作成ソフトです。

メリット

• 簡単にできる
• 手作業が減る

デメリット

• 文字起こしに失敗することがある
• JPOP、ボカロ等では、ひらがな（カタカナ）、漢字、英語が混ざるので発音と文字の読みがずれてラベリング精度が他言語より落ちる修正をしないと出力音声のランダム性が大きくなる
• CUDAといった知識が必要になる場合がある。

ダウンロードするもの

LabelMakr_v031.zip
LabelMakr_v031_Patch1.1.zip：オプションですが、デメリットを解決するために導入をお勧めします。

インストール方法

ダウンロードしたLabelMakr_v031.zipファイルをCドライブ等のドライブ直下に展開（解凍）してください。
※ダウンロードやドキュメント、デスクトップといったフォルダの中で展開しないでください。
setup_GPU.bat(またはsetup_CPU.bat)を起動します。

GPUを利用したい場合

setup_GPU.batはCUDA11.8対応のGPUが必要になります。
GeForce 600 series～GeForce RTX 40 seriesであれば基本的に動きます。

対応している場合はアーカイブからCUDA11.8を探してインストールしてください。
インストールに失敗する場合はGPUドライバを更新するか、cuDNNをアーカイブから手動でインストールしてください。
※cuDNNのダウンロードにはアカウント作成が必要になります。

GeForce RTX 50 series以降をお持ちであれば、CUDA12.8（またはCUDA13.0）をダウンロードした上で
index-urlの末尾の指定バージョンを書き換えてください。
※導入するpytorch以外のライブラリのバージョンが古い可能性がありセットアップでエラーが発生する場合があります。

--index-url https://download.pytorch.org/whl/cu128

インストールが完了したらrun.batからソフトウェアを起動できます。
Settingsから日本語に変更できます。

パッチの導入

LabelMakr_v031_Patch1.1.zipを展開して中にあるファイルを全てLabelMakrの既存のファイルを上書きしてください。

使いかた

転写（Transcriptions）

• 転写タブの「コーパスフォルダを開く」ボタンを押下してcorpusフォルダを開いて下さい。
• corpusフォルダ内にwavファイルを配置してください。
• 「転写の言語」を「JP」に設定して、
• 「転写を実行」ボタンを押下して下さい処理が完了するとtxtファイルが作成されます。

※文字起こしの失敗している場合音声に含まれていない文字の羅列のローマ字が含まれていることがあります。

パッチを導入していない場合

整置に進んで下さい。

パッチを導入している場合

txtファイルと_JP.txtファイルが作成されます。
_JP.txtは文字起こしたままの文章が記入されています。
文字起こしに失敗している場合やtxtファイルのローマ字読みが正しくない場合は文字起こしを修正してください。
まいこさん作のJapanese Lyric Converterを利用して文字起こしの修正を容易にできます。
歌詞と発音がずれている場合があるので聞きながら調整すると良いです。

_JP.txt ファイルの内容を修正したあとはファイル名を _Fixed.txt ファイルに変更して下さい。
「転写を実行」を再度行うと _Fixed.txt ファイルの内容から.txtファイル が再度作成されます。

整置（Alignments）

• 同名のwavファイルとtxtファイルのセットが準備できたら、整置タブを選択します。
• SOFAモデルは「coLstone_jp」を選択して下さい。
• 転写フォマットは「htk」を選択して下さい。

※「TextGrid」は音声分析ソフトウェアPraatで扱えるフォーマットです。

• Align Labelsボタンを押下するとlabファイルの作成に入ります。

ラベルファイルはlabelsフォルダに配置されます。

ラベルを一定（Fix Labels）

作成されたラベルファイルの中であまりにも短いタイミングなどを自動的に弾いてくれます。
ただしこのソフトはたたき台の作成を想定しているため
手直しする場合は実行しなくても問題ありません。