TensorBoardの使い方 - DiffSingerモデル制作wiki

TensorBoardについて

TensorBoardは機械学習の進み具合を視覚的に確認できるツールです。
TensorBoardを利用することで学習の進捗や学習しているパラメータの精度を管理できます。

確認項目によってモデルの出力パラメータ、学習進捗、音声が確認できます。

Time Series

ImagesとScalarsの出力内容と同じ

Images

用途は検証データとモデルの出力データを比較できます。

Acousticで学習しているメルスペクトル
Varianceで学習している各種パラメータ
等が確認できます。

※aux_melは学習のための中間出力なので最終出力であるdiff_melを見ると良さそう

Scalars

DiffSingerでは主に損失（loss）と精度（accuracy）を確認します。

metrics

Varianceで学習しているパラメータ（tension、pitch等）の精度が確認できます。1に寄るほど精度が高いです。

training

トレーニングデータの損失が確認できます。
Acousticで学習しているメルスペクトルと
Varianceで学習しているパラメータの損失を確認できます。
0に寄るほど損失が無いです。

※aux_mel_lossについて
深いネットワークを学習する際、中間ネットワークから補助データ、タスクを渡したり、中間ネットワークから補助出力して精度を上げる仕組みがありそれ用の損失グラフです。

validation

検証データとトータルの損失が確認できます。

Audio

Acousticで学習したメルスペクトルから出力した音声を確認できます。

gt_〇〇というラベルのついた音声はオリジナルの音声
diff_〇〇というラベルのついた音声は学習した音声

※aux_〇〇は補助用の出力の音声

主な使い方

• モデルの学習進捗の確認
• パラメータごとに一番学習出来ているチェックポイントの選出

TensorBoardの設定

config.yaml(acoustic.yaml/variance.yaml)に記述されている設定
ここでは学習の検証で重要な設定のみ記述しています。

val_check_interval: 2000 #検証のタイミング（ステップ数）
num_valid_plots; 10 #Scalars,Images,Audioで表示されるプロットの件数