http://w.atwiki.jp/vconnect/ vconnect @ ウィキ ja 2009-12-15T16:02:18+09:00 1260860538 https://w.atwiki.jp/vconnect/pages/1.html 制作中... **v.Connect 　v.ConnectはSTRAIGHT Libraryと[[UTAU>http://utau2008.web.fc2.com/]]単独音音源を使用して、歌唱様音声を合成するツールです。単独で動作させることも可能ですが、[[Cadencii>http://www9.atwiki.jp/boare/pages/18.html]]上で動作させることを前提に開発しています。こちらのWikiではv.Connectの動作について記述するつもりです。 STRAIGHT Libraryについては下記のURLをご参照ください。STRAIGHT Libraryの開発元とv.Connectとは一切関係がありません。v.ConnectについてSTRAIGHT Libraryについてご質問なさるのは御遠慮ください。 -[[http://www.crestmuse.jp/cmstraight/index.php?STRAIGHT%20Wiki]] Cadenciiについて、またはv.Connectのダウンロードについては下記のURLをご参照ください。 -[[http://www9.atwiki.jp/boare/pages/18.html]] &nicovideo(http://www.nicovideo.jp/watch/sm8358688){340,185} このデモはVer.3.0を使用して合成されています。 -v.ConnectはUTAU連続音音源に対応しておりません。 -v.Connectはステレオ音源を扱えませんのであらかじめモノラルに変換したものをご用意ください。 **動作環境 動作報告はありますが件数が少ないので作者開発環境をあげておきます。 |OS|Windows XP Professional SP2| |CPU|Intel Core2Quad 2.8Ghz| |RAM|2.0GB| |.NetFramework|3.0| なお、使用前にSTRAIGHTによる音源解析を行う必要があります。非常に時間のかかる処理ですので御注意ください。また、解析後のデータサイズは元音声データの50倍程度になります。 **開発状況と履歴 開発中のバージョンは0.7bです。 ***ToDo -TANDEM導入の検討。 -音符区間内での音量変化式の最適化。 -STRAIGHT Library Exの開発状況を見ながらRealTimeSTRAIGHTの導入の検討。 -連続音導入実験。 ***ver.0.6.3b '09/11/24 -BRIの適用方法を変更。F0付近のスペクトルパワーの変化として適用されます。 -音程による音量補正の式を単純化。 ***ver.0.6.2b '09/11/19 -音程のオーバーシュート式のバグを修正。 -Attack/Decayの反映式を大幅に変更。相変わらず死にパラメータ。 -VELが64より大きい際、STFファイルの指定範囲外を参照するバグを修正。 ***ver.0.6.1b '09/11/15 -VowelMorphingは80ms固定のまま。何に依存させればいいのか考え中。 -音符長が80ms未満の時の処理を追加。 -音符の連続性チェック時は20ms余裕を持たせることにした。 ***ver.0.6.0b '09/11/13 -Morphing法を変更。 -後続音がある場合、音符末尾80ms間次の歌詞の固定長終了位置に向かってモーフィングするようにした。 -合成時に、次の音符のデータを参照すべきところで現在音符を参照していた部分を修正。 ***ver.0.5.6b '09/11/03 -後続音の無いRelease時の音程変化をPortamentoDepthに比例するよう変更。 ***ver.0.5.5b '09/11/03 -音量変化を適用する際にDynamicsカーブを線形補間するように変更。 ***ver.0.5.4b '09/10/31 -DefaultSetting.iniの読み込みを削除。 ***ver.0.5.3b '09/10/30 by kbinani様 -ビブラートの位相計算方法を変更。 -ビブラートをDynamicsに反映する部分を削除。 ***ver.0.5.2b '09/10/22 -Portamentoの適用式を調整。オーバーラップは最低5msに変更されます。 ***ver.0.5.1b '09/10/22 -PMBendLength,PMBendDepthが反映されるように変更。 -DynamicF0Generatorを実装 -Vibrato周期の変更。 ***ver.0.4.4b '09/10/21 -原音設定されていない音符しかないデータの場合、合成エンジンを呼ばないようにした。 -Portamento周りの設定を読めるようにした。 ***ver.0.4.3b '09/10/21 -頭の無音部分をSTRAIGHT合成エンジンに渡さないようにした。 -書き出しをSTRAIGHT LibraryのDLL経由しないで行うように修正。 -音量変化の処理を最適化。 ***ver.0.4.2b '09/10/12 -Vibratoが正しく反映されないのを修正。 ***ver0.4.1b '09/10/12 -BRI(4khz),CLE(10khz)に対応してみた。バンドパスフィルタのように実装。 ***ver.0.3.2b '09/10/04 -音高から受けるボリューム変化を緩和。 -高音になった際に声が細くなる現象を緩和。 ***ver.0.3.1b '09/10/01 -DynamicsBPListをVolume変化に変更。 -Accent/DecayをVolume変化に変更するとともに、計算式の変更。 -EpRResidualBPListを息様ノイズの量に変更。 -出力波形の振幅によってはクリックノイズがのる不具合の解消。 **謝辞 -v.Connectは[[STRAIGHT Library>http://www.crestmuse.jp/cmstraight/index.php?STRAIGHT%20Wiki]]を使用しています。[[河原氏>http://www.wakayama-u.ac.jp/~kawahara/]]・森勢氏をはじめとするSTRAIGHT Libraryの開発に携わった方に感謝申し上げます。 -v.Connectは[[Cadencii>http://www9.atwiki.jp/boare/pages/18.html]]のコンポーネントです。Cadencii開発のkbinani氏に感謝申し上げます。 -UTAUは[[飴屋／菖蒲氏>http://utau2008.web.fc2.com/]]が製作された歌声合成ツールの名称です。飴屋菖蒲氏に感謝申し上げます。 **ライセンス -STRAIGHT Libraryのライセンスの詳細が未定であることを受け、製作者の許可のある場合を除いて再配布不可とします。また、STRAIGHT Libraryのライセンスの決定次第では公開を停止する可能性があります。あらかじめ御了承ください。 -v.Connectのソースコードの著作権は製作者であるHALに帰属します。 -v.Connectを使用したことで起きたいかなる損害についても製作者は責任を追わないものとします。 -v.Connectはオープンソースです。詳細はSourceForge内Cadenciiレポジトリをご参照ください。 2009-12-15T16:02:18+09:00 1260860538 https://w.atwiki.jp/vconnect/pages/13.html **STRAIGHT Libraryにの仕様に関するまとめと推定。 　半分くらいは管理人のまとめ用。気がついたことがあれば更新されます。STRAIGHTはFrame単位で解析・合成する高機能VOCODERで、解析を行った際には音源情報とスペクトル情報を抽出する。また音声の合成には音源情報とスペクトル情報を使用します。スペクトル情報は基本周波数に対して平滑化が行われており、音程変化に比較的強いです。ただし数回の合成・解析で高音域に乱れが生じるのを確認済。 *StraightSource型(音源情報) 基本周波数と非周期性尺度バッファの二つのデータを保持する。 **基本周波数 いわゆる音程。 **非周期性尺度バッファ 声に含まれる調音以外の要素の強さを格納する配列。 -BREを上げるにはバッファ内の数値を一律等倍している。 -0〜numFrames-1までのバッファで、おそらくsamplingFrequency/2を等間隔に区切って周波数ごとの強度を記憶していると思われる。 **straightSourceCompute( Straight, Source, double* inputWave, long length ); -あらかじめ用意されている読み込み関数は、DLLが必要なのでなんとなくいやならこちらを使用するべし。 *StraightSpecgram型(スペクトル情報) スペクトルの時間変化を保持する。 **スペクトルバッファ 声に含まれる調音要素の強さを格納する配列。 -これも非周期性尺度バッファと同じく、周波数に対して等間隔な配列と思われる。 --ただし、F0に対して平滑化が行われている。 -フレーム単位でGendorFactorを操作したい場合、一次元のスペクトルバッファ配列を伸縮させる。 **straightSpecgramCompute( Straight, StraightSpecgram, StraightSource, double*, long ); -straightSourceComputeに同じ。 *StraightSynth型 音源情報とスペクグラムから音声を再合成する。 -STRAIGHT Libraryに用意されたファイル出力をするとメモリリークする。DLLを読み込む辺りでの開放忘れか。 **straightSynthGetOutputWave --こちらならDLL使わないので安心。ただし出力を自分で書く必要があります。 *StraightConfig型 初期化用構造体。 **frameShift -ざっくり言って解析・合成時の単位時間。デフォルトは1ms。 **frameLength -1Frameの解析・合成に必要な区間。デフォルトは40ms。frameLength - frameShift分はオーバラップするのだろう。 2009-12-15T16:00:07+09:00 1260860407 https://w.atwiki.jp/vconnect/pages/16.html *v.Connect on Cadenciiの導入法 　　[[v.Connect]]ではSTRAIGHTで解析されたデータを使用しますので、使用前にデータを用意してください。 　　CadenciiWikiにて導入法が書かれていますのでご参照ください。[[STRAIGHT x UTAUの機能を使うには>http://www9.atwiki.jp/boare/pages/42.html#a15]] 　説明を書いてくださったkbinani様に感謝いたします。 **注意点 -現在連続音には対応していません。 --対応予定は未定です。 -ステレオ音声には現時点('09/12/15)では対応していません。 -解析に大量の時間と容量が必要です。 --単独音音源の解析にCore2Quad2.8GHzにて１〜２時間必要でした。またビットレートは8Mbpsです。 2009-12-15T15:48:13+09:00 1260859693 https://w.atwiki.jp/vconnect/pages/15.html *v.Connectの合成規則 誰でも思い付くようなことをまじめに書いてみる。 **１．概要 　UTAUの先行発音・オーバラップを含むよう拡張したVSQから音符位置等を計算した後合成を行う。この段階での式に関しては[[対応パラメタ]]を参照してください。 　合成は大まかに四段階の処理に分割される。ノート情報から音程情報の生成・ControlCurveの適用・音符間のモーフィング・音量エンベロープの適用の四段階で、音量エンベロープの適用はSTRAIGHTによる合成の後に行われる。単音節片合成なので、ツール側で一律に処理をした方が良いだろうと判断した部分に関しては以下のように比較的簡易(と言っても十分面倒臭いが…)な方法でアシストする形になっている。 　どこまで自動化するべきかというのは使用感から判断すれば良いだろう。 **２．音程情報の生成法 　これに関しては詳細な文献が[[SingBySpeaking>http://staff.aist.go.jp/saitou-t/singbyspeaking.html]]で公開されているので興味がある方はそちらを参照してみてください。大体これと一緒だし僕より説明分かりやすいと思うし。 　これらの制御にはPortamentDepthとPortamentoLengthが使用される。ただし、微細振動については音符情報の影響を受けないのでこの限りではない。本当に微細振動が必要かどうかは今後検討が必要と思う。 **３．ControlCurveの適用 　[[ControlCurve]]の項を参照してください。 **４．音符間のモーフィング 　[[v.Connect]]のモーフィングはVer.0.6以降二段階で行われる形に修正した。簡単に言えば母音のモーフィングの後に子音のモーフィングを行う形になってした。母音同士のモーフィングに関しては資料が見当たらない上に調べてもいないので適当な時間(80ms)モーフィングする設定になっている。 ***a)母音モーフィング 　UTAU単独音音源の原音設定時には固定長終了時には母音が遷移しきっていると仮定した上で母音のモーフィングを行っている。 　ある音符の末尾の固定長(80ms、あるいは80ms以下の音符の場合音符長)間、次の音符のUTAU原音設定固定部終了時のスペクトルに向かって線形にスペクトルと非周期性成分をモーフィングしている。つまり、音符が終了するまでには次の音符の母音へと変化するようにしている。 　これは次の音への準備中に口腔内が次の母音の準備をするだろうという仮定の基に行っている。 ***b)子音モーフィング 　子音のモーフィングは母音のモーフィング後に行われる。こちらは単純にオーバーラップをし、重なった部分があればその部分を線形にモーフィングしている。オーバーラップは良くできた原音設定ならば変更する必要はあまり無いように感じる。もし発音が曖昧になるようであれば多少短くしても構わないだろう。 以下加筆中... 2009-11-25T12:56:05+09:00 1259121365 https://w.atwiki.jp/vconnect/pages/2.html **v.Connect -[[v.Connect]] --[[使い方]] --[[合成規則]] --[[対応パラメタ]] ---&bold(){VSQ由来} ---[[Portamento]] ---[[Accent/Decay]] ---[[ControlCurve]] ---&bold(){[[UtauSetting>UTAU由来]]} **STRAIGHT Library -[[STRAIGHT Libraryのパラメータ仕様(推定)]] 2009-11-25T12:26:28+09:00 1259119588 https://w.atwiki.jp/vconnect/pages/14.html *パラメータの説明 [[v.Connect]]で使用できるパラメータは以下の通りです。詳しくは各ページをご参照ください **VSQ由来のパラメータ -&bold(){[[Portamento]]} PortamentoLength,ProtamentDepthの実装について。 -&bold(){[[Accent/Decay]]} AccentとDecayの実装について。 -&bold(){[[Velocity]]} Velocityの実装について。 -&bold(){[[ControlCurve]]} --以下のパラメータの実装について。オープニングとポルタメントタイミングには反応致しません。 ---DYN ---BRE ---GEN ---CLE ---BRI ---PIT/PBS **[[UtauSetting>UTAU由来のパラメータ]] 原音設定やエンベロープのうち対応しているものの実装について。 2009-11-25T12:13:22+09:00 1259118802 https://w.atwiki.jp/vconnect/pages/3.html **更新履歴 #recent(20) &link_editmenu2(text=ここを編集) 2009-11-09T20:48:23+09:00 1257767303 https://w.atwiki.jp/vconnect/pages/4.html * ニュース @wikiのwikiモードでは #news(興味のある単語) と入力することで、あるキーワードに関連するニュース一覧を表示することができます 詳しくはこちらをご覧ください。 ＝＞http://atwiki.jp/guide/17_174_ja.html ----- たとえば、#news(wiki)と入力すると以下のように表示されます。 #news(wiki) 2009-11-09T20:48:23+09:00 1257767303 https://w.atwiki.jp/vconnect/pages/5.html * まとめサイト作成支援ツールについて @wikiには[[まとめサイト作成を支援するツール>>http://atwiki.jp/matome/]]があります。 また、 #matome_list と入力することで、注目の掲示板が一覧表示されます。 利用例）#matome_listと入力すると下記のように表示されます #matome_list 2009-11-09T20:48:23+09:00 1257767303 https://w.atwiki.jp/vconnect/pages/6.html * 更新履歴 @wikiのwikiモードでは #recent(数字) と入力することで、wikiのページ更新履歴を表示することができます。 詳しくはこちらをご覧ください。 ＝＞http://atwiki.jp/guide/17_117_ja.html ----- たとえば、#recent(20)と入力すると以下のように表示されます。 #recent(20) 2009-11-09T20:48:23+09:00 1257767303