超初心者向け解説です。
わけもわからず「やってみたい!」という場合に
何が必要になるか書いてみます。
(プロの方は対象ではないので読み飛ばしてください)
作業の流れを大雑把に書くと下記のとおりです。
どのソフトを用いてもほぼ同じです。
①実写動画をカメラトラッキングソフトで解析
②解析結果のカメラ動作を各種CGアプリ用の形式でエクスポート(スクリプト等で出力される)
③CGアプリで②を読み込んでCGアプリ上で実写のカメラ動作を再現
④コンポジットソフトで実写とCGモデルを合成
では、各手順で何が必要になるか説明します。
あたりまえですがこれがいります。
映像のフォーマットはカメラトラッキングソフトが何をサポートしているかよります。
また、できれば露出・ピントは固定にしましょう。合成時に困るからです。
あと、初心者はズームも使っては駄目です。特殊なトラッキング操作が必要です。
誰でも持っているカメラとしてスマートフォンの動画撮影機能が挙げられますが、
CMOS方式の携帯電話カメラは「動体歪み」という欠点を持っているため、
手持ち撮影した動画は、トラッキング解析には不向きですので注意しましょう。
注)最近のビデオカメラはCMOSが多いです。激しくカメラを振ったりしなければ大抵は問題ありません。
マルチショットトラッキング用の別撮影素材ならブラーを少なくするため、
シャッター速度は早い方が良いと思います。
CG作成用の3Dモデリング・レンダリングソフトです。
ピンキリですがフリーならばBlenderを使う人が多いようです。
プロ用ならばMaya、3dsMAX、LightWave等が有名です。
カメラトラッキングソフトによってエクスポートできるCGアプリケーションがまちまちなので注意が必要です
Blender+Voodooの組み合わせの作例はこんな感じです。
最近はBlender自体もトラッキング機能を持っています。
Blenderでトラッキングしたものを焼き付けエクスポートして他で使うということも出来るでしょう。
SynthEyesの場合はcarraraなんかにも対応しています。
Voodooのma出力をcarrara用にコンバートするコンバータなんかもあるようです。
V2C
安価なものは下記
Voodoo:無料
Autodesk MatchMover:無料
Blender内蔵:フリー
VooCAT:1.5万程度
SynthEyes Intro:3万程度
SynthEyes Pro:5万程度
After Effects CC内蔵:2千/月程度
PFTrack:34万程度(プロ用)
boujou:60万程度(プロ用、開発停止中)
3D-Equalizer:~70万程度(プロ用)
SynthEyesは安価ながら映画やCMにも使用されています。
CGアプリ上で背景をトラッキング対象の動画に指定してCGごとレンダリングしてしまう方法もありますが、
通常はCGのみをアルファ付きTgaファイルで書き出し、
別の合成用のアプリケーションで背景動画と合わせる方法を取ります。
AfterEffectsが用いられることが多いですが、AfterEffectsに近い機能を持ったフリーソフトではJahshaka等があります。
Jahshaka日本語解説サイト
また、Blenderのコンポジット機能でも合成できます。
無料のAutodesk Composite、Blackmagic Design Fusion、Natronなども使えるでしょう。
実際にやってみると、「CGは実写の動きにマッチしたけどなんか嘘っぽい」という壁にすぐにぶつかります。
実写に対してCGが浮いていてなじんでいないからです。
下記に、クオリティを上げるコツを書きます。
CGのモデリングのリアルさも重要ですが、照明やレンダリングの方が重要だと思います。
TOPページの作例は、3dsMAXでCGを作成し、Vrayという外部レンダラーによるGI(グローバルイルミネーション)で
レンダリングされています。照明もスカイライトが用いられています。
重要なのは3dsMAXではなく、GIレンダラのVrayです。簡単な照明でフォトリアルな質感が得られます
また、実写の照明とCGの照明もできるだけ合わせる必要があります。
トラッキングソフトには照明の方向が解析できるものもあります。
さらにリアルな照明を行うにはHDRIを用いた照明を行います。
CGの色味と実写の色味を合わせます。
一般的にはAfter EffectsやBlackmagic Design Fusionなどのコンポジットソフトが使われますが、
Blenderのコンポジット機能でもできます。
実写のCGの色味を合わせます
ビデオのホワイトバランス調整のようなものです。
また、CGの黒は(R.G.B)=(0.0.0)の真っ黒ですが、
実写は大抵完全な黒の部分などないので黒の部分でCGが浮きます。
こういった色味の違いを調整して実写に馴染ませます。
この調整を試行錯誤するために、前述のようにCGのみをアルファ付きOpenEXRファイルで書き出して
実写とは別にしておく必要があります
ビデオはインターレース方式とプログレッシブ方式があり、インターレース方式の映像はアップにするとジャギーがあります。
CGにはインターレースのようなジャギーは無いため、やはりCGが浮いてしまいます。
AviUtl、TMPGEncといった有名なエンコードソフトにはインターレース解除の設定項目がついています。
実写側を加工してインターレース解除してCGにあわせます
実写背景のグレインとCGのグレインをマッチさせます。
AfterEffectsには「グレインエフェクト」機能があります。
グレインマッチングの作業の様子
http://provideocoalition.com/index.php/motiongraphicsvizfx/story/grain_matching/P0/
無料ソフトの中では、Blackmagic Design Fusionがグレインの扱いに長けています。
以上、まだ書きかけですw。