【００４０】 - 特許DVD裏

裏DVD・無修正DVDの販売情報 一方又は両方から構築されてもよい。ある例において、領域６３０は、領域５１６と５２６の間のレジストレーション・マトリクスを用いて領域５１６及び５２６の超解像化を実行することと、領域５１６と５３６の間のレジストレーション・マトリクスを用いて領域５１６及び５３６の超解像化を実行することと、の一方又は両方から構築されてもよい。なお、図３－６の例示的実施形態において、超解像画像６００は、画像５１０、５２０、５３０の３つのみから生成されるように示されているが、このような表し方は、簡単な説明を提供するためのものに過ぎない。多くの例示的実施形態の実際の実装例においては、ライトフィールド画像から生成される複数の画像のうちの１つの超解像画像は、その画像を残りの画像の３つ以上と共に超解像化を行うことにより、作成されてもよい。例えば、一つのライトフィールド画像から、各々異なるビューを持つ画像が全部で２０個生成されるとき、そのうちの一つの画像の超解像画像は、各深度レベルに対応する複数のレジストレーション・マトリクスに基づいて、当該画像を残りの１９個と共に超解像化することにより、生成されてもよい。 【００４０】 ある例示的実施形態において、異なる画像の領域の超解像化は、その領域の解像度を改善するために適当な如何なる超解像化技術を用いて実行してもよい。ある例示的実施形態において、２つの領域間の超解像化は、ＳＲ（Super Resolving）再構成法に基づいて行われてもよい。ＳＲ再構成法の例は、等間隔補間法（uniform interpolation method）や不等間隔補間法（non-uniform interpolation method）、逆投影法（Back Projection Method）などを含む。なお、これは例を網羅的に示したものではない。図３－６を比較すると、画像３００に比べて画像６００はよく解像しており、解像度がかなり改善されていることがわかる。 【００４１】 ある例における、ある画像とその超解像画像のピーク信号対雑音比（ＰＳＮＲ）及び構造的類似性指標（Structural Similarity Measure；ＳＳＩＭ）が、ケース１とケース２の２つの場合について、表１に示されている。 【表１】 イメージ ID=000003 【００４２】 表１において、ケース１のＰＳＮＲおよびＳＳＩＭは、少なくとも一つの例示的実施形態に対応する値を示し、ケース２のＰＳＮＲおよびＳＳＩＭは、画像の超解像化を行わない技術に対応する値、すなわち画像中の深度レベルに対応するレジストレーション・マトリクスに基づく超解像化を行わない技術に対応する値を示している。この例において、（例えば、少なくとも一つの実施例である）ケース１は、（深度レベルに基づいてレジストレーション・マトリクスが決定されなかった）ケース２に比べて、ＰＳＮＲおよびＳＳＩＭが良いことがわかる。 【００４３】 図７は、別の例示的実施形態に従い、ライトフィールド画像から超解像画像を生成する例示的方法７００のフローチャートを描いたものである。ライトフィールド画像の例は、同一のシーンについての複数のビューの情報を含む画像のような撮影画像を含む。この例は網羅的なものではない。この画像からは、それぞれ視差（パララックス）が少しずつ異なる複数の画像が生成されてもよい。フローチャートに描かれる方法７００は、例えば、図２の装置２００によって実行されてもよい。 【００４４】 方法７００のブロック７０５はライトフィールド画像の受け取りを進めることを含む。図２を参照して説明したように、ライトフィールド画像は、ライトフィールドカメラを有するメディアキャプチャデバイスから取り込まれてもよいし、ＤＶＤやコンパクトディスク（ＣＤ）、フラッシュドライブ、メモリーカードのような外部ソースから取り込まれてもよいし、インターネットやBluetooth（登録商標）のような外部の保存場所から受信してもよい。 【００４５】 ブロック７１０において、方法７００は、ライトフィールド画像の一つ又は複数の深度レベルを決定することを含む。例えば、ライトフィールド画像が３つのオブジェクトを含み、これらのうち一つ又は複数のオブジェクトは、ライトフィールド画像に対応する現実のシーンにおいて、他のオブジェクトに比して異なる深度を有してもよい。ある例示的実施形態において、ライトフィールド画像の一つ又は複数の深度レベルに対応する深度マップが決定されてもよい。ブロック７１５において、方法７００は、ライトフィールド画像から複数の画像を生成することを含む。ある例示的実施形態において、これら複数の画像の各々は、それぞれライトフィールド画像により撮影されているシーンの少しずつ異なるビューを表してもよい。 【００４６】 ７２０において、方法７００は、上記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することを含む。例えば、ライトフィールド画像に３つの深度レベルが存在する場合、すなわち上記複数の画像のうちの２つの画像のペアには、ペアによって３つの深度レベルが存在する場合、これら３つの深度レベルに対応して３つのレジストレーション・マトリクスが生成されてもよい。７２５において、方法７００は、ある画像の超解像画像を生成すべく、一つ又は複数のレジストレーション・マトリクスに基づいて、当該画像及び一つ又は複数の残りの画像の超解像化を行うことを含む。図２を参照して説明したように、ある画像の超解像化を残りの画像と共に行うことは、その画像と残りの画像との間の深度レベルについて決定されたレジストレーション・マトリクスを用いて行われる。ある例示的実施形態において、ある画像の超解像化は、残りの画像のいくつかまたは全てと共に行われてもよい。 【００４７】 図８は、別の例示的実施形態に従う、超解像画像を生成する例示的方法８００のフローチャートを描いたものである。これらのフローチャートに描かれる方法は、例えば、図２の装置２００によって実行されてもよい。フローチャートの処理及びフローチャートの処理の組み合わせは様々な手段によって実施されることに留意されたい。そのような手段には、例えばハードウェアやファームウェア、プロセッサ、回路網、及び／又はソフトウェアの実行に関連付けられるデバイスが含まれる。また当該ソフトウェアは一つ又は複数のコンピュータプログラム命令を含む。例えば、様々な実施形態に関して説明された一つ又は複数の処理は、コンピュータプログラム命令によって具現化されてもよい。ある例示的実施形態では、多くの実施形態で説明された上記の処理を具現化するコンピュータプログラム命令は、装置の少なくとも一つのメモリデバイスに格納されてもよく、装置の少なくとも一つのプロセッサにより実行されてもよい。このようなコンピュータプログラム命令は、コンピュータや、プログラム可能な装置（例えばハードウェア）にロードされて機械を構成する。すなわち、命令がロードされたコンピュータ又はプログラム可能な装置は、一つ又は複数のフローチャートにより特定される機能を実装するための手段を具現化する。これらのコンピュータプログラム命令はコンピュータ読み取り可能な記憶メモリ（すなわち搬送波や電磁波信号のような送信媒体ではない媒体））に格納されてもよく、固有の方法でコンピュータ又はその他のプログラム可能な装置を機能させるべく命令してもよい。すなわち、コンピュータ読み取り可能なメモリに格納される命令は、実行されることにより、一つ又は複数のフローチャートのブロックにより特定される機能を実装する製品を形成する。コンピュータプログラム命令はコンピュータ又はその他のプログラム可能な装置にロードされ、一連の動作を前記コンピュータ又はその他のプログラム可能な装置で実行させることにより、コンピュータ実装プロセスを生成する。すなわち、コンピュータ又はその他のプログラム可能な装置で命令が実行されることにより、フローチャートで特定される処理を提供する。方法に関する処理は装置２００の助けを借りて説明される。しかし、方法に関する処理は、他の如何なる装置を用いて説明されたり実施されたりしてもよい。 【００４８】 方法８００のブロック８０５はライトフィールド画像の受け取りを進めることを含む。ブロック８１０において、方法８００は、ライトフィールド画像の一つ又は複数の深度レベルを決定することを含む。例えば、ライトフィールド画像が３つのオブジェクトを含み、これらのうち一つ又は複数のオブジェクトは、ライトフィールド画像に対応する現実のシーンにおいて、他のオブジェクトに比して異なる深度を有してもよい。ある例示的実施形態において、ライトフィールド画像の一つ又は複数の深度レベルに対応する深度マップが決定されてもよい。ブロック８１５において、方法８００は、ライトフィールド画像から複数の画像を生成することを含む。ある例示的実施形態において、これら複数の画像の各々は、それぞれライトフィールド画像により撮影されているシーンの少しずつ異なるビューを表してもよい。ある例示的実施形態において、ブロック８１０及び８１５は如何なる順序で実行されてもよい。例えばブロック８１５は、ブロック８１０と同時的に実行されてもよいし、その前に又は後に実行されてもよい。 【００４９】 ８２０において、方法８００は、複数の画像のうちの一つを選択することを含む。例えば、画像Ｉ１、Ｉ２、Ｉ３のうちから画像Ｉ１が選択される。ある例示的実施形態においては、超解像画像が生成されるべき画像が選択される。８２５において、ライトフィールド画像に含まれる一つ又は複数の深度レベルのうちの一つが選択される。例えば、深度レベルｄ１、ｄ２、ｄ３のうちから深度レベルｄ１が選択される。 【００５０】 ８３０において、方法８００は、ある画像からその深度レベルに関連する領域を選択すると共に、一つ又は複数の残りの画像からも、その深度レベルに関連する領域を選択することを含む。例えば、画像Ｉ１から深度レベルｄ１に関連する領域（例えばｒ（Ｉ１，ｄ１）が選択され、画像Ｉ２からも深度レベルｄ１に関連する領域（例えばｒ（Ｉ２，ｄ１）が選択され、画像Ｉ３からも深度レベルｄ１に関連する領域（例えばｒ（Ｉ３，ｄ１）が選択される。８３５において、方法８００は、ある画像中の選択された領域内で複数の特徴点を決定すると共に、一つ又は複数の残りの画像の選択された領域内でも複数の特徴点を決定することを含む。例えば、画像Ｉ１中の選択された領域内で複数の特徴点を決定すると共に、画像Ｉ２，Ｉ３の選択された領域内でも複数の特徴点を決定する。 【００５１】 ８４０において、選択された深度レベルｄ１に関して、ある画像から選択された領域内の複数の特徴点と、一つ又は複数の残りの画像から選択された領域内の複数の特徴との間の一致度に基づいて、レジストレーション・マトリクスが計算される。例えば、選択された深度レベルｄ１について、画像Ｉ１とＩ２とからレジストレーション・マトリクス（例えばＲｄ１（Ｉ１，Ｉ２））が計算される。ある例示的実施形態において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２）は、領域ｒ（Ｉ１，ｄ１）と領域ｒ（Ｉ２，ｄ１）との特徴点の一致度に基づいて計算される。この例において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ３））は、選択された深度レベルｄ１についての画像Ｉ１とＩ２の特徴点の一致度に基づいて計算される。ある例示的実施形態において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ３）は、領域ｒ（Ｉ１，ｄ１）と領域ｒ（Ｉ３，ｄ１）との特徴点の一致度に基づいて計算される。 【００５２】 ８４５において、全ての深度レベルが選択されたかどうかがチェックされる。例えば、全ての深度レベルが選択されていなかったとしたら、ブロック８２５の処理が実行され、次の深度レベルが選択される。例えば、次の深度レベルｄ２が選択され、ブロック８３０－８４０の処理が実行されることにより、深度レベルｄ２について画像Ｉ１とＩ２との間にレジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ２）が計算され、深度レベルｄ２について画像Ｉ１とＩ３との間にレジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ３）が計算される。ある例示的実施形態において、ステップ８４５におけるチェックに基づいて、ブロック８２５の処理が実行され、次の深度レベルが選択される。例えば、次の深度レベルｄ３が選択され、ブロック８３０－８４０の処理が実行されることにより、深度レベルｄ３について画像Ｉ１とＩ２との間にレジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ２）が計算され、深度レベルｄ３について画像Ｉ１とＩ３との間にレジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ３）が計算される。ある例において、全てのレジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２），Ｒｄ１（Ｉ１，Ｉ３），Ｒｄ２（Ｉ１，Ｉ２），Ｒｄ２（Ｉ１，Ｉ３），Ｒｄ３（Ｉ１，Ｉ２），Ｒｄ３（Ｉ１，Ｉ３）のうちのいくつかが計算される。 【００５３】 ８４５において、全ての深度レベルが選択されたことがチェックされる。例えば、深度レベルｄ１、ｄ２、ｄ３についてのレジストレーション・マトリクスが計算されると、方法はブロック８５０に進む。なお、実施形態によっては、いくつかの深度レベルについてレジストレーション・マトリクスが計算されていなくても、方法８００はブロック８５０に進む場合もある。 【００５４】 ８５０において、方法８００は、ある画像中の各深度レベルに関連する各領域と、一つ又は複数の残りの画像中の各深度レベルに関連する各領域との超解像化を、深度レベルに対応するレジストレーション・マトリクスに基づいて実行する。例えば、領域ｒ（Ｉ１，ｄ１）の超解像化は領域ｒ（Ｉ２，ｄ１）及びｒ（Ｉ３，ｄ３）と共に行われ、領域ｒ（Ｉ１，ｄ２）の超解像化は領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）と共に行われ、領域ｒ（Ｉ１，ｄ３）の超解像化は領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）と共に行われる。ここで、領域ｒ（Ｉ２，ｄ１）及びｒ（Ｉ３，ｄ３）と共に行われる領域ｒ（Ｉ１，ｄ１）の超解像化は、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２）およびＲｄ１（Ｉ１，Ｉ３）に基づいて行われることに注意されたい。同様に、領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）と共に行われる領域ｒ（Ｉ１，ｄ２）の超解像化は、レジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ２）およびＲｄ２（Ｉ１，Ｉ３）にそれぞれ基づいて行われ、領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）と共に行われる領域ｒ（Ｉ１，ｄ３）の超解像化は、レジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ２）およびＲｄ３（Ｉ１，Ｉ３）にそれぞれ基づいて行われる。ある例示的実施形態において、２つの領域間の超解像化は、ＳＲ（Super Resolving）再構成アルゴリズムに基づいて行われてもよい。 【００５５】 ８５５において、方法８００は、画像の超解像画像を生成する。この超解像画像は、当該画像の全ての深度レベルに関連する領域を、一つ又は複数の残りの画像と共に超解像化することに基づいて生成される。例えば、領域ｒ（Ｉ１，ｄ１）、ｒ（Ｉ１，ｄ２）、ｒ（Ｉ１，ｄ３）の超解像化は、残りの画像Ｉ２、Ｉ３の対応する領域を用いて（ステップ８５０で）行われるので、画像Ｉ１の超解像画像は、領域ｒ（Ｉ１，ｄ１）、ｒ（Ｉ１，ｄ２）、ｒ（Ｉ１，ｄ３）の超解像化に基づいて生成される。方法８００の処理を実行することにより、例えば、ブロック８２０で画像Ｉ２を選択することにより、画像Ｉ２の超解像画像が生成されてもよいことも注意されたい。同様に、ブロック８２０で画像Ｉ３を選択することにより、画像Ｉ３の超解像画像が生成されてもよい。 【００５６】 図８の方法８００の説明を容易にするために、いくつかの処理は、他のステップとは区別可能なステップとして、特定の処理順序を有するものとして説明されてきた。しかし、このような実装形態は単に例に過ぎず、実装形態を限定するものではない。いくつかの処理は統合されて単一の処理として実行されてもよく、また、いくつかの処理は本明細書に例示された順序とは異なる順序で実行されうる。さらに、方法８００のいくつかの処理は、自動的に実行される。そのような処理には実質的にユーザは関わらない。方法８００の別の処理は、マニュアル又は半自動的に実行されてもよい。そのような処理には、一つ又は複数のユーザインタフェースを介してユーザが操作ことを含む。 【００５７】 本明細書で開示された一つ又は複数の例示的実施形態の技術的効果は、ライトフィールド画像から超解像画像を生成することである。ただしこのことは、請求項に係る発明の範囲や解釈、応用をいかようにも限定するものではない。様々な具現化形態が、深度を考慮した画像の超解像化の方法を提供している。ここでは、異なる深度レベルに対して様々なレジストレーション・マトリクスが用いられる。様々な具現化形態において、各深度レベルの領域の超解像化を個別に行うために、深度レベルに応じたレジストレーション・マトリクスが用いられる。このような画像の超解像化は、エラーに見えるようなジャギーや空間ボケ（ｓｐａｔｉａｌ ｂｌｕｒ）を減らしうる。このようなジャギーや空間ボケは、２つの低解像度の画像の間のレジストレーション・マトリクスであって、画像中のオブジェクトの深度レベルを考慮しないで計算されるレジストレーション・マトリクスを１つだけしか用いない場合には、見えてしまうものである。 【００５８】 上述の様々な実施形態は、ソフトウェアやハードウェア、アプリケーションロジック、又はこれらの結合として実装されうる。ソフトウェアやアプリケーションロジック、ハードウェアは、少なくとも一つのメモリ、少なくとも一つのプロセッサ、装置、コンピュータプログラムを用いた製品に存在していてもよい。ある例示的実施形態においては、アプリケーションロジック、ソフトウェア、または命令セットは、コンピュータ読み取り可能な標準的な媒体のいずれかに保持される。本明細書の文脈において"コンピュータ読み取り可能なメディア"は触ることが可能なメディアや手段であって、命令を実行するコンピュータのようなシステムや装置、デバイスによって又はそれと共に使用される命令を、含むことや格納すること、通信すること、伝達すること、送信することのいずれかが可能な如何なるメディアや手段であってもよい。上記コンピュータの例には、図１及び／又は図２に関連して説明され描かれている装置がある。コンピュータ読み取り可能なメディアはコンピュータ読み取り可能な記憶媒体を備えてもよい。それは、コンピュータのような、命令を実行するシステムや装置、デバイスによってまたはそれと共に使用される命令を含むか格納しうる、如何なるメディアや手段であってもよい。 【００５９】 それが望ましい場合は、本明細書で説明された様々な機能の少なくとも一部は、異なる順番で実行されてもよいし、同時に実行されてもよい。さらに、それが望ましい場合は、上述の一つ又は複数の機能はオプションであってもよいし、または統合されてもよい。 【００６０】 具現化形態の様々な側面が独立請求項に提示されているが、その他の側面には、請求項に明示的に提示されている組み合わせ以外にも、説明された実施形態及び／又は従属請求項に含まれる特徴を、独立請求項の特徴と組み合わせたものも含まれる。 【００６１】 本発明のいくつかの例示的実施形態を説明してきたが、これらの説明は限定的な意味に捉えられるべきではないことは注意されたい。それよりも、添付の特許請求の範囲に定義される開示の範囲を逸脱することなしに、様々な変形や修正が存在する。 裏DVD・無修正DVDの販売情報