推奨される実施形態の詳細な説明
本発明は、単独で、または他のデータ（例えば、ビデオデータなど）と一緒に（例えば、同期して）使用し、処理し、インデックスを作成し、ベンチマークを作成し、ランキングを作成し、比較し、およびその結果を表示するためのシステムおよび方法を提供する。本発明は、本明細書において、特定の生体情報データ（例えば、以下のようなもの）に関して記載されているが、理解されるべきである。心拍数、呼吸パターン、血中アルコール濃度など )が、本発明はそれほど限定されるものではなく、酸素レベル、二酸化炭素レベル、酸素飽和度、血圧、血糖値、肺機能、血圧、身体および周囲条件（温度、湿度、光レベル、高度。歩行速度、ランニング速度）、速度（歩行速度、ランニング速度）、移動した場所と距離、呼吸数、心拍変動（HRV）、心電図データ、発汗量、消費カロリーと燃焼カロリー、ケトン体、老廃物排出量と排出量、ホルモンレベル、血液量、唾液量、可聴レベル（例. g., いびきなど）、気分レベルおよび変化、ガルバニック皮膚反応、脳波および／または活動、または他の神経学的測定値、睡眠パターン、身体的特徴（例えば、身長、体重、目の色、髪の色、虹彩データ、指紋など）または反応（例えば、顔の変化、虹彩（または瞳孔）の変化、声（または音色）の変化など）、またはそれらの任意の組み合わせまたは結果。
図１に示すように、バイオメトリックデバイス１１０は、スマートフォンなどのコンピューティングデバイス１０８と通信していてもよく、このコンピューティングデバイスは、インターネットなどのワイドエリアネットワーク（「ＷＡＮ」）１００を介して少なくとも１つのコンピューティングデバイス（１０２、１０４、１０６）と通信している。コンピューティングデバイスは、１つまたは異なるオペレーティングシステムまたはプラットフォームを使用して、ＰＣ、ラップトップ、タブレット、スマートフォン、スマートウォッチ等のような異なるタイプのものであり得る。本発明の一実施形態では、生体情報デバイス１１００は、個人の心拍数（例えば、生体情報データ）を取得（例えば、測定、感知、推定など）するように構成されている。そして、生体情報データは、ビデオおよび／またはオーディオレコーダ（図示せず）を含むコンピューティングデバイス１０８に提供される。
本発明の第１の実施形態では、ビデオおよび／またはオーディオデータは、心拍数データとともに、ネットワーク１００を介してホストコンピューティングデバイス１０６に提供される。同時のビデオおよび／またはオーディオデータと心拍数データとがホストコンピューティングデバイス１０６に提供されるので、そこで動作するホストアプリケーション（図示せず）を使用して、ビデオデータ、オーディオデータ、および／または心拍数データを同期させることができ、それにより、ユーザ（例えば、ユーザコンピューティングデバイス１０２、１０４を介して）が、生体情報データを見ながら、ビデオデータを見ること、および／またはオーディオデータを聞くこと（リアルタイムまたは時間遅延のいずれか）を可能にすることができる。例えば、図３に示すように、ホストアプリケーションは、タイムスタンプ３２０、またはメタデータを使用した他のシーケンス方法を使用して、ビデオデータ３１０を生体情報データ３３０と同期させて、ユーザが、例えば、特定の時刻３４０（例えば、開始時刻から７６秒後）における個人（例えば、病院内の患者、ベビーベッド内の赤ちゃんなど）と、その特定の時刻３４０（例えば、開始時刻から７６秒後）における個人に関連付けられた生体情報データとを表示することを可能にしてもよい。
ホストアプリケーションは、ビデオデータ、オーディオデータ、生体情報データおよび／またはメタデータにおける特定の活動の検索、および／またはビデオデータ、オーディオデータ、および／または生体情報データのランキングなどの他の機能を実行するようにさらに構成されてもよいことが理解されるべきである。例えば、ホストアプリケーションは、特定の閾値または値を超えた心拍数、特定の閾値または値を下回った心拍数、最小期間の特定の心拍数（または範囲）などの特定の生体測定イベントを検索できるようにしてもよい。別の例として、ホストアプリケーションは、ビデオデータ、オーディオデータ、生体情報データ、または同期化された複数のクリップ（例えば、ハイライトリール）を、生体情報のマグニチュード（最高から最低、最低から最高など）、レビュー（最高から最悪、最悪から最高など）、またはビュー（最多から最低、最低から最多など）によって、時系列的にランク付けしてもよい。データのランキング、検索、および分析のような機能は、ユーザの個々のセッションに限定されるものではなく、ユーザの任意の数の個々のセッション、および複数のユーザのセッションまたはセッションの数にまたがって実行されることができることをさらに理解すべきである。このように様々な情報（映像、生体情報など）を全て収集することで、AIの推論やレコメンデーションを生成する目的のビッグデータ分析や機械学習に十分なデータポイントを生成できるようにすることも用途の一つである。
例として、機械学習アルゴリズムは、その後短い "ハイライトリール "に一緒にステッチされるであろう最も説得力のあるコンテンツを探して、自動的にビデオデータを検索するために使用することができます。ニューラル・ネットワークは、複数のスポーツ・ビデオと、ビデオの進行に伴ってユーザーが興味を持っているレベルの評価を使用して訓練することができます。ネットワークへの入力ノードは、現在のフレームの興奮度の中央値と一緒に、フレーム間のピクセルの強度の変化のサンプルとすることができます。機械学習アルゴリズムは、多層畳み込みニューラルネットワークと組み合わせて、ビデオコンテンツを自動的に分類するために使用することもできます（例えば、ビデオにどのようなスポーツが含まれているかなど）。コンテンツが自動的にまたは手動で識別されると、アルゴリズムは、ユーザの活動を理想化された活動と比較するために使用することができる。例えば、システムは、ユーザーのゴルフスイングのビデオ録画とプロゴルファーのスイングを比較することができます。そして、システムは、ユーザーがどのようにスイングを改善することができるかについて、増分的なヒントをユーザーに提供することができます。アルゴリズムはまた、ユーザのフィットネスレベルを予測し（例えば、ユーザがプログラムを維持した場合、ワークアウトを継続するインセンティブを与える）、ユーザを同じようなフィットネスレベルを持つ他のユーザまたは施術者とマッチングさせ、各ユーザに最適化されたルーチンを作成するために使用することができる。
また、図２Ａに示すように、バイオメトリックデータは、コンピューティングデバイス１０８を経由せずに、ホストコンピューティングデバイス１０６に直接提供されてもよいことが理解されるべきである。例えば、コンピューティングデバイス１０８および生体情報デバイス１１０は、直接またはネットワーク１００を介して、ホストコンピューティングデバイスと独立して通信してもよい。ビデオデータ、オーディオデータ、および／または生体情報データは、リアルタイムでホストコンピューティングデバイス１０６に提供される必要はないことがさらに理解されるべきである。例えば、ビデオデータは、データが識別され得るか、または特定のセッションに結び付けられ得る限り、後の時点で提供され得る。ビデオデータが識別され得る場合、それは、その後、リアルタイムで受信された他のデータ（例えば、生体情報データ）に同期され得る。
本発明の一実施形態では、図２Ｂに示すように、システムは、ＷＡＮを介したホストコンピューティングデバイス２４０（例えば、１００での図１を参照）、ＷＡＮを介したサードパーティデバイス２５０（例えば、１００での図１を参照）、およびローカルデバイス２３０（例えば、無線接続または有線接続を介して）を含む複数のデバイスと通信しているスマートフォンなどのコンピューティングデバイス２００を含む。好ましい実施形態では、コンピューティングデバイス２００は、ホストコンピューティングデバイス２４０（例えば、企業のクラウド）からプログラムまたはアプリケーション（すなわち、クライアントプラットフォーム）をダウンロードする。クライアントプラットフォームは、複数の機能を実行するように構成された複数のモジュールを含む。
例えば、クライアントプラットフォームは、内部および／または外部カメラからビデオデータを受信するためのビデオキャプチャモジュール２１０と、内部および／または外部の生体認証デバイスから生体認証データを受信するための生体認証キャプチャモジュール２１２とを含んでもよい。クライアントプラットフォームはまた、ユーザがプラットフォームと対話することを可能にするユーザインタフェースモジュール２０２、ビデオデータを編集するためのビデオ編集モジュール２０４、データ（例えば、ビデオデータ、生体情報データ、識別データ、開始時間データ、継続時間データ、サンプルレートデータ、自己実現データ、タイムスタンプデータなど）を管理するためのファイル処理モジュール２０６、データ（例えば、ビデオデータ、生体情報データ、識別データ、開始時間データ、継続時間データ、サンプルレートデータ、自己実現データ、タイムスタンプデータなど）を複製するためのデータベースおよび同期モジュール２１４を含んでもよい。コンピューティングデバイス２００に保存されたデータをホストコンピューティングデバイス２４０にコピーする、および／またはホストコンピューティングデバイス２４０に保存されたユーザデータをコンピューティングデバイス２００にコピーする）、受信したデータを処理するためのアルゴリズムモジュール２１６（例えば、データの同期化、データの検索／フィルタリング、ハイライトリールの作成など）、単一のセッションまたは複数のセッションに関連するデータ（例えば、ビデオデータ、ハイライトリールなど）を共有および／または保存するための共有モジュール２２０、およびFacebook™などの第三者のソーシャルメディアウェブサイトとインターフェースするための中央ログインおよびIDモジュール２１８がある。
図2Bに関して、スマートフォン、タブレット、または他のコンピューティング・デバイスであってもよいコンピューティング・デバイス200は、ホスト・コンピューティング・デバイス240からクライアント・プラットフォームをダウンロードするように構成されてもよい。クライアントプラットフォームがコンピューティングデバイス２００上で実行されると、プラットフォームは、新しいセッションを開始し、セッションのためのビデオデータを受信し（すなわち、ビデオキャプチャモジュール２１０を介して）、セッションのための生体情報データを受信し（すなわち、生体情報キャプチャモジュール２１２を介して）、新しいセッションのための生体情報データを受信するために使用することができる。このデータは、ローカルストレージ、ローカルデータベース、および／またはリモートストレージデバイス（例えば、会社のクラウドまたはサードパーティのクラウド、例えばDropbox™など）に保存され得る。好ましい実施形態では、データは、（ｉ）セッションを識別し、（ｉｉｉ）同期を可能にする情報にリンクされるように格納される。
例えば、ビデオデータは、好ましくは、少なくとも開始時刻（例えば、セッションの開始時刻）と識別子とにリンクされる。識別子は、セッションを一意に識別する単一の番号であってもよいし、複数の番号（例えば、複数のグローバル（または普遍的）一意識別子（ＧＵＩＤｓ／ＵＵＩＤｓ））であってもよく、第１の番号がセッションを一意に識別し、第２の番号がセッション内のアクティビティを一意に識別し、セッション（例えば、ベルリンのような目的地への旅行または旅程）が複数のアクティビティ（例えば、自転車に乗る、歩くなど）を含むことを可能にする。例示に過ぎないが、アクティビティ（またはセッション）の識別子は、一意性の高い確率を有する１２８ビットの識別子、例えば、８ｂｆ２５１２-ｆ１７ａ-４ｅ９ｅ-ｂ４９ａ-７ｃ３ｆ５９ｅｃ１ｅ８５）であってもよい。識別子はまた、セッション名および／またはセッションの説明を含んでもよい。ビデオデータに関する他の情報（例えば、ビデオ長、ビデオソースなど）（すなわち、「ビデオメタデータ」）も、ビデオデータに格納され、リンクされていてもよい。好ましくは、生体情報データは、少なくとも開始時刻（例えば、ビデオデータにリンクされた同じ開始時刻）と、識別子（例えば、ビデオデータにリンクされた同じ識別子）と、生体情報データが受信および／または格納される速度を識別するサンプルレートとにリンクされている。例えば、心拍数データは、１分間に３０サンプル（３０ｓｐｍ）、すなわち２秒に１回、または他のいくつかの所定の時間間隔サンプルのレートで受信され、保存されてもよい。
いくつかの実施形態では、プラットフォームによって使用されるサンプルレートは、生体測定デバイスのサンプルレート（すなわち、生体測定デバイスによってデータが提供されるレート）であってもよい。他のケースでは、プラットフォームによって使用されるサンプルレートは、データが受信されるレートとは独立していてもよい（例えば、固定レート、設定可能なレートなど）。例えば、生体認証デバイスが１分間に６０サンプル（６０ｓｐｍ）のレートで生体認証データを提供するように構成されている場合、プラットフォームは、依然として３０ｓｐｍのレートでデータを保存してもよい。言い換えれば、３０ｓｐｍのサンプルレートでは、プラットフォームは、１０秒後に５つの値を記憶し、第１の値は生体認証デバイスによって送信された第２の値であり、第２の値は生体認証デバイスによって送信された第４の値である、などとなる。代替的に、生体認証デバイスが、生体認証データが変化したときにのみ生体認証データを提供するように構成されている場合、プラットフォームは、３０ｓｐｍの速度でデータを記憶したままであってもよい。この場合、プラットフォームによって記憶される第１の値は、生体情報デバイスによって送信された第１の値であってもよく、記憶される第２の値は、記憶の時点で生体情報デバイスによって新しい値が送信されていない場合には、生体情報デバイスによって送信された第１の値であってもよく、記憶される第３の値は、記憶の時点で生体情報デバイスによって新しい値が送信されている場合には、生体情報デバイスによって送信された第２の値であってもよい。
映像データと生体データとが記憶されて連携した後は、アルゴリズムを用いてデータを一緒に表示するようにしてもよい。例えば、生体情報データが固定または構成可能な３０ｓｐｍのサンプルレートで保存されている場合、アルゴリズム（例えば、２１６）は、ビデオクリップの開始時に第１の生体情報値（例えば、ビデオデータの下、ビデオデータの上に重畳されているなど）を表示し、２秒後に第２の生体情報値（ビデオクリップの２秒後）を表示し、２秒後に第３の生体情報値（ビデオクリップの４秒後）を表示するために使用することができる。本発明の代替実施形態では、非ビデオデータ（例えば、生体情報データ、自己実現データなど）は、複数のタイムスタンプ（例えば、格納された各値に対する個々のスタンプまたはオフセット）とともに格納することができ、これは、非ビデオデータをビデオデータに同期させるために開始時刻とともに使用することができる。
クライアントプラットフォームは、自律的に（すなわち、ホストネットワークデバイス２４０から独立して）機能するように構成され得るが、本発明の一実施形態では、クライアントプラットフォームの特定の機能は、ホストネットワークデバイス２４０によって実行され、コンピューティングデバイス２００がホストコンピューティングデバイス２４０と通信しているときにのみ実行され得ることが理解されるべきである。このような実施形態は、特定の機能をホストコンピューティングデバイス２４０にオフロードするだけでなく、これらの機能がホストコンピューティングデバイス２４０によってのみ実行可能であることを保証するという点で有利である（例えば、特定の機能を実行するためにユーザがクラウドサービスに加入することを要求すること）。クラウドにオフロードされる機能は、ビデオデータと共に非ビデオデータを表示するために必要な機能（例えば、ビデオデータへの情報のリンク、非ビデオデータへの情報のリンク、非ビデオデータをビデオデータに同期させることなど）を含んでもよいし、"ハイライトリール "を生成および／または共有するなどのより高度な機能を含んでもよい。代替の実施形態では、コンピューティングデバイス２００は、特定の基準が満たされている限り、前述の機能を実行するように構成されている。この基準は、コンピューティングデバイス２００がホストコンピューティングデバイス２４０と通信中であること、またはコンピューティングデバイス２００が以前にホストコンピューティングデバイス２４０と通信中であること、および最後の通信からの時間の期間が所定の時間と等しいか、またはそれ以下であることを含むことができる。当業者に知られた技術（例えば、鍵付きハッシュベース方式認証コード（ＨＭＡＣ）を使用すること、前記最後の通信の記憶された時間（前記コンピューティングデバイスが、前記デルタが所定の時間未満であるかどうかを判断することを可能にする）など）は、特定の機能の実行を許可する前に、この基準が満たされていることを確実にするために使用することができる。
例示的なコンピューティング装置および例示的な生体認証装置のブロック図が、図５に示されている。特に、例示的な生体認証デバイス５００は、生体認証データを感知するためのセンサと、ユーザとインタフェイスし、様々な情報（例えば、生体認証データ、設定データ、開始、停止、一時停止などの操作データ）を表示するためのディスプレイと、感知された生体認証データを記憶するためのメモリと、例示的なコンピューティングデバイス６００と通信するためのトランシーバと、トランシーバ、メモリ、センサ、ディスプレイを操作および／または駆動するためのプロセッサとを含む。模範的なコンピューティングデバイス６００は、模範的なバイオメトリックデバイス５００からバイオメトリックデータを受信するためのトランシーバ（１）を含む（例えば、以下のいずれかを使用する。テレメトリ、任意のWiFi規格、DNLA、Apple AirPlay、Bluetooth、近距離無線通信（NFC）、RFID、ZigBee、Z-Wave、Thread、Cellular、有線接続、赤外線またはデータ伝送の他の方法、データキャスティングまたはストリーミングなどのいずれかを使用して）、生体情報データを記憶するためのメモリ、ユーザとのインターフェースおよび様々な情報を表示するためのディスプレイ（例えば バイオメトリクスデータ、セットアップデータ、開始、停止、一時停止などの操作データ、セッション内コメントの入力や音声メモの追加など）、ユーザー入力データを受信するためのキーボード、インターネットを介してホストコンピューティングデバイスにバイオメトリクスデータを提供するためのトランシーバ（2）、（例えば、テレメトリ、データキャスティング、ストリーミングなどのいずれかを使用して）バイオメトリクスデータをホストコンピューティングデバイスに提供するためのトランシーバ（2）。テレメトリ、任意のWiFi規格、DNLA、Apple AirPlay、Bluetooth、近距離無線通信（NFC）、RFID、ZigBee、Z-Wave、Thread、Cellular、有線接続、赤外線またはデータ伝送の他の方法、データキャスティングまたはストリーミングなどのいずれかを使用して）、およびトランシーバ（１）、トランシーバ（２）、キーボード、ディスプレイ、およびメモリを操作および／または駆動するためのプロセッサのいずれかを使用する。
コンピューティングデバイス６００内のキーボード、または代替的に生体測定デバイス５００内のキーボードは、自己実現データ、または特定の時間にユーザがどのように感じているかに関するデータを入力するために使用されてもよい。例えば、ユーザが疲れを感じている場合、ユーザはキーボードの「Ｔ」ボタンを押してもよい。ユーザーがエンドルフィンのキックインを感じている場合、ユーザーはキーボードの「E」ボタンを押すことができます。そして、ユーザーが第二の風を得ている場合、ユーザーはキーボードの「S」ボタンを押すことができます。そして、このデータは記憶され、サンプルレート（生体情報データのようなもの）またはタイムスタンプデータのいずれかにリンクされ、これは各ボタンが押された開始時刻に対する時間またはオフセットであってもよい。これにより、生体情報データと同様に、自己実現データをビデオデータに同期させることができるようになります。また、生体情報データと同様に、自己実現データを検索またはフィルタリングすることも可能になるであろう（例えば、ユーザが疲れを感じ始めたときなど、特定のイベントに対応する動画を見つけるために）。
本発明は、図５に示すブロック図に限定されるものではなく、より少ないまたはより多くの構成要素を含む生体測定装置および／またはコンピューティング装置が、本発明の精神および範囲内にあることが理解されるべきである。例えば、ディスプレイを含まない、またはカメラおよび／またはマイクを含む生体情報デバイスは、タッチスクリーン、デジタルペン、音声／音声認識デバイス、ジェスチャー認識デバイス、いわゆる「ウェアラブル」、または当技術分野の当業者には一般的に知られている任意の他の認識デバイスのような、キーボードを超えた他のデータ入力デバイスまたは方法と同様に、本発明の精神および範囲内にある。同様に、１つのトランシーバのみを含むコンピューティングデバイス、カメラ（ビデオをキャプチャするための）および／またはマイク（音声をキャプチャするため、または音とそれがどのように移動するかを記録または測定することによって空間分析を実行するための）をさらに含むコンピューティングデバイス、またはセンサ（図４参照）をさらに含むコンピューティングデバイスは、本発明の精神および範囲内である。また、自己実現データは、ユーザがどのように感じるかに限定されるものではなく、ユーザまたはアプリケーションが記憶に残すことを望むイベントを含むこともできることを理解すべきである。例えば、ユーザは、野生動物や特定の建築物を自転車で通り過ぎたユーザを記録（またはタイムスタンプ）したいと思うかもしれないし、アプリケーションは、患者が「看護師要請」ボタンを押したことを記録（またはタイムスタンプ）したいと思うかもしれないし、ユーザの他の感知された非生体活動を記録（またはタイムスタンプ）したいと思うかもしれない。
図１に戻って、図２Ｂと関連して上述したように、ホストアプリケーション（またはクライアントプラットフォーム）は、コンピューティングデバイス１０８上で動作してもよい。この実施形態では、コンピューティングデバイス１０８（例えば、スマートフォン）は、生体認証デバイス１１０から生体認証データを（リアルタイムで、または後の段階で、生体認証データの発生に対応するタイムスタンプを用いて）受信し、生体認証データをコンピューティングデバイス１０８（またはそこで動作するカメラおよび／またはマイク）によって記録されたビデオデータおよび／またはオーディオデータと同期させるように構成されていてもよい。本発明のこの実施形態では、ホストアプリケーションがローカルに（例えば、コンピューティングデバイス１０８上で）実行される以外に、ホストアプリケーション（またはクライアントプラットフォーム）は、以前に議論されたように動作することが理解されるべきである。
再び図１を参照して、本発明の別の実施形態では、コンピューティングデバイス１０８は、生体情報データを感知するためのセンサをさらに含む。本発明のこの実施形態では、ホストアプリケーション（またはクライアントプラットフォーム）は、先に論じたように（コンピューティングデバイス１０８上でローカルに）動作し、少なくともビデオ、オーディオ、および／または生体情報データを同期化し、同期化されたデータをユーザに再生または提示できるように機能する（例えば、ディスプレイ部分を介して、コンピューティングデバイスに直接接続されたディスプレイデバイスを介して、コンピューティングデバイスに接続されたユーザコンピューティングデバイスを介して（例えば、直接、ネットワークを介して）、など）。
本発明は、いかなる実施形態においても、図１および図２に示されるコンピューティングデバイス（数またはタイプ）に限定されないことが理解されるべきであり、任意のコンピューティングデバイスを含み得ることが理解されるべきである。1および2に示されたコンピューティングデバイス、センシングデバイス、デジタル記録デバイス、GPSまたは他の方法で位置情報を取得可能なデバイス（例えば、WiFi測位システム「WPS」を使用して、またはネットワーク三角測量を介してなどの地理的位置を導出する他の形態）のいずれかを含み、パーソナルコンピュータ、サーバ、ラップトップ、タブレット、スマートフォン、携帯電話、スマートウォッチ、アクティビティバンド、心拍数ストラップ、マットレスセンサ、靴底センサ、デジタルカメラ、近距離センサまたはセンシングデバイスなど、当技術に熟練した者に一般的に知られているものであってもよい。また、本発明は、任意の特定の生体測定デバイスに限定されず、手首（例えば、腕時計のようなもの）に装着されるか、皮膚（例えば、皮膚パッチのようなもの）または頭皮に装着されるか、またはコンピューティングデバイス（例えば、スマートフォンなど）に組み込まれるように構成された生体測定デバイスを含むことを理解すべきである。寝具、衣類、履物、ヘルメットや帽子、イヤホンなどのウェアラブルデバイス、ラケット、ゴルフクラブ、自転車などの運動器具などのアイテムに組み込まれているか、またはアイテムに追加されているかのいずれかであり、ラケットやクラブのヘッドスピード、ペダルの回転数／秒などの身体性能測定基準、またはインパクトゾーン、歩行またはせん断などの履物の記録を含む他の種類のデータも、生体測定基準と同期して測定することができ、ビデオに同期して測定することができます。他のデータもまた、ビデオデータと同期して測定することができ、動物のバイオメトリクス（例えば、雄牛の乗馬イベントにおける雄牛の加速度またはピボットまたは降圧、競馬レースにおける心拍数にマッチした馬の加速度など）、および無生物の身体性能メトリクス、例えば回転数／分（例えば、自動車などの乗り物における回転数／分。例えば、自動車、オートバイなどの車両内）、マイル／時（またはそのようなもの）（例えば、自動車、オートバイなどの車両内、自転車など）、またはＧフォース（例えば、ユーザ、動物、および無生物の物体などによって経験される）などの無生物の物体の物理的性能の指標。このデータ（総称して「非ビデオデータ」、これはメタデータ、または非ビデオデータ上のデータを含み得る）のすべては、上述したように、サンプルレートおよび／または少なくとも１つのタイムスタンプを使用して、ビデオデータに同期化され得る。
本発明は、インターネットなどのネットワークと連動して動作する必要がないことをさらに理解すべきである。例えば、図２Ａに示すように、生体情報デバイス１１０は、例えば、心拍数を感知するための無線活動バンドであってもよく、コンピューティングデバイス１０８は、例えば、デジタルビデオレコーダであってもよく、ホストアプリケーション（図示せず）を実行しているホストコンピューティングデバイス１０６に直接接続されてもよく、ここで、ホストアプリケーションは、前に議論したように機能する。この実施形態では、ビデオ、オーディオ、および／または生体情報データは、データがサンプルレートおよび／またはタイムスタンプと同期しているので、（ｉ）リアルタイムで、または（ｉｉｉ）後の時点で、ホストアプリケーションに提供することができる。これにより、例えば、少なくともアスリート、またはスポーツマンまたは女性（例えば、サッカー選手、サッカー選手、レーシングドライバーなど）のビデオを、行動中のアスリートの生体情報データと共に、行動中のアスリートの行動（例えば、サッカーをしている、サッカーをしている、モーターレースをしている、など）を示すことができるようになる（例えば、図７参照）。例示に過ぎないが、これにより、ユーザは、サッカープレーヤがボールをドリブルしたり、ボールを蹴ったり、ボールをヘディングしたりする際に、サッカープレーヤの心拍数７３０を見ることができるようになるであろう。これは、タイムスタンプ７２０（例えば、開始時刻など）、またはメタデータ（例えば、サンプルレートなど）を使用した他のシーケンス方法を使用して、ビデオデータ７１０を生体情報データ７３０と同期させ、ユーザが特定の時刻７４０（例えば、７６秒）でのサッカー選手と、その特定の時刻３４０（例えば、７６秒）での選手に関連付けられた生体情報を表示することを可能にすることによって達成され得る。同様の技術は、他のアスリート、カードプレーヤー、俳優、オンラインガーナーなどの生体情報を表示するために使用することができる。
カメラビューから複数の個人を監視または観察することが望ましい場合、例えば、遠隔の看護ステーションから観察される病棟の患者、またはフットボールの試合のようなスポーツイベントのテレビ放送中に、スポーツフィールド上に複数の選手がいる場合、システムは、被験者が、実用的な距離にわたって生体測定データを送信することが可能なブルートゥースまたは他のウェアラブルまたはＮＦＣセンサ（場合によっては、それらのセンシング能力も、追跡する特定の個人を識別するために位置情報を有効にする）を使用して、そのように構成することが可能である。必要に応じてリレーまたはビーコンと連動して、視聴者は、ビデオまたは放送と並行して、1つまたは複数の個人の生体情報データのいずれを追跡するかの選択を切り替えることができ、また、必要に応じて、可能な場合には、使用されるカメラのビデオキャプチャフィールドの制限内で、ビデオカメラの視野を縮小されたグループまたは特定の個人に集中させることができるようにすることができる。本発明の代替実施形態では、生体情報データの選択は、例えば、ビデオフレーム内の個人の位置（例えば、フレームの中心）、移動速度（例えば、他の個人よりも速く移動する）、またはセンサへの近接度（例えば、個人によって着用されている、個人によって運ばれているボールに埋め込まれている、など）に基づいて、自動的に達成され、これは、遠隔無線周波数信号によって以前に活性化されているか、または活性化されていてもよい。センサの活性化は、個人の生体情報データが受信機に送信される結果となってもよいし、受信機は、送信される他のデータ（例えば、他の個人からの生体情報データ）の中から個人の生体情報データを識別することを可能にしてもよい。
フィットネスまたはスポーツトラッキングの文脈では、個人の活動をビデオでキャプチャすることは、これを行う第三者の存在に依存しないことが理解されるべきであるが、自己ビデオ撮影の様々な方法が想定され得る、例えば、対象者の手首またはボディハーネスに取り付けられたビデオキャプチャ装置、または自撮りアタッチメントまたはジンバルに取り付けられたビデオキャプチャ装置、または対象物（例えば。例えば、自転車のハンドルバーなどのスポーツ機器、バスケットボールやテニスのネット、サッカーのゴールポスト、天井などのスポーツ環境で見られる物体、個人を追跡するドローン搭載カメラ、三脚など）に固定されたものなどである。) そのようなビデオキャプチャ装置は、個人の活動をビデオ化するだけでなく、同時に、個人が目の前で見ているもの、または見ているもの（すなわち、ユーザの周囲）などの別のビューをビデオ化することができるように、１つ以上のカメラレンズを含むことができることにさらに留意すべきである。ビデオキャプチャ装置はまた、凸型ミラーレンズを備えていてもよいし、レンズの前面にアタッチメントとして凸型ミラーを追加してもよいし、完全な３６０度カメラであってもよいし、複数の３６０カメラを連結してもよく、そのような場合には、当技術分野で知られている特殊なソフトウェアの使用の有無にかかわらず、３６０度の全方位ビューまたはサラウンドビューが生成されてもよいし、全軸の３６０全球ビューが生成されてもよい。
拡張現実または仮想現実の文脈では、個人が適切に装備された拡張現実（「ＡＲ」）または仮想現実（「ＶＲ」）眼鏡、ゴーグル、ヘッドセットを着用しているか、またはＡＲ、ＶＲ、または他の合成されたまたは実際の３Ｄ画像をレンダリングすることが可能な別のタイプのビューイングディスプレイを装備している。センサーからの心拍数などの生体情報データと、運動や速度を測定できる加速度センサーなどの適切に装備されたセンサーからの、例えばワークアウトの走りや速度などの他のデータが、個人の視野に重畳されて、個人によって見ることができます。さらに、運動中の個人のアバターを個人の視野の前に重ね合わせて、運動パフォーマンスをモニターしたり、改善したりすることができ、また、運動パフォーマンス（例えば、生体情報データなど）と一緒に（例えば、同期して）自分自身または自分自身のアバターを見ることで、活動の経験を高めることができるようにすることができます。オプションとして、自分のアバターや競合するアバターの生体情報を同時に表示することもできます。さらに（または代替的に）、少なくとも１つの追加のトレーニングアバターまたは競合アバターを個人の視野に重畳表示することができ、これは、競合アバター（複数可）を個人に関連して表示することができる（例えば、以下のようなものである。例えば、個人の前に重畳して表示すること、ユーザの横に重畳して表示すること、個人の後ろに表示すること（例えば、ディスプレイのバックミラー部分など）、および／または個人に関連して表示すること（例えば、ディスプレイのレーダースクリーン部分のブリップスとして表示することなど）など。競合するアバター（複数可）は、友人またはトレーニングの知人のような実在の人物のいずれかであり、ユーザのパフォーマンスを改善または修正するように動機付け、および／または運動ルーチンをより面白くするために使用することができる（例えば、個人が運動またはトレーニング中に、AR、VR、または複合現実（「MR」）環境で「競合」することを可能にすることによって、または、歴史的な場所のような仮想の目的地または場所を、コンピュータモデリングによってスキャンまたは合成的に作成されたような想像上または実在のものを視覚化することによって、仮想的に「ゲーミフィケーション」することによって）。
さらに、追跡され記録されている活動に従事している間にユーザーが露出しているマルチメディア・ソースは、同様に、個人のバイオメトリクス応答の分析および／または相関関係のために、タイムスタンプとともに記録することができるべきである。これを応用した例としては、トレーニング活動を行っているときに特定の音楽トラックを選択することができます。 個人はさらに、パーソナライズされた選択アルゴリズムに基づいて、特定のトラックや音楽の種類を、その人の地理的な位置に基づいて再生することを希望することを指定することができます。あるいは、特定のトラックを聴いていたときの自己実現入力と連動して、過去の生体反応を記録または相関させることによって、トラックまたは音楽の種類を選択することもできる。
生体情報データは、身体運動またはスポーツ活動にリンクされる必要はなく、代わりに、例えば、図３に示すように、健康上の理由または病状、例えば、自宅または病院での健康上の理由、または補助生活環境での高齢者、または別の部屋または場所にいる間に両親によって監視されている睡眠中の乳児など、固定された場所（例えば、個人が遠隔で監視されている場所、またはその後のレビューのために記録されている場所）での個人のビデオと組み合わせてもよいことが理解されるべきである。
あるいは、個人は、公園やショッピングモールの前を通り過ぎたり、その近くを車で走行しているかもしれません。インターネット上、スマート/有効なテレビ、またはスクリーンを組み込んだ他のネットワークデバイス上で、個人（例えば、特定の広告、映画の予告編、出会い系プロフィールなど）が閲覧または対話し、その情報またはコンテンツとの対話が、生体情報データと一緒にビデオで閲覧または記録され、これらのすべてのデータソースは、これらの個々のソースのそれぞれがタイムスタンプなど（例えば、サンプリングなど）されていることにより、レビューのために同期化することが可能である。これにより、第三者（例えば。サービスプロバイダ、広告主、広告のプロバイダ、映画制作会社/プロモーター、出会い系プロフィールのポスター、出会い系サイトなど）が、その応答の分析のために、視聴者による特定のデータの視聴に関連した生体情報データを取得することができ、ここでは、視聴者またはそのプロフィールのいずれかが、第三者のシステムによって任意に識別可能であるか、または視聴者の対話デバイスのアイデンティティのみが知られているか、または生体情報送信者のGPSまたはその他の方法で位置情報を有効にするデバイスから取得することができる。
例えば、広告主または広告提供者は、人々が広告にどのように反応しているかを見ることができ、映画製作会社／プロモーターは、人々が映画の予告編にどのように反応しているかを評価することができ、出会い系プロフィールのポスターまたは出会い系サイト自体は、人々が出会い系プロフィールにどのように反応しているかを見ることができる。また、twitch.tvのようなオンラインゲームやeSports放送サービスのオンラインプレイヤーの視聴者や、テレビ放送やストリーム配信されたオンラインポーカーゲームの視聴者は、参加者の目に見える反応やパフォーマンスだけでなく、主要なビデオソースと同時にアクティブな参加者の生体データを見ることができます。ビデオ／オーディオと同様に、これは、リアルタイムで同期化されるか、または埋め込まれたタイムスタンプなど（例えば、サンプルレートなど）を使用して後で同期化され得る。さらに、顔の表情分析がソースビデオから生成されている場合、例えば、広告メッセージに対する個人の反応を測定する文脈では、ビデオは既にタイムスタンプ（例えば、開始時刻と共に）されているので、顔の表情データは、同様にタイムスタンプおよび／またはサンプリングされている個人の物理的な生体情報データと同期し、相関させることができる。
前述したように、ホストアプリケーションは、複数の機能を実行するように構成されてもよい。例えば、ホストアプリケーションは、ビデオおよび／またはオーディオデータを生体情報データと同期させるように構成されてもよい。これにより、例えば、スポーツイベント（例えば、テレビ、コンピュータスクリーンなど）を見ている個人が、スポーツイベントのプレー中に各選手の生体情報データがどのように変化するかを見ることができ、また、それらの生体情報データの変化を他の選手または他の比較モデルにマッピングすることができるようになる。同様に、医師、看護師、または医療技術者は、その人の睡眠習慣を記録し、その人の生体情報データを監視しながら、その記録を（例えば、テレビ、コンピュータ・スクリーンなどで）見たり、検索したり、または後で確認したりすることができる。システムはまた、機械学習を使用して各患者のプロファイルを構築し、患者の特定の特性（例えば、心拍リズム、呼吸パターンなど）を識別し、測定された特性が異常または不規則に見える場合に、医師、看護師、または医療技術者に通知したり、アラームをトリガーしたりすることができる。
また、ホストアプリケーションは、インターネットなどのネットワークを介して、生体情報データをリモートユーザに提供するように構成され得る。例えば、生体測定デバイス（例えば、血中アルコールセンサを備えたスマートフォン）は、人の血中アルコールレベルを測定し（例えば、人がスマートフォンを介してリモートユーザと話している間）、人の血中アルコールレベルをリモートユーザに提供するために使用され得る。センサを近くに配置するか、マイクに組み込むことにより、そのようなシステムは、親が子供との電話またはビデオ通話に参加することにより、子供がアルコールを飲んだかどうかを判断することを可能にするであろう。当技術分野で知られている異なるセンサを使用して、人の呼気中の異なる化学物質を感知したり、音や速度の変化を分析して人の呼吸パターンを検出したりすることができ、監視側は、対象者がアルコールや他の規制物質を使用しているかどうかを判断したり、他の診断理由のために呼気分析を行ったりすることができます。
システムはまた、例えば血液サンプルの遠隔検査のために、スマートフォンが分析のために検査機関にサンプルを収集して送るために使用されるか、または装置自体の中でサンプルの収集と分析を行うために使用される、いわゆる「ラボ・オン・ア・チップ」（LOC）を装置自体に内蔵するか、または装置に適切なアタッチメントを追加して適合させることもできます。いずれの場合も、システムは、サンプルの収集および／または提出の時点で、タイムスタンプ付きビデオとサンプルの時間および／または位置（またはＧＰＳ）スタンプの同時記録を介して、サンプルおよび分析の完全性と患者の身元の確実性の目的のために、被験者とその血液サンプルの身元が相互認証されるように適合されています。この身元の確認は、遠隔医療の文脈では、規制、記録保持、健康保険上の理由から特に重要です。なぜなら、個人は、これまでは、中央の分析施設にアップロードするため、または装置自体のリモート分析のために、対象者がネットワーク化された装置を使用するのではなく、資格を持ち、規制された医療または研究室のスタッフによって、関連施設の現場で通常行われていた機能を、ますます実行するようになるからです。
これ、または心拍数や血圧などの他の生体データの収集は、飛行機のパイロット、トラックや電車の運転手が、車両や血管を制御できる状態にあるかどうか、または例えば突然の機能不全や心臓発作などを経験しているかどうかを、リアルタイムで定期的に遠隔ビデオ監視を介して確認することが安全上の理由から重要な状況に適用することができます。タイムスタンプ、ジオスタンプ、サンプリングされた生体認証データを提供すると同時に、監視対象者がビデオ撮影されるため、監視対象者や第三者がシステムを「だましたり」「なりすましたり」「迂回したり」する可能性が低くなります。患者/医師の遠隔診察の設定では、システムは安全なビデオ診察のために使用され、規制や健康保険の観点から、診察とその発生は、時間および/またはジオスタンプの検証を通じて検証されます。さらに、より高いレベルの認証が必要な場合には、システムをさらに適応させて、正しい人物が監視されていることを確認するために、顔認識またはバイオメトリックアルゴリズムを使用したり、行動パターンの評価に顔の表情分析を使用したりすることができます。
監視されている当事者が恒久的に監視されることを望まないという懸念（例えば、高齢者が、彼らのあらゆる動きおよび行動が継続的にビデオ化されることを望まない）は、様々な追加機能を組み込むことによって緩和され得る。一実施形態では、ビデオは、予約されたメモリ空間を使用するループシステムで永続的に記録され、所定の時間期間記録され、その後、自動的にビデオを消去し、ここで、ｎは、ループ内の選択された分を表し、Ｅは、記録されたｎ分のループが消去されることを防止するイベントであり、監視当事者がＥに至るまでの物理的症状をレビューすることができるようにするために、監視当事者への監視された人の可視状態または行動のリアルタイム送信の両方をトリガするだけでなく、巻き戻す能力を有する。Ｅのトリガーメカニズムは、例えば、定義された範囲外の生体データの発生、または、高齢者が身につけている健康バンド装置内のジャイロスコープ、加速度計、または地磁気計のような動きまたは位置センサーによって作動される落下警告のような別の異常の通知である可能性があります、例えば、高齢者が身につけている健康バンド装置、または、その近くにある携帯電話または他のネットワーク化された動き感知装置上のジャイロスコープ、加速度計、または地磁気計のような動きまたは位置センサーによって作動されます。監視者は、関連する生体情報データの同時読み出しを得ながら、Ｅ後の監視者の物理的状態を見ることができるだけでなく、イベントトリガー通知に至るまでのイベントおよび生体情報データをすぐに見直すことができるだろう。このシステムの利点には、個人のプライバシーが尊重され、重要なイベントとその前の時間だけが第三者に公開されるため、必要な伝送帯域幅とデータストレージ要件の両方を最適化できることが含まれます。前述のシステムはまた、遠隔の高齢者、乳児、または患者モニタリングのためのＥ通知が、顔の追跡および／または表情認識機能を含むようにさらに適合されるように構成され得ることが理解されるべきである。
ユーザのビデオデータおよび生体情報データが、自分自身、自分自身のデバイス上、または自分自身の外部、または自分自身の安全な第三者の「クラウド」ストレージ上に保存される場合、プライバシーはさらに改善され得るが、ソース材料のインデックスメタデータが、ソースデータの順序付け、外挿、検索、およびソースデータの一般的な処理を可能にし、例えば医療記録の場合には、医院または他の医療施設のような中央サーバに残っている場合には、ユーザのために改善され得る。このようなシステムであれば、被監視者は診察時に映像等のデータにアクセスできるが、映像等は被監視者が保有したままである。利用者のプライバシーやデータの安全性を高めるだけでなく、映像や生体情報のソースデータの保存のホストとデータの処理を分離することのさらなる利点は、対象者と一緒にローカルに保存することで、計算サーバにアップロードする必要がないため、コストの削減とストレージやデータ帯域幅の効率化の両方を実現できることである。これは、対象者とは異なる場所にいる資格のある医療スタッフによるレビューのための検査のリモートアップロードのような種類が、低帯域幅のネットワークカバレッジの領域で発生している場合にも有益であろう。前述したように、正しいタイムスタンプを確認するためのサンプリングレートと一致していることを条件に、ビデオ素材のフレームレートを下げることも選択できます。
情報が中央サーバ（またはホスト装置）に格納されている場合、情報を保護し、不正な個人またはエンティティが情報にアクセスすることを防止するために、当技術分野で知られている様々な技術を実装することができることが理解されるべきである。このように、例えば、ユーザは、ユーザ名、パスワード、および／または他の識別（または認証）情報（例えば、ユーザ・バイオメトリクス、キー・フォブなど）を提供され（または作成を許可され）、ホスト・デバイスは、識別（または認証）情報を使用して情報（またはその一部）へのアクセスを許可するように構成されていてもよい。同様のセキュリティ手順を、医療提供者、保険会社などの第三者に対しても実施することができ、情報が許可された個人または団体によってのみアクセス可能であることを確実にすることができる。特定の実施形態では、認証は、保存されたデータのすべてへのアクセスを許可してもよいし、保存されたデータの一部のみへのアクセスを許可してもよい（例えば、ユーザ認証は、保存されたビデオおよび／または生体認証データと同様に個人情報へのアクセスを許可してもよいが、第三者認証は、保存されたビデオおよび／または生体認証データへのアクセスのみを許可してもよい）。他の実施形態では、認証は、ホストデバイス、またはウェブサイトにログインしている個人またはエンティティがどのようなサービスを利用できるかを決定するために使用される。例えば、ウェブサイトへの訪問者（または非加入者）は、ビデオ／オーディオデータを生体情報データに同期させ、および／または初歩的な検索または他の処理を実行できるだけであってもよく、一方、加入者は、ビデオ／オーディオデータを生体情報データに同期させ、および／またはより詳細な検索または他の処理（例えば、ハイライトリールを作成するなど）を実行できるだけであってもよい。
ストレージおよびデータアップロード効率の利益のために、インデックスメタデータだけを中央サーバに保持すること、および異なるデータタイプの相互運用性のための共通プラットフォームを提供すること、およびユーザ自身のデバイス（例えば、iCloud™、DropBox™、OneDrive™など）にビデオおよび／またはオーディオデータを格納することに利点がある一方で、本発明はそれほど限定されないことがさらに理解されるべきである。したがって、特定の実施形態では、実行可能な場合には、（１）データ（例えば、ビデオ、オーディオ、生体情報データ、およびメタデータ）をユーザのデバイス上に格納すること（例えば、ユーザデバイスがホストデバイスから独立して動作することを可能にすること）、（２）データ（例えば、ビデオ、オーディオ、生体情報データ、およびメタデータ）をユーザ自身のデバイス上に格納することが有益であるかもしれない。ビデオ、オーディオ、生体データ、およびメタデータ）を中央サーバ（例えば、ホストデバイス）に格納する（例えば、ユーザが任意のネットワーク対応デバイスからデータにアクセスすることを可能にする）、または（３）第１の部分（例えば、ビデオおよびオーディオデータ）をユーザのデバイスに格納し、第２の部分（例えば、生体データおよびメタデータ）をユーザのデバイスに格納する（例えば、ユーザのデバイスがホストデバイスから独立して動作することを可能にする）。バイオメトリックデータおよびメタデータ）を中央サーバ（例えば、ホストデバイス）上に保存し（例えば、ユーザデバイスがホストデバイスと通信しているときに、ユーザが同期されたビデオ／オーディオ／バイオメトリックデータのみを表示することを可能にし、ユーザがバイオメトリックデータのみを検索することを可能にする（例えば、「ハイライトリール」を作成するために、ユーザデバイスがホストデバイスと通信しているときに、ユーザが同期されたビデオ／オーディオ／バイオメトリックデータのみを表示することを可能にする。ハイライトリール」を作成するために）または生体情報データのランク付け（ユーザデバイスがホストデバイスと通信しているときに、時系列的に、マグニチュード（最高から最低まで）、マグニチュード（最低から最高まで）、ベストレビュー、ワーストレビュー、最も閲覧されたもの、最も閲覧されたもの、最も閲覧されなかったものなど、データを特定および／またはリストアップするために）を行うことができる。
の貼り付け👇#ref(http://www25.atwiki.jp/monosepia?cmd=upload&act=open&pageid=4557&file=point10_1.gif,width=30)
