V7は、10倍の長さと700倍のアノテーションを持つビデオファイルを扱うことができるようになりました！アノテーション・インターフェイスとバックエンドのビデオ処理を更新し、ビデオデータセットをより直感的、高速、柔軟に扱えるようになりました。
手術のビデオから自動チェックアウトまで、ビデオ映像はAIモデルを開発するための最適なトレーニングデータの一つです。動画は、動きの追跡などのコンピュータビジョンタスクに必要なデータポイントと時間的なコンテキストを提供します。
広範囲にわたる改革の一環として、V7では1時間以上のビデオを扱うことができるようになりました。
これを数字で表すと、V7のビデオは今までの10倍の長さになり、700倍のアノテーションをサポートし、アノテーションをより効率的に行うためのユーザーインターフェースが再設計されました。
最新のアップデートでは以下の3つのキーエリアに焦点を当てています：
- ビデオの長さと品質
- アノテーション総数
- ユーザー・インターフェース
長時間ビデオのサポートは現在機能フラグの背後にあり、ベータ ユーザー向けに展開されています。
主な違いとは？
大規模で密にアノテーションされたビデオファイルのラベリングは、それらを短いクリップに分割するか、あるいはさらに悪いことに、フレームを表す個々の画像上でラベリングする必要がありました。V7の新しいアプローチは、その場で動的にフレームを抽出するYoutube/Netflixに沿ったものです。
その結果、このアップデートにより、クリップに分割することなく、より長いビデオファイルを扱うことができるようになりました。標準的なビデオフレームレートが24フレーム/秒であるため、V7は、ネイティブフレームレートでアノテーションを付けながら、1時間以上のビデオを扱うことができます。監視カメラの映像など、通常フレームレートが低下するユースケースでは、フレームアノテーションレートを1 FPSに減らすことで、24時間のクリップをデータセット内の単一ファイルとして利用することができます。さらに、これにより、ストレージ・コストが9-10倍削減されました。
この映像はデフォルトの速度である1FPSでインポートされ、アノテーションが付けられましたが、ネイティブフレームレートでプレビューすることができます。
一番の利点は、アノテーションパネル内で、ネイティブフレームレートで全体の映像をプレビューできることです。FPSパラメータはアノテーションの頻度を指し、主にタイムラインの挙動に影響を与えますが、ビデオ自体の実際のフレームレートを減らすことはありません。
すべてがリアルタイムで動的に処理されるようになったため、全体的なパフォーマンスが向上し、タイムラインにもっと多くのアノテーションを追加することができます。アップデート後、V7はビデオごとに最大70万アノテーションと600万のキーフレームを保存することができます。
インターフェースと再生ヘッド自体が再設計され、ビデオ内の現在のアノテーションフレームが表示されるようになりました。タイムラインは、処理済みのフレームと未ロードのフレームを区別し、異なるシェーディングで示されます。ズームインやズームアウト、デフォルトのアノテーションの長さの設定、またはキーフレーム間で自動アノテーションを作成するための補間などの機能を引き続き利用することができます。
長いビデオのアノテーション方法
一般的なプロセスは通常のビデオと同じです。ただし、以下で議論されるいくつかの追加的な考慮事項がありますので、それらに対処するために標準的な設定とフローを順を追って確認していきましょう。
ビデオファイルのアップロード
データセットパネルに移動し、新しいデータセットを作成します。ビデオファイルをドラッグアンドドロップします。対応しているビデオフォーマットは.avi、.mkv、.mov、.mp4です。アノテーションの頻度を指定するポップアップウィンドウが表示されるはずです。
先述の通り、このパラメータは元の/ソースビデオファイルのFPSレートを下げるものではなく、ビデオクリップの長さをタイムラインにマッピングする方法を変更します。このパラメータは、アノテーションを追加できるフレームの数に対応しています。
アノテーションクラスの作成とワークフローの設定
コンピュータビジョンのビデオプロジェクトの大部分は、タグ、バウンディングボックス、またはポリゴンまたはピクセルに基づくセグメンテーションマスクを使用します。新しいユースケースや、単一のビデオで作業する場合に手動でビデオをラベル付けしたい場合、または作業が手間のかかるタスクである場合、複数のアノテーターチームに作業を分割することができます。これは、特定のユーザーにアノテーションタスクを割り当てるか、ワークフローデザイン（例えば、サンプリングステージ）で自動化することで実現できます。
AIアノテーションツールを使用して作業をスピードアップ
Auto-Annotateツール、SAM、または外部モデルを使用することで、アノテーションの効率を大幅に向上させることができます。オープンソースのモデルや、V7内で利用可能なパブリックモデルを使用して解決できるコンピュータビジョンタスクは多数あります。AIを使用して映像に事前にラベルを付け、AIで生成されたラベルに追加のプロパティや属性を追加することで、アノテーションの品質を向上させることが可能です。
アノテーションのレビューと結果のエクスポート
V7では、共同作業でアノテーションプロジェクトを完了させ、アノテーターにフィードバックを与え、QAプロセスを設定することができます。トレーニングデータの品質を優先したい場合は、1つまたは複数のレビューステージを含めることを検討してください。ファイルが最終レビューステージを通過すると、対応するアノテーションを含むDarwin JSONファイルをエクスポートすることができます。
長い動画の場合、データをエクスポートする際には必ずDarwin JSON 2.1形式を使用してください。