ディープラーニングで映像をスーパースローモーション化！NVIDIAが開発
グラフィックボードでお馴染みのNVIDIAが、ディープラーニングで通常の映像をスーパースローモーション化する技術を開発。
デモ映像が公開されています。
ディープラーニングで映像をスーパースローモーション化
Research at NVIDIA: Transforming Standard Video Into Slow Motion with AI
このディープラーニングを使ったスローモーション技術の凄い所
nvidiaによると、ディープラーニングを行う事でパフォーマンスの面で同じ用途の様々な最先端手法を凌いでいるとの事。
研究論文では『人生には、わが子が初めて歩いた瞬間、スケートボードの高難度トリックが決まった瞬間、犬がボールをキャッチした瞬間など、肉眼ではっきりととらえることが難しく、スローモーションで撮影したくなる記念すべき瞬間が幾度も訪れる。
携帯電話で 240 フレーム/秒の動画を撮影することは可能だが、すべてを高フレーム レートで撮影するとモバイル デバイスのメモリを圧迫し、バッテリを大量に消費するため現実的でない』と説明しており、この最新研究により、撮影された映像からスローモーションを生成する事が可能になるとの事。
ディープラーニングフレームワークを使用して、約11,000本もの秒間240コマで撮影された日常やスポーツに関する映像を学習させました。
その後、ニューラルネットワークよ追加フレームを予測させたとの事。
所感
最近のテレビにも通常秒間30コマの映像を秒間240コマ相当に補完してなめらかに表示させる技術があります。
それとの違いはよく分かりませんが、ラケットのガットでゼリーが分裂する映像を見ると、処理速度面だけでなく精度も向上しているのかもしれません。
高スペックなスローモーションカメラ等を使わなくてもこういうスローモーションを再現出来ると、映像表現の幅の広がり、資料映像への活用化、また必要機材の低コスト化なんかにもつながるかもしれませんね。