HEAPSmedia

「深層学習アルゴリズム」が動画を「動く絵画」に変える。

TECH

Photo by Logical Progressions from Flickr

インターネット上にギラギラとした線、目玉、そして薄気味悪い犬の頭が組み合わさったような画像が溢れ返り一躍注目を浴びた。そう、夢に出てくるイメージを絵にしたような何ともっ表現しがたい「あの画像」だ。

動く絵画ができるまで

Photo by gizmag

昨年「Deep Dream Generator」というコンテンツを公開したのはGoogleだ。そして現在ドイツのフライブルグ大学のある研究チームが、芸術作品の表現スタイルを別の画像に取り入れる手法を更に発展させ、そのスタイルを自然な形で動画にも適応させることを可能にしたという。

言い換えると、ゴッホや、ピカソといった有名な画家の独特のタッチを通常の動画に重ね合わせ加工することができるようになったというわけだ。

もともと二つの異なったスタイルの画像を重ね、芸術的表現スタイルと実際の画像との差異のバランスをシステムが自動的に認識し、調整してくれる要素を持った神経系アルゴリズムの研究は存在していた。

従来のアプローチでも動画の各コマを独立した画像として認識し、スタイルを動画内に取り入れることはできたのだが、これだと各コマごとがシステム上繋がって認識されず、乱れた映像になってしまっていた。そこで本チームは、望んだ通りのスタイルに画像が作り直されていく工程に目をつけ、その工程にいくつかの「時間的制約」を取り入れることにしたのだ。

この時間的制約のおかげで、システムが前のコマから次のコマへ移る際に画像が変化することを限りなく抑える。そしてマルチパス・アルゴリズムがそのコマの画像の周りに残る人為的な遺物を取り除いてくれるのだ。

例えば動画内のキャラクターが動き回るシーンでは、彼らの後ろを通過する物体はシステムによって一度記憶される。再度同じ物体が登場する際にシステムが同じ絵をまた始めから作り直すことを避け、絵が隠れる前にどんな形だったか覚えておいてくれるという。

私たちでもつくれる!?

上記の試験例の動画を見てもらえばこの加工の違いは一目瞭然のはずである。また下の3Dの水彩画タッチで描かれた「NYC Flow」の動画は、このシステムが綺麗に機能している例の代表とも言えるであろう。

本アルゴリズムが分かりやすい説明や例と共にGitHubにアップロードされてあるので、興味がある人は一度試してみると良い。自分の動画なのに、まるで自分のものではないような気分を味わえることは間違いない。

Editet by HEAPSmedia

 

 

 

 

この記事が気にいったら、いいね!しよう
HEAPSmediaの最新情報をお届けします!

TAG


アプリで、HEAPSmediaを楽しむ。

どこでもいつでもサクサク快適に“遊び”が見つかる。

HEPASmedia

DOWNLOAD NOW!

アプリ画面

PAGE TOP