読者です 読者をやめる 読者になる 読者になる

ニュースな英語のホンヤクコンニャク

英語のニュースでお勉強。 知らない単語や表現を、こっそり調べてエラそうに説明してみるブログです。 元の記事から数日遅れることもありますので、ニュースとしては役に立たないこともある。IT系・技術系が主たる対象であります。

Live Photoを驚きのGIFに変換するiPhoneアプリをグーグルが作りました

コンピュータビジョン

Google made an iPhone app that turns Live Photos into amazing GIFs

The app will also try to smooth out your shaky shots

あなたのブレてる写真だって、スムーズにしてくれますよ。

https://cdn0.vox-cdn.com/thumbor/we8_MGndE1jj4YRqVc56rpv9tHo=/0x14:480x334/2050x1367/cdn0.vox-cdn.com/uploads/chorus_image/image/49795183/motionstillgif.0.0.gif



My entire picture library is inside Google Photos, which for a long time made Apple's Live Photos feature on my iPhone 6S Plus rather useless. Google didn't support the format until March, so if I wanted to preserve them before then, it required converting each Live Photo to a GIF using a third-party app, saving it to my phone's gallery again, and deleting the original. Then it would get backed up to Google Photos as a GIF, which is something you can share far beyond Apple's ecosystem. That's why I still go the GIF route even now.

私の写真ライブラリ全体はグーグルPhotoにあり、長い間、私のiPhone 6SのLive Photo機能をむしろ役立たずにしています。グーグルは3月までそのフォーマットをサポートしませんでしたので、それ以前にそれらの写真を置いておこうとすると、それぞれのLive Photoをサードパーティ製のアプリを使って、GIFに変換する必要があり、スマホのギャラリーへ保存しなおしたうえで、オリジナルは削除していました。そこでGoogle PhotosでGIFがサポートされ、アップルのエコシステムを超えて、写真を共有できるようになりました。これが私が今でもGIFを続ける理由です。

Until today, I'd been using an app called Lively to handle that flow, but Google just released its own app that does exactly the same thing. It's called Motion Stills, which is a little awkward and contradictory but also a great counter to "Live Photos." Google's approach, developed within the company's research lab, is actually way cooler than a basic Live Photos to GIF converter. Motion Stills uses its own video stabilization algorithms to take what might otherwise be a shaky Live Photo and turn it into a smooth GIF that you'll actually want to see repeat. Like this:

今日まで、私はこの流れを扱うためにLivelyというアプリを使っていましたが、全く同じことが行えるグーグル独自のアプリがリリースされました。これは、Motion Stillsと呼ばれ、少し厄介で矛盾していますが、"Live Photos"への強力な対抗馬でもあります。 グーグルのリサーチ・ラボの内部で開発された同社のアプローチは、Live PhotoからGIFへの基本的なコンバーターよりも明らかにクールな方法です。 Motion Stillsは、それ独自の映像安定化アルゴリズムを使用しており、ブレているLive Photoを、あなたが明らかに繰り返し見たくなるようなスムーズなGIFへ変えています。こんな風に:

https://cdn2.vox-cdn.com/thumbor/whWz3SSbhH0SQLaB9ADBuUi9X1U=/800x0/filters:no_upscale%28%29/cdn0.vox-cdn.com/uploads/chorus_asset/file/6610465/sea.0.gif

How does Google manipulate your original Live Photo and turn it into that? Here's how the blog post explains it:

グーグルは、あなたのオリジナルのLive Photoをどのように操作して、こんなふうに変えているのでしょうか。ブログの投稿では、それが説明されています。

We pioneered this technology by stabilizing hundreds of millions of videos and creating GIF animations from photo bursts. Our algorithm uses linear programming to compute a virtual camera path that is optimized to recast videos and bursts as if they were filmed using stabilization equipment, yielding a still background or creating cinematic pans to remove shakiness.


数億本のビデオを安定化させることで、私達はこの技術を開拓し、写真をバーストする(爆発的に増やす)ことによってGIFアニメを生成しています。 私達のアルゴリズムは、仮想的なカメラの動線を計算するために、リニア・プログラミングを使用しています。 それは、まるでスタビライザー機器を使用して撮影されたかのように写真をバーストし、ビデオを作りなおす為に最適化されています。 ブレを取り除くために、背景を作り出し、映画のパンを生成しています。


Our challenge was to take technology designed to run distributed in a data center and shrink it down to run even faster on your mobile phone. We achieved a 40x speedup by using techniques such as temporal subsampling, decoupling of motion parameters, and using Google Research’s custom linear solver, GLOP. We obtain further speedup and conserve storage by computing low-resolution warp textures to perform real-time GPU rendering, just like in a videogame.


データセンターの中で分散して動作するように設計された技術を得ること、そして、あなたのモバイルフォンでも、より高速に動作するように小さくすることが、私達のチャレンジでした。私たちはモーションパラメータの一次的なサブ・サンプリングやデカップリングのようなテクニックを使うことで、40倍の高速化を達成し、グーグル・リサーチのカスタム・リニア・ソルバーである、GLOPを使用しました。リアルタイムなGPUによるレンダリングのパフォーマンスを出すために、低解像度のワープテクスチャーを計算することで、更に少しスピードアップし、ストレージを節約できたのです。ちょうどビデオゲームの中でやっているような感じです。


https://cdn1.vox-cdn.com/thumbor/N8Xqapv64yBCPti09jJpxiDyvS8=/800x0/filters:no_upscale%28%29/cdn0.vox-cdn.com/uploads/chorus_asset/file/6610453/motionstillgif2.0.gif

There's more to it than that, even. Here's more from Google (emphasis ours):

それについては、まだ多くの事があります。以下はグーグルからの引用です(強調は私達によるものです)

Short videos are perfect for creating loops, so we added loop optimization to bring out the best in your captures. Our approach identifies optimal start and end points, and also discards blurry frames. As an added benefit, this fixes "pocket shots" (footage of the phone being put back into the pocket)


短い映像はループするためには完璧です。だから、私たちはあなたが撮影したものから最高のものをもたらすためにループの最適化を加えました。我々のアプローチは、最適な開始点と終了点を見つけ出し、そして、ぼやけたフレームを捨てるのです。加えられた利益として、これが「ポケットショット」(ポケットに戻されたままのスマホの映像)を固定するのです。


To keep the background steady while looping, Motion Stills has to separate the background from the rest of the scene. This is a difficult task when foreground elements occlude significant portions of the video, as in the example below. Our novel method classifies motion vectors into foreground (red) and background (green) in a temporally consistent manner. We use a cascade of motion models, moving our motion estimation from simple to more complex models and biasing our results along the way.


背景を安定させ続けるために、Motion Stills は、その風景の残りの部分から背景を分離しなければなりません。 これは、前景の要素がビデオのかなりの部分をふさいでいる下の例のような場合には、難しい仕事です。 私たちの独創的な手法は、動きのベクトルを、時間的に一貫した方法で、前景(赤色)と背景(緑色)に分類します。 私たちは、モーションモデルのカスケード、単純なものからより複雑なモデルまでの、動いている私たちの動作の見積もり、そして、その方法に沿って我々の得た結果へのバイアスを用います。


Google notes multiple times that Motion Stills doesn't require any kind of data connection to work; all the processing is on-device. And no, you don't even need a Google account to use it. Once a GIF is made, you can send it to someone in a message, email, or share to another app. And Motion Stills also lets you tack multiple Live Photos together. In that case, it creates a proper movie file (with audio) instead of a GIF. You can do that even if you're converting a single Live Photo, too.


Motion Stillsが動作するために、如何なるデータ接続も必要としないことを、グーグルは複数回、注釈をしています。 全ての処置は機器の上で行われるということです。それどころか、あなたがそれを使うために、グーグルアカウントさえ必要としません。 一度、GIFが作成されたら、あなたはそれをメッセージやメールで誰かに送れますし、また、他のアプリへ共有することも可能です。 そして、Motion Stillsは、あなたが複数のLive Photsを一緒にまとめることも可能にします。 この場合、GIFの代わりに確かな動画ファイル(音声付きの)を生成します。 あなたがたとえ、単一の Live Photosに変換していても、それが可能です。


Motion Photos is available for free from the App Store now. I've only tried it a couple times and don't really have any Live Photos that would seriously test the stabilization, but even so, this app probably just earned a permanent spot on my iPhone. And I'll probably keep Lively around in case Google's stabilization magic does weird things. Either way, to me, GIFs are better than Live Photos — unless you really need the sound.

Motion PhotosはAppStoreから無料で利用可能です。 私は2時間ほど試してみただけで、真剣に安定性を試そうとするLive Photosを持っていません。しかし、そうであっても、このアプリはおそらく、私のiPhoneで恒久的な位置を獲得するでしょう。 そして、私はおそらく、Livelyを、グーグルの安定化の魔法が妙なことになる場合のために維持するでしょう。どちらの方法でも、GIFはLive Photosよりも良いのです ― あなたが、音声を必要としない限り。


www.theverge.com