動画向け手ブレ補正技術「MovieSolid®」

匠のヒラメキで、世界が認める製品を

動画向け手ブレ補正技術「MovieSolid」は、モルフォの創業年からある主力製品であり、現在はスマートフォン領域を中心に提供しています。
「MovieSolid」の開発担当者に、開発秘話や製品の特長に加え、イメージングAIの可能性まで幅広く話を聞きました。

モルフォ内での役割

こんにちは、CTO 室シニアリサーチャーの佐藤真希です。まず私の仕事内容ですが、主には動画系製品の研究・開発に携わっています。動画系製品というのは、例えば以下で話す手ブレ補正技術「MovieSolid」であったり、フレームレート変換技術「Morpho Frame Interpolator™」などのことです。また、社内の動画系技術開発チームの取りまとめもおこなっています。

元々大学院では、仕事とは全く関係のない宇宙論の研究をしていました。物理や数学の博士課程出身者がベンチャーや大手企業に就職して画像技術に携わるのは昨今珍しい話ではありませんが、私が入社した2011年はディープラーニングブーム前夜で、今よりは珍しかったと記憶しています。

動画向け手ブレ補正「MovieSolid」について

次の動画を見てください。左はスマートフォンによって撮影された動画で、右はそれに MovieSolid を適用したものです。このように、手ブレを抑えて動画を滑らかにする技術が MovieSolid です。

MovieSolid は、画像内の領域をうまく切り取ることで電子的に手ブレを打ち消しています。このような手法を、電子式手ブレ補正と呼びます。また、レンズを機械的に動かすことで手ブレを抑制する、光学式手ブレ補正という手法もあります。光学式に対する電子式の最大の利点は、特別なハードウェアを必要としない点で、安価な製品にも搭載することが可能です。欠点は、性質上かならず画像を切り取る必要があり、有効画角が狭くなってしまうことです。

このような電子式動画手ブレ補正の製品を提供している会社は他にも数社あります。それらの競合製品に対する MovieSolid の優位性ですが、1つは、広い状況に対応できるということが挙げられます。光学式手ブレ補正が動作していても、レンズに歪みが含まれていても、途中でレンズが切り替わっても、ズーム率が大きく変わっても、問題なく動作させることができます。

この製品自体は入社前から存在していたもので、入社後1年程たった時点で引き継ぎました。引き継いだといっても前任者もおらずコードだけがある状態で、そのコードもとても素晴らしいとは言えない代物でした。そこで、いったん全部消去してゼロから作り直したので、自分で作った製品と言っても間違いではないと思っています。それ以降、基本的な開発は一人でおこなっています。また、MovieSolid 担当であるということで、ノイズ除去技術 Morpho Video Denoiser などの関連する動画アルゴリズムを実験的に新規開発してみたり、営業等から開発を依頼されたりすることが増えていき、いつの間にか動画技術担当になっていました。

MovieSolid を含めた動画製品開発の面白い点を紹介します。リアルタイムで動画を処理する場合、例えばフレームレートが標準的な 30 FPS だとすると、1枚のフレームに対する処理は、何があっても 1/30 秒以内（実際にはもっと早く）に完了しないといけません。どんなに気が利いた素晴らしいアルゴリズムであっても、処理にかかる時間が 1/30 秒より遅いと、誰にも見向きされません。加えてモバイル向けだと、計算資源も限られてきます。限られた時間、限られた計算資源でよい製品を作ろうとすると、ヒラメキがものを言う世界になります。「この限られた条件下でよい結果を得るには、どういう処理をすべきなんだろうか？」と考えるのは、ある種のパズルのようでとてもワクワクします。

この MovieSolid、最先端のアルゴリズムというよりはむしろ職人芸に属するもので、そこが個人的に気に入っている部分でもあります。とはいえ、機械学習等も取り入れていかないといけないと考えています。もちろん、手ブレ補正を全て機械学習に任せるのは（現状ではまだ）ナンセンスではありますが、ポイントを絞った上手い使い方というのはあるはずで、今後はそのあたりを探っていきたいと考えています。

テクノロジー全般やイメージングAIの可能性

話は飛びますが、多くの物理学者は、モデルを作ったり計算したりすることが楽しいから物理を研究しているのではなく、第一義的には宇宙の法則を知りたいとか、ある現象を説明したいからやっているんだと思います。つまりこの場合、主な興味は目的であって手段ではありません。

これは物理学者に限った話ではなく、目的に興味があるから仕事をしている人は多いと思います。また逆に、目的そのものには興味はないけれど手段としての計算や開発が楽しいから、という理由でやっている人も多いと思います。私は後者です。これを言うと怒られるかもしれませんが、「テクノロジー全般について」や「イメージング AI の可能性」と言った大きな話に対しては、語るべき何かを持っていません。言うまでもないことですが、理想を語ることや目標を持つことは重要です。重要ですが、みんながみんな理想を語っていても疲れてしまう気がします。「こんな人も働いているんだな」と、モルフォという会社の文化に興味を持ってくれる人がいれば嬉しいです。

ただ、機械学習に関しては考えざるを得ない面があります。個人的には目的よりも手段そのものに興味があると言いましたが、そこに問題があるからです。昨今、この手段の部分が急速に機械学習に置き換えられているように感じます。目的に興味がある人にとってはこれは純粋に喜ばしいことかと思いますが、手段に興味がある身としては脅威でもあります。機械学習が色々な分野に急速に食い込んできている世の中で、どのようにすれば画像処理で自分の存在を示していけるのか、最近はよく考えています。