このサイトは、お客様へのサービス向上などの用途でCookieを使用しております。
詳細はこちらをご参照ください。

Featuring Technology

  1. HOME
  2. Featuring Technology:PhotoSolid

静止画向け手ブレ補正技術「PhotoSolid®」

日々の研究開発が生んだ、
業界最高レベルの画像処理技術

静止画向け手ブレ補正技術「PhotoSolid」は、モルフォの創業年からある主力製品であり、現在はスマートフォン領域を中心に提供しています。
「PhotoSolid」の開発担当者に、開発秘話や製品の特長に加え、画像処理とAIとの連携に関することまで幅広く話を聞きました。


株式会社モルフォ CTO室 シニアリサーチャーの小林です。私は2011年に博士課程修了後モルフォに入社し、現在ではPhotoSolidやHDRなど、静止画向けの画像処理技術の開発責任者を務めています。

私がPhotoSolidに関わり始めたのは2016年からで、先代の責任者から開発を引き継いだのが始まりです。引き継いだ当時のPhotoSolidの社内メジャーバージョンは4でしたが、その後私がスクラッチからコードを書き直し、バージョン5を開発しました(ちなみに、現在の最新バージョンは6です)。書き直しとは言っても、基本的なコンセプトは前バージョンのものを踏襲しながら、コードを整理したり、課題となっているアルゴリズムを改良したりといった開発が中心で、製品全体としてはそれほど大きく様変わりしているわけではありません。

さて、PhotoSolidは2004年にモルフォが初めて発表した製品となります。当時、社長の平賀はPhotoSolidをデジタルカメラ向けに開発しましたが、実際にはデジタルカメラ業界からの需要は無かったようです。そこで改めてフィーチャーフォンのメーカーに紹介したところ興味を持ってもらい、初めての採用に繋がりました。これが携帯電話向け画像処理ソフトウェア開発企業としてのモルフォのスタート地点と言えます。その後、2010年頃からフィーチャーフォンはスマートフォンに取って代わられましたが、PhotoSolidは世界中のスマートフォン向けにも広く採用され続け、現在でもモルフォの売上の多くを占めるロングセラー製品となっています。

PhotoSolidの提供する価値は、「手ブレやノイズのない鮮明な画像を生成すること」にあります。一眼レフカメラをお持ちの方は良くご理解いただけるかと思いますが、手ブレとノイズは相反する性質を持つ画像の劣化現象です。携帯電話向けに限らず、カメラとは入射する光の量を測定する機器です。すなわち、入射する光が多いほど撮影された画像は明るくなり、光が少ないほど暗くなります。夜景など、暗いシーンを撮影する場合には、入射する光に比べてノイズが多くなるため、得られる画像もノイズが多く汚いものになります。

入射する光の量を増やすためには、①カメラセンサーを大きくする ②レンズを高性能なものにする ③撮影時のシャッター速度を遅くする、といった選択肢がありますが、①と②はカメラの仕様が決まってしまうと変更することはできません。また、特に携帯電話に搭載されるセンサーやレンズはデジタルカメラと比べるとサイズの制約が強かったり、性能が劣ることが多く、そのため、当時の携帯電話で撮影された画像の画質は、デジタルカメラで撮影されたものとは比較にならないものでした。一方、③のシャッター速度を遅くするという方法では、撮影時にセンサーに入射する光が増えるため、より明るくノイズの少ない画像を得ることができます。しかし、シャッター速度を遅くするほど、撮影時のカメラの振動、すなわち手ブレによって、画像が全体にボケてしまいます。したがって、シャッター速度を無闇に遅くすることはできません。

PhotoSolidはこの相反する性質に対し、「シャッター速度が速く、手ブレの少ない画像を複数枚撮影し、それらを合成することによりノイズを低減する」というアプローチにより画質の向上を実現しています。画像中に含まれるノイズは、連写によって複数枚得られた画像の平均を取ることによって減らすことができます。一言で言ってしまえばPhotoSolidの機能はこれに尽きますが、実用においては様々な問題が生じます。例えば連写中にもカメラはわずかに手ブレで動きますし、撮影する対象も常に静止しているとは限りません。もし位置がずれた画像を合成してしまうと、像が何重にもブレた結果となってしまいます。このような画質の劣化を避けるため、合成するべき場所だけを選択してノイズを減らすための工夫が製品内部に凝らされており、それこそがPhotoSolidの製品力の源泉と言えます。

スマートフォンが世に現れてから10年強が経ちましたが、スマートフォン自体の進化と共に、画像処理技術も日々進化を続けています。例えば、これまで我々はハードウェア側で処理がある程度施された画像を入力として受け取って、画質向上を行ってきました。しかし、これからはカメラセンサーから出力された直後の画像に対して、直接ソフトウェアによって画質向上を行う重要性が高まってきています。このため、チップセットベンダーとの協力体制を強化し、技術的に連携することにより、さらに高度な画像処理技術の開発を進めています。

また、昨今では様々な用途に用いられているAI技術を、画像処理に応用することも重要な課題の1つです。人間の視覚特性や趣向は、必ずしも光学的な特性と一致するとは限らず、何らかの意味情報に影響される場合があります。このような意味情報の解析はAIが得意とするところであり、またモルフォは画像向けのAI技術を長年開発してきているため、AIとの連携によるさらなる画質の向上が期待されています。

モバイル端末向けの画像処理技術は、まさに日進月歩の世界です。今では、日常生活だけでなく、旅行などのイベントの際にも、デジタルカメラは持ち歩かずにスマートフォンだけで満足する人が増えてきています。私たちはこれからも画像処理技術の進化に貢献し、誰もが手軽に感じたままの美しい画像を残したり、あるいは目に見える以上に美しい画像が生み出せるような感動に満ちた世界の実現を目指していきます。