デザインツール
アプリケーション

複数ののショットを実現する、1つの完璧なメモリ。

マイクロンテクノロジー | 2020年6月

人の記憶はかけがえのないものです。新型のTVでも、家でも、島でさえも、お金で買うことができます。しかし、ファーストキスで感じたときめきは、お金では買えません。今は亡き祖父母の笑顔も、取り返すことはできません。初めて我が子を抱いたときの喜びや、人生が永遠に変わったという感慨を、呼び戻すことはできません。

それが記憶の本質であり、写真の領域でもあります。私たちの脳は、不完全な記録管理人です。私たちは写真を頼りに人生の細々とした部分を思い出し、曖昧な記憶の周辺をピクセルで満たします。たとえば高校生だったころ、奇抜な髪形にした記憶がある人なら、その姿を再び目にすれば、思春期を懐かしく思い出すことでしょう。どんな感慨を抱くにせよ、卒業アルバムの写真は私たちに何かを感じさせます。

だからこそ、家が火事になったとき、片手に子供を抱きかかえ、もう一方の手に写真アルバムを持って避難する親たちの話をよく耳にします。ありがたいことに、デジタル時代を迎え、容易に画像を保存できるようになりました。高品質な画像を撮影するのも、同じように簡単です。かさばる全自動カメラや高価なフィルムを持ち歩き、現像するためにコンビニエンスストアへ行く時代は過ぎ去りました。今、私たちは、何千枚もの画像を保存できるスマートフォンで写真を撮っています。実質的に無限の容量があるクラウドストレージは言うまでもありません。スマートフォンがあれば、写真を撮り、編集し、現代の写真アルバムと言うべきソーシャルメディアで高品質の画像を共有する作業を、1分未満で行えます。

より良い写真は、より良い(または少なくとも、より正確な)思い出を意味します。本格的に写真を撮る人々は、高価なデジタル一眼レフカメラ(DSLRと言ったほうが通りが良いでしょう)を持ち歩き、レンズを交換し、複雑な絞り設定やスピード設定を駆使しています。プロの写真家や熱心な趣味人であれば、当然、写真撮影にはDSLRを選びます。最高品質のプロフェッショナルな写真は、DSLRカメラで撮影されたものであることに変わりはありません。しかし、日常生活の中で突然出会う、貴重な瞬間を捉える場合は、どうでしょうか? 専門的な写真の訓練を受けたこともなく、スキルもない人を想定してみましょう。スマートフォンを使って、プロに近いレベルの写真を撮ることは可能でしょうか?

「複数のカメラを使い、複数の画像を非常に速く撮影し、自分では何も処理する必要がない。それが当たり前の世の中になっています。」

ラフル・デサイ
Motorola、ソフトウェア製品管理担当ディレクター

現在、Xiaomi Mi 10 Pro™やMotorola edge+™など、最高ランクのスマートフォンには複数のレンズが搭載されており、ミッドズームの切り替えが自動的に行われ、ユーザーがそれに気付くこともありません。どちらのモデルでも、いわゆる「コンピュテーショナルフォトグラフィ」が採用されています。これは基本的に、より高品質な写真を作成するために自動的に設定を適用するスマートカメラを意味します。アルゴリズムを利用して、光量や被写界深度など、さまざまな要因を読み取り、設定を調整します。かつては高価なデジタルカメラと高度なスキルを必要とした処理です。これらのカメラは、ソフトウェアの指示に従って複数の画像を取得し、その中から最良のものを選択します。もみ殻から小麦を取り出すように、必要なものだけが残されるので、ユーザーが削除ボタンを何度も押す必要はありません。

以上は、カメラ付き携帯電話のテクノロジーが短期間のうちにどれほど進歩したかを示す、ほんの一例に過ぎません。そのおかげでDSLRカメラがなくても優れた写真が撮れるようになったと、Motorolaのソフトウェア製品管理担当ディレクター、ラフル・デサイは語ります。

「ポケットの中にあるカメラこそ、最高のカメラだという昔からの格言を、誰もが耳にしたことがあるでしょう。今、ポケットの中には常にスマートフォンがあります」と、彼は言います。「複数のカメラを使い、複数の画像を非常に速く撮影し、自分では何も処理する必要がない。それが当たり前の世の中になっています。」

最新のスマートフォンカメラの機能は、2~3年前のそれをはるかに上回っています。Xiaomi Mi 10 ProおよびMotorola edge+には、通常DSLRにはないソフトウェアが搭載されています。ナイトモード、パノラマ設定、ドキュメントモード、複数の画像をスタックして最良の写真を作成する機能などです。また、どちらも人工知能(AI)を利用して、ユーザーの好みに合った画像を判別できます。

インフォグラフィック:スマートフォンで写真を撮影すると…… インフォグラフィック:スマートフォンで写真を撮影すると……

Xiaomi Groupのバイスプレジデント、チャン・チェンによると、その結果、普通の人々の写真スキルが急速に向上しています。

「良い写真を撮るにはどんなタイプの光が必要で、どんな構図を使用すべきか、平均的なユーザーが知る必要はありません」と、チェンは言います。「1回タップするだけで、高品質な写真を簡単に撮影できます。」

私たちのポケットの中にあるカメラは、驚嘆すべきテクノロジーの結晶です。よく目にするような低光量写真や、極端なクローズアップ画像を撮影するには、最先端のカメラハードウェアと非常にスマートなソフトウェアが必要です。ただし最も重要なポイントとして、「脳」と「体」の連携が必要です。MotorolaとXiaomiのスマートフォンカメラで、それがどのように実現されているか、見ていくことにしましょう。

スマートフォンに搭載されたレンズが増え、写真用具がすべて不要に

スマートフォンは、薄くて当たり前と思ってしまいがちです。Motorola edge+には、3枚のレンズがあります。Xiaomi Mi 10 Proには、4枚です。どちらも低光量環境で高品質な写真を撮影できる、十分な大きさのセンサーが備わっています。かつてのスマートフォンは、限られた範囲の深度で良い写真が撮れるようになっていました。現在、edge+を使用すると、遠距離からパノラマ風景写真を撮ることも、2センチメートル以内の至近距離で被写体のクローズアップ写真を撮ることも可能です。

夕暮れ時に照明の点いた橋を背景にした川の写真 夜間に橋を撮影した低光量写真を、2014年の最上位スマートフォンで撮影したもの(上)と、2020年のMotorola edge+で撮影したもの(下)を比べれば、センサーの大型化とコンピュテーショナルフォトグラフィ技法によって、わずか6年前には不可能だったショットが撮れるようになったことが具体的に見て取れます。

数年前、スマートフォンメーカー各社が複数のレンズを搭載し始めたとき、一部の人々からは単なる宣伝用のギミックだと言われたと、Motorolaのイメージハードウェアエンジニアリング担当ディレクター、マット・ビガースタッフは言います。ところが、そうした見方はすぐに消滅しました。カメラバッグ1つ分に匹敵する重装備が、ポケットに収まるようになったことをユーザーが認めたからです。

「今のスマートフォンは、さまざまなレンズと複数の焦点距離のあるDSLRを手本とするようになっています」と、彼は説明します。「これらはすべて目的が異なり、目の前にある画像を捉えるうえで、どれも非常に重要です。」

メモリの大容量化によって実現される優れた画像 — しかも高速!

カメラの機能が高度化すると、撮影および編集アプリケーションをスムーズに実行するために、より大容量のDRAMが必要になります。そこでマイクロンの登場です。Xiaomi Mi 10 ProとMotorola edge+は、どちらもマイクロンの次世代の低消費電力DDR5 DRAM(LPDDR5)を最大12ギガバイト搭載しています。これは一部のデスクトップコンピューターを上回る数字であり、AIなどの高度なアルゴリズムをカメラに搭載できる演算パワーをスマートフォンに与えています。5G接続の出現とともに、より大きいDRAMをスマートフォンに搭載する必要性がさらに増しています。2018年から2020年までの間だけでも、最上位のスマートフォンに搭載される低消費電力DRAMの容量は、8GBから16GBへと倍増しています。

「マイクロンのブランドとマイクロン製のLPDDR5メモリは、最上位のテクノロジーとして広く認識されています。」

チャン・チェン
Xiaomi Groupバイスプレジデント

マイクロンのLPDDR5 DRAMは、前世代と比べて50%速く、消費電力は最大20%低いため、さらなるカメラ機能の向上と、よりスマートなプログラムへの扉が開かれています。

「Xiaomiは、最初にLPDDR5メモリを採用したメーカーの1社でした。これによって強力な技術的基盤が確保され、効率的かつ利便性の高いユーザーエクスペリエンスが提供されています」と、チェンは述べています。「それと同時に、Xiaomiの最上位製品、マイクロンのブランド、およびマイクロンのLPDDR5に対する熱狂的な支持が続いており、これらは最上位テクノロジーとして広く認識されています。」

Motorola edge+では、メモリの一部をカメラおよびカメラオペレーション専用に予約済みです。そのため、大量のデータ処理中でも、ユーザーエクスペリエンスに問題が生じないことが保証されます。

「キビキビした動作を保つため、メモリを確保しています」と、ビガースタッフは言います。「場合によっては、27メガピクセルのネイティブ解像度で、最大12フレームをスタックすることもあります。DRAMの観点で、これはかなり集約的です。このようにしてユーザーは、最良の画像が得られるだけでなく、可能な限り速く得ることができます。」

5Gの出現によって、非常に強力な画像処理ソフトウェアがクラウドに配置され、スマートフォンが解放されるようになるでしょう。

今まで、スマートフォンはその物理的なサイズが制約要因でした。しかし近い将来、5G接続が主流になると、状況は変わると予測されます。最も難しいデジタル処理をスマートフォン本体に組み込むのではなく、クラウドに移行することが可能になるからです。(Motorola edge+およびXiaomi Mi 10 Proは、すでに5Gに対応しています。)

スマートフォンの場合、スペースにも、バッテリー駆動時間にも限界があります。低消費電力のDDR5 DRAMを使用しても、スマートフォンはまだスーパーコンピューターではありません。一方、スマートフォンをクラウド/5Gネットワークと組み合わせれば、サービスプロバイダーによって割り当てられた量のスペース、電力、演算パワーを費やせるようになります。5Gは4Gと比べて最大20倍速いことが約束されており、毎秒20ギガビットの速さでクラウドを出入りするデータの量が増加します。つまり、次世代のコンピュテーショナルフォトグラフィは、クラウドのパワーをより効率よく利用できます。したがってMotorolaでは、スマートフォンのリソースを使わずに、12枚の画像をスタックできるようにする計画です。おそらく将来的にはさらに多くの画像が、より複雑な写真アプリケーションの一環として、スタック可能になるでしょう。

2020年のXiaomi Mi 10 Proで撮影した花の写真 コンピュテーショナルフォトグラフィの技法を使用すると、お気に入りの公園に咲いている色鮮やかな花のダイナミックな写真を撮ることができます。上の写真は、2014年の最上位スマートフォンで撮影したものです。ハイライトの部分が露出過度になっている点に注目してください。やや不鮮明な背景(ボケ)は、従来通りの機械的な手段によって作られています。下の写真(2020年のXiaomi Mi 10 Proで撮影)には、コンピュテーショナルフォトグラフィの技法が使われており、ハイダイナミックレンジ(HDR)手法によって複数の画像を組み合わせ、最適な露出を達成するとともに、花に焦点を合わせるため、背景を人工的に不鮮明化しています。

5Gの出現によって、コンピュテーショナルフォトグラフィへのAIという関門が開かれると、チェンは述べています。現在のスマートフォンに搭載されているアルゴリズムは、多くのスマートな処理を実行します。今後のスマートフォンは、各ユーザーに合わせて忠実に機能を調整するようになるでしょう。それが、AIによって解き放たれるパワーです。

「スマートフォンでは実行できない、あるいは実行するのが難しいAIオペレーションを、クラウドに送信できます」と、チェンは言います。「高速・低レイテンシーの5Gネットワークと、より強力なコンピューティング、高速伝送の助けを借りて、モバイルフォトグラフィをさらに高いレベルに引き上げることができます。」

写真の構図を理解するための中核的な概念である、三分割法に基づいた画像の歪み矯正やトリミングの提案などのAI機能は、現時点で使用可能です。ほとんどの人は、美しい花火を撮ったつもりなのに、ひどい写真になってしまった経験があるのではないでしょうか。コンピュテーショナルアルゴリズムは、難しい写真環境を認識し、見映えのする画像になるように設定を調整します。

デサイは次のように説明します。「[AIを使用すると] 撮影対象が花火か、そうでないかをインテリジェントに判別できます。ナイトビジョンの場合、複数のフレームをスタックすることで、夜間でも明るい画像が得られますが、花火の写真を撮るときは、この機能がトリガーされないようにする必要があります。意味不明な写真になるからです。そのため、バックグラウンドでそれをチェックする、プライオリティアルゴリズムがあります。」

ただし、これはほんの始まりに過ぎないとデサイは言います。クラウドによって、コンピュテーショナルフォトグラフィは数年以内に新たな高みに達すると予測されます。

「画像全体をクラウドに送信し、補正することが可能です」と、デサイは述べています。「ユーザーは必ずしも自然な写真を好んでいるわけではありません。より強烈な、人工的とも言われるような、迫りくるような画像が好まれます。クラウドで、そうした処理を施すことが可能です。」

特別な思い出を残す ― コンピュテーショナルフォトグラフィで

古い写真アルバムは、記憶を長くとどめるための記録です。祖父母や子供の写真は、人生のさまざまな時期を振り返るよすがになります。このような過去とのつながりは貴重です。たとえ写真が良くなくても、多くの場合、その貴重さに変わりはありません。露出がオフになっていたり、親戚の1人がフレームから外れていたり、シャッターを切った瞬間に目をつぶる人がいたり、年月とともに黄ばんでしまった写真でも同様です。私たちは不完全な写真を受け入れてきました。ほとんどの人は優秀なカメラマンではないし、時間が経つにつれて媒体は物理的に劣化するものだからです。

2014年の最上位スマートフォンと、2020年のXiaomi Mi 10 Proで撮影した同じ写真の比較 ポートレートモードでは、記憶にとどめたい人物に焦点を合わせ、背景を人工的に不鮮明にするコンピュテーショナルフォトグラフィの技法が用いられます。上の写真は、ポートレートモードが標準機能になる前に製造された、2014年の最上位スマートフォンで撮影したものです。下の写真は、2020年のXiaomi Mi 10 Proを使用し、ポートレートモードで撮影したものです。

撮影の日時や場所に関するメタデータを含むデジタルファイルは、クラウドでバックアップされており、火事で焼失することはありません。コンピュテーショナルフォトグラフィは、私たち全員を腕利きのカメラマンにしてくれます。つまり、夕暮れ時に玄関で撮った素敵な写真に写っている祖母は、記憶に残したいそのままの顔で、目を開いています。

スマートフォンのおかげで、より充実したビッグな人生を歩めるわけではありません。その部分は私たち次第です。しかし、スマートフォンと進歩するテクノロジーによる高品質な画像は、人生のさまざまな瞬間を思い出すのに役立ちます。それはかけがえのないものです。

比較用の写真は、トム・ディギウルコが撮影しました。MotorolaおよびXiaomiは、各ブランドの登録商標です。マイクロン・テクノロジーは、MotorolaおよびXiaomiの両社と個別に商取引を実施していますが、どちらの会社の株も所有していません。MotorolaおよびXiaomiからの引用は、引用の対象となった個人の見解であり、必ずしもマイクロン・テクノロジーまたは該当各社の見解を反映しているわけではありません。5Gネットワークは、地域によっては使用不可能な場合があります。