思い出は、何物にも代えがたいもの。お金があれば新しいテレビや家、さらには島だって買うことができますが、ファーストキスのあの高揚感はお金で手に入るものではありません。亡くなった祖父母の笑顔を撮影することも、初めて自分の子どもを抱いて人生の途方もない変化に気付く喜びをもたらすことも、お金にはできません。
それが思い出であり、写真の領域です。私たちの脳は物事を完璧に覚えておくことができません。日常の細かな出来事を思い出したり、曖昧な記憶をたぐり寄せたりするには、写真が頼みの綱となります。自分が高校時代にしていたおかしな髪型も、再び見ることで自分の反抗期を思い出して懐かしいと感じるかもしれません。卒業アルバムの写真を見れば、どのような気持ちであれ何かぐっと来るものがあるでしょう。
家が火事になった時にご両親が片脇に子どもを、もう一方にアルバムを抱えて逃げ出したという話を耳にするのは、そういうわけです。幸いこのデジタル時代においては、画像の保存も、より良い画像の撮影も簡単になっています。重くかさばるオートフォーカスカメラや高価なフィルムはなくなり、現像のために専門店へ行く必要もありません。今や、スマートフォンで撮影した写真はそのままデバイス内に数千枚は保存できますし、クラウドストレージのおかげで容量を気にせず実質的に限りなく使い続けることも可能です。スマートフォンがあれば、画像を撮影・編集し、現代のフォトアルバムすなわちソーシャルメディアで高画質の画像をシェアすることが、1分もかげずにできるのです。
写真が良くなれば、思い出も良くなるとまではいかなくとも、より正確なものとなるでしょう。本格的な写真家は高いデジタル一眼レフカメラを持ち運び、レンズを交換し、絞り値やシャッタースピードの複雑な設定を調整します。もちろん、プロの写真家や愛好家たちが写真撮影のために選ぶカメラはデジタル一眼レフですし、プロが撮影した最高画質の画像もデジタル一眼レフで撮影したものです。しかしデジタル一眼レフで、日常生活に突然訪れる貴重な体験を捉えることはできるでしょうか。専門的な写真撮影のトレーニングを受けたこともなければスキルもない一般の私たちに、デジタル一眼レフカメラは使いこなせるでしょうか。スマートフォンでプロレベルに近い写真を撮ることはできるでしょうか。
Xiaomi Mi 10 Pro™やMotorola Edge+™をはじめとする最高級のスマートフォンには、ユーザーが気付かない間に中望遠ズームを切り替える複数のレンズが搭載されています。どちらにもいわゆる「コンピュテーショナル フォトグラフィ」という技術が採用されており、基本的にはスマートフォンが高画質の写真を作成する設定を自動的に適用します。かつては高価なデジタルカメラと熟練カメラマンを必要としていた設定を調整するために、アルゴリズムがライトや被写界深度などの情報を確認します。これらのスマートフォンはソフトウェアの機能により何枚も画像を撮影し、その中からベストショットを選び出してくれます。しかもユーザーはその間、何度も削除ボタンを押す必要がありません。
「これはほんの一例に過ぎません。実際、カメラ付きスマートフォンの技術は短期間で飛躍的な進歩を遂げたのです。おかげで、デジタル一眼レフがなくてもより良い写真を撮ることができるようになりました」と、Motorolaソフトウェア製品管理担当ディレクター、ラーフル・デサイ氏は語ります。
「英語圏では『最高のカメラは自分のポケットに入っているもの』という古いことわざがよく知られていますが、今の時代ポケットに常に入っているものはスマートフォンです。人々が望むことは、マルチカメラで複数の画像を素早く撮影し、手動の処理を一切行わずに仕上げることです」
最新スマートフォンに搭載されているカメラ機能は、数年前と比べてもはるかに優れています。Xiaomi Mi 10 ProとMotorola Edge+はどちらも、一般的にデジタル一眼レフには搭載されていないソフトウェアをセールスポイントとしており、ナイトモードやパノラマ設定、ドキュメントモード、ベストな写真を作成するために複数の画像を重ね合わせる機能などを備えています。そしてどちらも人工知能（AI）を駆使し、ユーザーが好む画像を特定します。
Xiaomiグループのバイスプレジデントを務めるチャン・チョン氏は、結果として一般人の写真撮影のスキルはあっという間に向上すると指摘します。
「一般のユーザーは、素晴らしい写真を撮るために必要なライトや構図などを知る必要はありません。代わりに1回タップするだけで、簡単に高品質な写真を撮ることができるのです」とチョン氏は語ります。
多くの人のポケットに入っているそのカメラは、テクノロジーが生み出した驚異だったのです。薄暗い環境の中や過度に接近しながら写真を撮るには、最先端のカメラ性能を備えたハードウェアと超高性能なソフトウェアが必要になります。しかし最も重要なことは、脳（ソフトウェア）と身体（ハードウェア）を連携させなければならないということです。MotorolaとXiaomiのスマートフォンのカメラが両者をどのように連携させているか、仕組みをご紹介します。
スマートフォンのレンズを増やせば、撮影機材をすべて揃えなくても問題ありません
スマートフォンが薄いのは当たり前だと思ってしまいがちかもしれません。Motorola Edge+には3つのレンズが、Xiaomi Mi 10 Proには4つのレンズが搭載されており、どちらにも薄暗い環境にいながら高画質の写真を撮るのに十分な大きさのセンサーが付いています。以前は、一定範囲の深度でなければ高画質の写真を撮ることはできませんでしたが、今やEdge+を使って遠くから風景のパノラマ撮影をしたり、被写体から2センチメートル以内でクローズアップ写真を撮ったりすることができます。
夜の橋を撮影した薄暗い写真（2014フラッグシップスマートフォン（左）、2020 Motorola Edge+（右）。より大きなセンサーとコンピュテーショナル フォトグラフィの技術のおかげで、6年前には撮影できなかった写真が撮影できるようになったことを示しています。
「スマートフォンメーカーが数年前、複数のレンズを製品に搭載し始めたころ、初めのうちは『それは注目を集めるための策略だ』と非難する人々がいました」と語るMotorolaの画像ハードウェアエンジニアリング担当ディレクターを務めるマット・ビガースタッフ氏。しかしカメラバッグ丸々一つ分の機材に匹敵するものをポケットに入れて持ち運べるというマルチレンズのメリットがユーザーに認められると、その非難の声はたちまち消えたといいます。
「スマートフォンは今、複数の焦点距離を持つさまざまなレンズを搭載したデジタル一眼レフをモデルとしています。レンズはすべて異なる形で動作します。目の前の画像を撮るのに、それぞれが非常に重要な役割を担っています」とビガースタッフ氏は続けました。
メモリの増量で高品質画像をいち早くお届け
要件がより厳しいカメラで撮影と編集のアプリケーションをスムーズに実行するには、DRAMを増やす必要があります。そこでマイクロンの出番となります。Xiaomi Mi 10 ProやMotorola Edge+には、一部のデスクトップコンピューターよりも大きな最大12ギガバイトもの容量を誇るマイクロンの次世代低電力DDR5 DRAM（LPDDR5）が搭載されており、AIなどの高度なアルゴリズムをカメラに組み込む計算能力が備わっています。そして5G接続の到来に伴い、スマートフォンにより多くのDRAMを搭載する必要性がますます高まっています。2018年から2020年にかけては、最もハイエンドなフラッグシップスマートフォンの低電力DRAM容量が8GBから16GBへと2倍になりました。
マイクロンのLPDDR5 DRAMは、前世代の製品と比較すると、速度は50％向上し、消費電力は最大20％も削減できており、より高性能なカメラとよりスマートなプログラムの搭載が可能になります。
チェン氏は「Xiaomiが強力な技術基盤を築くLPDDR5メモリをいち早く使用し… 効率的かつ便利なユーザーエクスペリエンスを実現しています」と述べ、「同時に、Xiaomiが誇るフラッグシップ製品のブームが続いているおかげで、マイクロンのブランドとそのLPDDR5メモリは、フラグシップを名乗るにふさわしいテクノロジーとして広く認められてきました。」と続けます。
Motorola Edge+は、カメラやカメラの動作だけのためにメモリの一部を空けておいて、膨大な量のデータ処理中でも一貫したユーザーエクスペリエンスを提供します。
「カメラがさらにスムーズに作動できるよう、私たちはメモリをピン留めしているのです。」とビガースタッフ氏。「ネイティブ解像度27メガピクセルで最大12枚の画像を積み重ねていることもあります。DRAMの観点からいうと、かなり集約的ですが、そうすることによりユーザーは少しでも早く最高の画像を見ることができるのです。」と言います。
5G、最も安定した画像ソフトウェアをクラウドに展開し、スマートフォンの制約を解除
これまでのところ、スマートフォンのネックになってきたものは、その物理的なサイズです。近い将来5Gが主流になり、最も難しいデジタルワークをスマートフォンに保管するのではなく、スマートフォンの製造業者がデジタルワークをクラウドに移行することができれば、スマートフォンのサイズの問題も解決されると考えられます。（Motorola Edge+とXiaomi Mi 10 Proには、すでに5G機能が搭載されています。）
スマートフォンの容量やバッテリー駆動時間には限りがあります。低電力DDR5 DRAMをもってしても、スマートフォンはまだスーパーコンピューターにはなれません。ですが、スマートフォンをクラウドと5Gネットワークにペアリングすれば、サービス提供者が割り当てた分の容量や電力、計算量を費やすことができます。5Gでは、4Gネットワークに比べ最大20倍の速度が約束されており、1秒間に20ギガビットの速度でクラウドに通信されるデータ量が増え、次世代のコンピュテーショナル フォトグラフィでは、より効率的にクラウドの威力を味わうことができるようになります。そこでMotorolaは、スマートフォンのリソースを使用することなく12枚の画像を重ね合わせられるように計画を立てています。将来はより複雑化する写真アプリケーションの一部としてさらに多くの画像を重ね合わせられるようになるかもしれません。
コンピュテーショナル フォトグラフィの技術を駆使すれば、お気に入りの公園に咲いている花々のダイナミックで色鮮やかな写真を撮ることができます。左の写真は2014フラグシップスマートフォンで撮影されたものです。留意すべき点は、ハイライトが明るすぎること、そして、わずかにぼやけた背景（ぼけ味）は従来の機械的な方法で撮影されたものだということです。右の写真は2020 Xiaomi Mi 10 Proを使い、コンピュテーショナル フォトグラフィの技術を駆使して撮影されたものです。この技術には、複数の画像を組み合わせ、露光を行い、花にピントを当てるため人工的に背景をぼかすハイダイナミックレンジ（HDR）方式が取り入れられています。
「5Gは、コンピュテーショナル フォトグラフィにおけるAIの限界を打ち破ります。」とチェン氏は言います。「今日のスマートフォンに実装されているアルゴリズムには、高性能な機能が満載です。未来のスマートフォンでは、機能を各ユーザーに合わせて調整することができるようになるでしょう。それが、AIの威力です。
「スマートフォン上では完了できない、または完了するのが難しいAIの操作は、クラウドに送ることができます。」とチェン氏は述べ、「高速、低レイテンシーの5Gネットワークとより高性能な計算を利用し、高速送信を行うことで、ワンランク上のモバイル撮影を実現することができます。」と続けます。
今日のスマートフォンでは、写真の構図を把握するための主要コンセプトである三分割法に基づく画像のゆがみ補正やトリミングの提案などのAI機能が利用できます。あなたが大抵の人と同じなら、綺麗な花火を撮ったはずなのにひどい写真になってしまったという経験があるでしょう。計算アルゴリズムは、写真撮影が難しい環境を認識し、それらの画像が輝くように設定を調整することができます。
デサイ氏は「（AIのおかげで）私たちは花火のシーンなのかどうかを適切に判断することができます。暗いところでは複数の画像を重ね合わせて夜でもより明るい画像を提供できますが、花火の写真を撮っているときにそれが作動してしまうととんでもないことになってしまうので、作動してほしくないわけです。ですので、背景にあるものに注目する優先アルゴリズムがあるのです」と説明します。
続けて、「ですが、それは始まりにすぎません。クラウドは今後数年のうちに、コンピュテーショナル フォトグラフィを新たな高みに押し上げることが期待されています。」と語ります。
さらに、「全体の画像を撮ってクラウドに送信し、画像を調整することができるのです。必ずしもユーザーが自然な写真を好むとは限らず、より鮮やかな色を好んだり、画像が飛び出して見える人工的なものを好むユーザーもいるでしょう。それがクラウドならできるのです。」と述べます。
コンピュテーショナル フォトグラフィを駆使し、特別なものを記憶
昔のアルバムは、思い出を残すための記録です。祖父母や子どもたちの写真を見れば、人生の歩みを振り返ることができます。写真が良く撮れていなくても、多くの場合、過去とのそうしたつながりは宝物です。露出がオフになっていたり、親戚の一人が画像からカットされていたり。シャッターを切った時にまばたきしてしまった人がいたり、あるいは、時間の経過とともに写真が黄ばんでいるかもしれません。私たちの多くは上手に写真を撮れるわけではないし、媒体は物理的に経年劣化するものなので、訳ありの写真にも対応してきました。
ポートレートモードには、記憶に残した人間にピントを当てるため背景を人工的にぼかすコンピュテーショナル フォトグラフィの技術が採用されています。左の写真は、ポートレートモードが標準機能になる前に製造された2014フラッグシップスマートフォンで撮影されたものです。右の写真は、2020 Xiaomi Mi 10 Proを使ってポートレートモードで撮影されたものです。
ですが、これからはその心配はいりません。
日付や場所のメタデータでクラウドにバックアップされるデジタルファイルは、火事で焼けてしまうことはありません。コンピュテーショナル フォトグラフィを駆使すれば、私たちは誰でも上手に写真を撮ることができます。つまり、夕暮れ時にベランダでくつろぐ祖母の写真の目に修正を加え、目が開いた祖母の写真を記憶に残しておきたい状態で残すことができるのです。
スマートフォンがあるからといって、華やかでより充実した生活を送れるというわけではありません。それを決めるのは私たち自身です。ですが、スマートフォンや先端技術を駆使すれば、高画質の画像をもとに私たちの人生の一瞬一瞬を思い出すのに役立つ写真を作成することがでるでしょう。
比較対象として紹介した写真は、トム・デジレコ氏が撮影したものです。MotorolaおよびXiaomi は、それぞれのブランドの登録商標です。マイクロン・テクノロジーはMotorola、Xiaomiの両社と個々に事業活動を行っていますが、両社の持合株式は保有していません。MotorolaならびにXiaomiからのコメントは、紹介された人物の見解および意見であり、必ずしもマイクロン・テクノロジーまたは各社の見解や意見を反映するものではありません。5Gネットワークは一部のエリアで利用できない場合があります。