──まず「4K X-Reality PRO」と映像の4K化(アップコンバート)のしくみについて教えてください。4Ｋブラビアの「4K X-Reality PRO」はブラビアが搭載する「X-Reality PRO」となにが違うのでしょう？

玉井：4Kブラビアの映像処理を受け持つ「4K X-Reality PRO」は、ブラビアが搭載する超解像エンジン「X-Reality PRO」に、4K処理専用のチップ「XCA8-4K」を追加したものです。

ブルーレイディスクや地上デジタル放送の映像などは、単純に映像を縦横2倍ずつに拡大するのではなく「X-Reality PRO」のノイズ除去と超解像処理を経てから、再度「XCA8-4K」の超解像処理により精細感を高めて4K解像度にアップコンバートします。また、ネイティブ(もともとが4K解像度)の4K映像を出力する場合にも、「XCA8-4K」が超解像処理を実行して、映像の繊細さや解像感を液晶パネルにあわせてさらに引きたたせて表示します。

──「X-Reality PRO」で映像本来の美しさを引きだした後に、「XCA8-4K」でアップコンバートを実行するんですね。

玉井：そうです。4K映像は精細感と臨場感の高さが特長ですが、ノイズの多い映像をそのままアップコンバートするとノイズまで4K化されてしまい、映像の荒さが気になってしまいます。ですから、まずは「X-Reality PRO」を使って映像をクリーンにします。ノイズ除去と超解像を両輪として4K映像変換をおこなうことで、ブルーレイディスクやデジタル放送のハイビジョン映像も、ネイティブ4K映像に迫る緻(ち)密な画質で試聴できるようになります。

──「4K X-Reality PRO」の“データベース型超解像処理”とはいったいどんな技術なのでしょうか？

玉井：映像にはさまざまな種類、ジャンルがあります。たとえば皆さんがふだんご覧になっている地上波テレビ放送から、ブルーレイディスクの作品、さらにはインターネットで公開されている動画まで。ジャンルについても、ドラマやスポーツ、アニメなど、人それぞれに好きなコンテンツは異なりますよね。

超解像処理の適用の手法や強さも、テレビに映しだす映像ごとに異なります。「4K X-Reality PRO」は、1秒あたり30〜60枚の画像で構成されている映像を1枚ずつ解析し、映像信号パターンを判断したうえで、データベース化された膨大な組み合わせの中から最適な処理をピックアップしています。

──なるほど。画像の解析を1枚ずつおこなっている、ということは、超解像処理も1枚ずつすべての映像に？

玉井：そのとおりです。「4K X-Reality PRO」の超解像処理は、映像を構成する画像の1枚ずつ、画面内のすべての画素に適用されます。また、超解像は画面全体にひとつの処理を適用しているのではありません。「ここは背景だから輪郭を強調しすぎないように」、「ここにはシーンの中心となる被写体があるからディティールをすみずみまで再現するように」といった具合に、映像の中身まで解析して最適な処理を適用しています。

──映像の内容を判断してそれぞれに最適な超解像処理をおこなうのは、すごく時間のかかる作業にも思えますが……。

玉井：4K映像を構成する画像は1枚あたりおよそ800万画素、毎秒60コマの映像であれば、その画像が1秒あたり60枚あります。1秒間に60枚の画像を解析し、さらに800万ある画素のそれぞれにあった超解像処理を適用することは、人の手でおこなうと1枚の画像につき数十分以上が必要とすごく時間のかかる作業です。

そこで処理の組み合わせをその場で演算するのではなく、データベースから読み出すことで時間を短縮する手法を取っています。見方を変えるとデータベース型だからこそ、映像のシーンにマッチした複数の画質調整や超解像処理をリアルタイムに適用できるんですね。

──ソニーは4Kブラビアのほかにも映画などさまざまなジャンルで4K映像に携わっています。映画やゲームといった異なるジャンルの技術や経験は、「4K X-Reality PRO」の開発にどのように生かされているのでしょう？

玉井：映画撮影用カメラ「F65」や映画館用のデジタルシネマプロジェクターなど、ソニーグループは4K映像の撮影から編集、視聴まで一貫してサポートしています。4Kのすべてを手がけることで多くのデータが蓄積され、その情報と経験はブラビアをはじめとするソニーのさまざまな映像機器に生かされています。たとえば「F65」の映像は「4K X-Reality PRO」の超解像データベース開発に使われています。

──ソニー・ピクチャーズ エンタテインメントからは、ブルーレイディスクで4Kネイティブに迫る映像を再現した「“Mastered in 4K ブルーレイ”」が登場しています。

玉井：“Mastered in 4K ブルーレイ”と「4K X-Reality PRO」を組み合わせた4K品質の映像再生も、映像を一貫して知るソニーグループだからできた技術です。“Mastered in 4K”はソニー・ピクチャーズ エンタテインメントが、4K映像をブルーレイディスクに収録できるようにフルHD変換したときの設定をデータベース化しています。「4K X-Reality PRO」はこのデータベースを参照して4Kアップコンバートすることで、来た道を逆にたどるように、“Mastered in 4K”の映像作品をオリジナルに遜色ない4K映像として再現することが可能です。

──人間の感じる“美しさ”を絶対的な数値にすることはとても困難です。映像の美しさを引き出す超解像の開発は、技術の開発だけでなく映像そのものに関する経験の積み重ねや人間の感性も必要になるのではないでしょうか？

玉井：経験という部分では、ソニーの超解像技術は10数年前のブラウン管時代に開発された画像処理技術「DRC（デジタル・リアリティー・クリエーション）」から継続して研究開発を続けていて、独自のノウハウの蓄積と進化があります。長い年月をかけて多くのエンジニアが作り上げてきた超解像技術は、ソニーの映像を支える柱の1本になっています。

──映像の経験やノウハウは、どのような形で「4K X-Reality PRO」の開発に生かされているのでしょう。

玉井：私が担当した画質設計では、映像の種類やシーンに合わせてノイズ除去や超解像処理を適用するアルゴリズムの開発を通じて、テレビの画質を作りあげていきます。開発作業においては実際に画面に映像を映し出して、目で見て心地いいと感じるパターンを探ることが中心となります。

手探りともいえるアナログな作業ですが、映像の美しさは理屈だけで決まらないのが苦労するところでもあり、おもしろいところでもありますね。こだわればこだわるほど手を入れたくなるし、かといって細部にこだわりすぎると全体が破綻したりと、終わりのない仕事でもあります。

そんななか長年にわたってソニーが積み上げてきた画像処理や超解像のノウハウは、デジタルでありながらもアナログ的な感性が必要となる画質設計の作業で、基礎になると同時に重要な指針ともなります。