まずは、井上さんが新しいブラビアの開発においてどういった役割を果たしたのかを教えてください。

井上：2021年春発売の新型ブラビアに搭載される認知特性プロセッサー「XR」のキーとなるLSI（集積回路）の設計を担当しています。「XR」が入力された映像をどのように解析・認識するか、そこに対してどのような処理を施せるようにするかといった、画作りのベースとなる部分です。

「X1」は2015年に発売された4Kテレビから搭載が始まり、最新モデルでは「X1 Ultimate」にまで進化していました。これら、ソニーの高画質プロセッサーはどういった点が優れていたのでしょうか？

井上：ソニーはこれまでもさまざまな高画質化技術に取り組んでおり、その多くが「X1」に盛り込まれているのですが、中でも特に効果の大きかったものが「超解像」。これは映像をテレビの解像度まで高画質にアップコンバートする技術なのですが、最新の「X1 Ultimate」ではオブジェクト型超解像という技術を駆使し、人物や背景の木などといった画面内の被写体（オブジェクト）ごとに最適な処理を施し、その質感を引き出せるようにしています。

認知特性プロセッサー「XR」は、その最新世代となる、さらに高性能なものなんですね。

井上：はい、これまでの「X1」の系統から大幅に高性能化したため、名称も“認知特性プロセッサー「XR」”としています。

「認知特性」という聞き慣れない言葉が気になります。認知特性とはどういうものなのかを教えてください。

井上：認知特性とは文字通り、人が目に映ったものをどのように認知するかということです。人間の目は、映っている風景全体を見ているようで、実は見えているものと見えていないものがあるんです。例えば目の前に人がいる場合はそこに注目して、周囲の背景などにはあまり意識を割かなくなりますよね。

そうですね。それは実感としてわかります。

井上：このように、人間は、本能的に人の顔や目などに注目することが分かっています。そして、人間の目は、広く全体を見ているときと、どこかに注視しているときでは分解能が大きく異なるんです。認知特性プロセッサー「XR」は、そうした人の認知特性をテレビが理解できたとしたら、視聴者が見たいものをより美しく表示できるのではないかというアイデアから生み出された新コンセプトのプロセッサーとなります。

「XR」では、具体的にはどういったことをやっているのですか？

井上：流れている映像をリアルタイムにプロセッサーで解析し、特に視聴者が注目する部位を引き立たせるような高画質化処理を施しています。

それは、従来モデルに搭載されていた「X1 Ultimate」のオブジェクト型超解像と比べてどう違うのでしょうか？　これまでも部位によって異なる処理を施すということはやっていましたよね？

井上：おっしゃる通り「X1 Ultimate」では表示されている画をオブジェクトに分割し、それぞれの特性を解析して高画質化処理を施していました。しかし、個々のオブジェクトが、画面全体の中で注目される部位かそうでないかは判断していません。対して「XR」では、視聴者が最も注目している部分を認識し、全体の中でそこを際立たせるような、魅力的に感じるような高画質化処理を行います。

なるほど。クジャクの顔など、注目している部分がはっきりと引き立てられていますね。対して周辺部分はそこまで強い処理がかけられていないように見えます。全体が均一に高画質化されるのと比べて、画にメリハリがついて映像に没入しやすくなったのではないでしょうか。ちなみに「XR」が最も効果を発揮しやすいシチュエーション（映像）はどういったものですか？

井上：やはり人物が出てくるシーンですね。映像上に数人程度の人物が映っていると「XR」が高精度にそれを検知し、適切な高画質化処理を施します。

続いて認知特性プロセッサー「XR」の仕組みについて聞かせてください。視聴者が映像のどこに注目しているかはどうやって判断しているのですか？

井上：「XR」では、映像の中の人の顔であったり、特に明るい部分だったり、あるいはよく動いている部分だったり、そうした特徴的な部分を抽出して、視聴者がここに注目しているであろうと判断しています。

ー映像の中央に人の顔があった時に多くの人がそこに注目するだろうというのはわかります。でも映像にはいろいろなものがありますよね。その正確さはどのようにしているのでしょう？

井上：そもそも、人間が映像のどこに注目するかという研究は、以前から世界中で行われていて、すでに多くの論文が存在します。今回、「XR」を開発するにあたっては、そうした論文を元にソニー内部でも研究を行い、実際に膨大な量の画を解析しながら精度を高めていきました。

精度を高めていくにあたって、どんな苦労がありましたか？

井上：わかってはいたことですが、実際にやってみると論文の通りにはいかないことが多く苦労しました。静止画では正しく検知されたのに、動画になるとうまくいかなかったり……。でも、我々には同じチーム内に、長年の知見を持つ画作りの専門家がいますから、映像のどこに特徴を見出すかなど、さまざまなアドバイスをもらうことができます。画作り以外にも社内にいる多くの専門家と議論・改善し、なんとか「XR」を完成させることができました。

例えばどういう映像に対して効果があるんでしょうか？

井上：狙いとしては地デジをもっと良くしたいという気持ちがあります。技術的にはかなりハードルの高いところではあるのですが、最新の研究成果を盛り込むことで、これまでよりもさらにワンランク上の画質にチューンアップできました。

そのほか、今回の「XR」の開発に当たって、井上さんが特にこだわったところはどこですか？

井上：先ほども少しお話しましたが、「XR」では従来のプロセッサーと比べて、抽出したオブジェクトに対してできることが増えています。任意の領域のコントラストや色味、鮮鋭度を上げたいといった処理の自由度が大きく高まっているのです。それによって画作りのメンバーが、より細部まで画質を詰められるようになりました。

具体的にどういったところで違いを感じやすいか教えていただけますか？

井上：従来モデルと比べてコントラスト感、先鋭感、発色、全ての点で違いを感じていただけると思いますが、特に違いが大きいのはHDRの表現の部分でしょうか。実はこの点がまさに従来の高画質プロセッサーでは手を入れにくかったところのひとつなのですが、「XR」ではHDRの信号処理に対してもかなり踏み込んだことができるようになっています。結果として、HDRが効くシーンでより強いインパクトを感じていただけるようになったのではないでしょうか。

認知特性プロセッサー「XR」では、次世代に向けた新しい取り組みのひとつとして、“音”についてもこのプロセッサーで処理することになったと聞きました。そこにどういった背景があったのかを教えてください。

増田：これまでのブラビアでは、音の信号処理の多くをテレビ内のさまざまな処理を行うSoC（System on a Chip）上で行っていたのですが、Android TVの高機能化・多機能化に伴う処理量増大などを受け、これ以上の音に関する処理の増加が難しい状況でした。そこで今回は大きく発想を変えて、高音質化を、あり余るパフォーマンスを誇る「XR」で行うことに。これによって長らくソニーがやりたいと考えていた、より高度な信号処理を実現できるようになりました。

浮動小数点を利用した、音質劣化のない信号処理は近年、オーディオファンの間でとても注目を集めていますよね。これによって具体的にどういった効果が得られるのかを、今度は一般の人にも分かるように教えていただけますか？

増田：信号処理の途中経過で音の劣化が起きないということは、歪みのないクリアな音になるということです。特に小さな音の再現性が高くなります。具体的にはたとえばクラシック音楽なんかは効果が大きいと感じています。小さな音から急激に大きな音になるようなところの違いを聞き比べてみてほしいですね。あとは映画なども、人の声の微妙な抑揚などをしっかり再現できるので臨場感が高まりますよ。今回、ブラビアでこれを実現できたのは、高性能で浮動小数点を扱える「XR」のおかげです。

なるほど、「XR」に高音質化を委ねたことには、そういったメリットもあるのですね。しかし、そうなると気になるのがテレビ内蔵のスピーカーでその高音質を再現できるのかということです。

増田：もちろん、ハードウェアも音質向上に合わせて高性能化されています。まず、新しいブラビアではスピーカーの前段の内蔵アンプの部分で、浮動小数点のデータを受けられるようにして、少しでも音質の劣化を防ぐようにしています。その上で、もちろん出音のスピーカーの部分もしっかり作り込んでいて、たとえば画面を振動させて音を出す「アコースティック サーフェス オーディオ プラス」対応のA90Jシリーズでは、従来よりも画面を振動させるアクチュエーターを大きくするなどして高音質化を図っています。ですので、テレビ単体でも充分に「XR」が生み出す高音質を楽しんでいただけます。

そのほか、新型ブラビアの音質面の進化で特筆すべきものはありますか？

増田：「3Dサラウンドアップスケーリング」という機能が追加されました。これまでのブラビアでは「S-Force フロントサラウンド」という技術でサラウンド空間を再現していたのですが、新型ブラビアでは新たに高さ方向の信号処理を加えることで、内蔵スピーカーだけで、より包まれ感、臨場感のあるサウンドを楽しめるようになっています。これは映画鑑賞などで強く効果を感じられるはずです。

新型コロナ禍でなかなか映画館に足を運びにくくなっている中、テレビでここまでの音質で映像を楽しめるのはありがたいですね。

増田：それともう1つ、これまでのブラビアでも好評だった「ボイスズーム」機能がアップデートされました。この機能では、従来、抽出した人の声の音量を持ち上げていたのですが、「XR」搭載のブラビアでは声の母音と子音を強調してあげることで、より聞こえやすいようにしています。これによって、最近テレビの音が聞こえにくくなってきたという高齢者の方でも快適にテレビ視聴を楽しんでいただけるようになるはずです。もちろん、この機能も「XR」の優れた処理能力によって実現されています。

最後に、今、テレビの買い換えを検討している読者に向けて、改めて認知特性プロセッサー「XR」を搭載した新しいブラビアの見どころをアピールしていただけますか？

井上：これまでもブラビアでは鮮やかで高コントラストな、誰が見ても好ましいと思える高画質を実現できていましたが、認知特性プロセッサー「XR」を搭載した最新モデルではさらに一歩踏み込んだ高画質を実現できたと自負しています。「やっぱり画質はソニーだね」と言っていただけるレベルに仕上がっていますので、まずはぜひ店頭などでその映像美をご確認いただきたいですね。

増田：これまでテレビの音質については、なかなか違いを訴求しにくいところがありました。しかし、新型ブラビアは高音質化に加えて音量・音圧などもパワーアップしているので、多少、条件の悪い環境でもはっきりと違いを感じていただけるはず。「XR」の生み出す、美しい映像と音を組み合わせて聞いてみてほしいと思っています。