Case Study

「ひかりTV」のプラットフォームを進化させ次世代コンテンツを牽引する

当社は、インターネット接続サービス「ぷらら」および、ショッピングサービスやミュージック、ゲーム、電子書籍などのマルチサービスを含む映像配信サービス「ひかりTV」を柱として事業を展開しています。私たちが所属するコンテンツ事業本部は、映像コンテンツの制作や調達などを行うセクションです。

当社は、NTTグループの一員として、新しいサービスを生み出し、時代を切り拓いていくというミッションを持った会社です。2019年7月にはNTTドコモの傘下となり、NTTグループ内で、映像ビジネスを拡大していくための中心的な役割を担っています。最重要ミッションとして掲げていることは、新たな事業領域を開拓することです。事業領域を開拓する中で映像配信プラットフォームを進化させ、オリジナルコンテンツを創り出すことは重要になってきます。

「映像プラットフォーム進化」の基軸は、5G、VR、AR、MR、データマーケティング、パーソナライズ、AIなど、多数あります。ソニーとは、AIを基軸として「ダイジェスト映像の自動作成」に取り組んでいます。

AIで映像・音声を解析、ダイジェスト映像を自動作成

「ダイジェスト映像の自動作成」については、最初から着目していたわけではありませんでした。以前より、お客さまのニーズが高いスマホなどのデバイスで隙間時間等に見やすい短尺コンテンツの制作について検討はしていましたが、Inter BEE2018のソニーブースで、ダイジェスト映像自動作成に関係した展示を見た時に、短尺コンテンツの提供を具現化できそうな印象を持ちました。すぐにソニーにコンタクトし、デモを見せてもらいました。それは、私たちが考えていた「AIを使った映像プラットフォーム進化」というイメージに近く、一緒に取り組むことで、次世代のプラットフォームの一端を成すものになると可能性を感じ、間もなくともにPoC*を行うことにしました。

PoCでは、まず映像には何が含まれていて、どのようなタグ付けをしておくとよりダイジェストにふさわしいコンテンツが生成でき、視聴者に楽しんでいただけそうか、という視点で考え、それが技術的に実現可能かどうかという検証からスタートしました。さまざまな検証・検討を重ねた結果、卓球Tリーグ（以下、Tリーグ）のダイジェスト映像をAIで自動作成することについて、商用化の道筋を立てるに至りました。

ダイジェスト映像は、試合の流れと、卓球の試合という“物語”を要約したものです。物語を形成する要素の1つが時間軸でもある「スコアの変動」。試合映像からスコア位置とスコアの変動を検出するエンジンによって、試合の推移を解析・記録することにしました。この部分はABEJA社のエンジンを活用しました。そして、物語を形成するもう1つの要素が、「ラリー区間」です。このラリー区間の検出では、ソニーから「音がキーになる。ソニーの音声レベル検出エンジンなら、卓球ボールの跳ね返る音を検出することで、ラリーとそれ以外のシーンを分割できる」と提案があり導入しました。さらに「観客の盛り上がり」を解析できるソニーの音声解析エンジンも取り入れることにしました。

ソニー提供のダイジェストビューアーワークフローの進化に期待

映像・音声解析によってシーンを抽出した後は、シーンの優先順位を付け、ダイジェスト要素の候補を抽出し、シーンの分割指定を行っていきます。それをもとに、ストーリーを組み立て映像編集し、最後に映像配信プラットフォーム（dTVチャンネル「ひかりTVチャンネル+」、ひかりTV）の各種形式にエンコードするというのが、「ダイジェストの自動作成」の一連のフローです。

PoCで「映像・音声解析」の自動化に取り組み、十分な手応えを感じたので、2019年の8月末のTリーグ開幕戦からの実運用に漕ぎ着けることができました。

現在、取り組んでいるのは、「映像・音声解析」の精度をさらに高めるとともに、シーンの抽出・組み立て以降のフローを自動化することです。映像のサムネイルとともに解析結果が一覧できるソニーのダイジェストビューアーも採用しており、このビューアーを進化させていき、ゆくゆくは自動化によってつくられたダイジェストのチェックと編集工程を短縮化できるようにしたい。この点においても、ソニーの知見と協力に期待しています。

今後、ライブ中継におけるリモートプロダクションで、リアルタイムでダイジェストをつくるB2B2Xのサービスを提供するなど、「ダイジェストの自動作成」の取り組みの先には、新たな価値を持つビジネスの創出をしていきたいと考えています。ソニーには、そのパートナーとしてともに推進していただけると、大きな期待を寄せています。

*PoC=Proof of Concept