Chrome のライブキャプション (リアルタイム自動字幕起こし) 機能

2021年3月18日の Google 公式ブログの記事「Chrome can now caption audio and video」で発表されていますが、Google Chrome で音声 (発話) を含む動画やオーディオコンテンツを視聴中、リアルタイムに自動字幕起こしを表示することができるようになりました。

Chrome の「設定」画面の中にある「ユーザー補助機能」で、「自動字幕起こし」というトグルスイッチがあるので、それをオンにすると、利用可能になります。

Chrome の「設定」(ユーザー補助機能) 画面で「自動字幕起こし」をオンにした様子。なお、「ユーザー補助機能」へは、Chrome のアドレスバーに「chrome://settings/accessibility」と直接タイプ入力することでもアクセスすることができる。
Chrome の「設定」(ユーザー補助機能) 画面で「自動字幕起こし」をオンにした様子

YouTube のサイトで試したところ、以下のようにライブキャプションが表示されました。動画の音声の再生に同期して、「自動字幕起こし」と書かれたボックスの中に、キャプションがリアルタイムに生成されます。

ライブキャプションの表示例 (YouTube)
ライブキャプションの表示例 (YouTube)

文字起こしの技術としては、YouTube で既に実用化されている自動キャプション機能と同じもののようですが、キャプションの表示方法はよりフレキシブルになっています。つまり、必ずしも 動画再生領域内に1〜2行程度という制約の中で表示させる必要はなく、Chrome のウィンドウ内であれば、好きな所にドラッグして配置することができます。また、キャプションの表示領域も広く展開することができるため、発話内容を視覚的にも俯瞰しやすくなっています。

このライブキャプションは、Chrome で音声 (発話) を再生するものであればあまねく利用可能なので、YouTube 以外の動画の再生時にも表示させることができますし、音声のみのオーディオコンテンツでも表示させることができます。 たとえば、ポッドキャストのエピソードを Chrome で再生すると、それに合わせて「自動字幕起こし」と書かれたボックスの中に、キャプションがリアルタイムに生成されます。

ライブキャプションの表示例 (Apple Podcast)
ライブキャプションの表示例 (Apple Podcast)

本記事の執筆時点では、このライブキャプションが対応している言語は英語のみですが、いずれは英語以外の多言語にも対応するでしょうし、自動翻訳にも対応するようになるでしょう。単に聴覚障害者向けの情報保障としてだけではなく、認知の特性として視覚優位性を持つユーザーや外国語話者にとっての情報アクセシビリティ向上といった点も含めて、今後が楽しみです。

個人的には、モバイルデバイスでもライブキャプションが当たり前に利用可能になれば、有り難いです。Android では既に利用可能ですが、iOS でも同様のことができればいいな、と期待しています。