テキスト+手書きを融合した「しゃべり描きUI」、三菱電機が開発 | RBB TODAY

テキスト+手書きを融合した「しゃべり描きUI」、三菱電機が開発

エンタープライズ ソフトウェア・サービス

画面を見ながら会話が可能(イメージ)
  • 画面を見ながら会話が可能(イメージ)
  • 「しゃべり描き UI」操作方法
  • 写真を観ながら、外国語で会話(イメージ)
  • 書類の記入方法を伝えることもできる(イメージ)
 三菱電機は9日、話した言葉を指でなぞった軌跡に表示できる音声認識表示技術「しゃべり描きUI」を開発したことを発表した。お絵描きや多言語翻訳などの機能を組み合わせることで、円滑・多様なコミュニケーションを可能とするものだ。

 「しゃべり描きUI(ユーザーインターフェイス)」は、話した言葉を特定の場所に文字表示する音声認識機能を搭載。画面の好きな場所を指で長押しして話しながらなぞると、話した言葉がなぞった軌跡に文字表示される機能を、世界で初めて実現した。指先から文字が湧き出る感覚で、筆談より手軽に会話ができるという。

 さらに、しゃべり描きUIを搭載した「しゃべり描きアプリ」では、話した文字を、手描きのイラストなどといっしょに表示することが可能。指で書いた文字を認識する手書き文字認識機能、話した言葉や書いた言葉を翻訳する多言語翻訳機能により、保存した画像やカメラで撮影した写真を背景画像として表示し、話し言葉を重ね、さらにそれを翻訳するといった使い方ができる。

 これにより、騒音の多い現場でのコミュニケーション、受付カウンターでの案内などに、利用できるとのこと。また、聴覚障がい者における「口の動きと指先を同時に見ることができない」という問題を、画面を指差しながら文字表示することで、軽減・解消できる見込みだ。
《冨岡晶》

関連ニュース

特集

page top