【テクニカルレポート】CELLレグザリモコン用タッチパッドのストローク認識技術”……東芝レビュー

　デジタルハイビジョン液晶テレビ（TV）“ CELLレグザ”のリモコンに搭載されるタッチパッド用に、筆跡情報を認識するためのストローク認識技術を開発した。ストローク認識技術は、タッチパッド上に入力された筆跡から手書き文字及びジェスチャを認識する二つの技術で構成される。

　CELLレグザでは、リモコンのタッチパッド上に描かれた筆跡をこれら二つの認識技術で解析し文字入力やジェスチャ操作を実現することで、従来のTVリモコンのボタン操作では煩雑だったインターネット画面や電子番組表（EPG）での文字入力操作や、ポインタ及びカーソルの移動操作などが簡単かつ直感的に行えるようになった。

1. まえがき

　近年のTVは、磁気ディスク装置（HDD）への録画や、ネットワーク接続など多く機能が加わって高機能化しており、そのユーザーインタフェースは複雑になってきている。TVの操作は従来からボタン付きリモコンで行われているが、このような高機能化により操作方法が煩雑になってきている。例えば、機能の操作が増えたためボタン数が増えたので、操作したいボタンを探すのに手間取ったり、インターネット画面やEPGの操作時に、十字ボタンによるカーソル移動に煩雑さを覚えることがある。更に、インターネット検索や番組検索などで文字を入力する場面が増えているが、一つの文字を入力するために携帯電話のように何度もテンキーを押す必要があり、操作がめんどうになっている。

　これらの問題点を解決するために、CELLレグザでは、ノートPC（パソコン）などで採用されているタッチパッドをリモコンに搭載した（図1）。タッチパッドに入力された筆跡データを、東芝独自に開発したストローク認識技術によって解析し、手書き文字入力やジェスチャ操作を実現している。これにより、従来のボタン操作では困難だった直感的な操作ができるようになった。このストローク認識技術は、タッチパッド上に手書きされた文字を認識するための重ね書き文字認識技術と、TVの各種の機能をジェスチャで操作するためのストロークジェスチャ認識技術から構成されている。

　ここでは、ストローク認識技術の概要と、CELLレグザのリモコンに搭載されるタッチパッドに応用した場合のユーザーインタフェースの特徴について述べる。

2. ストローク認識技術

　ストローク認識技術は、タッチパッドなどの座標入力装置に指などで入力された筆跡を認識する技術で、次の二つの認識技術から構成されている。

（1）重ね書き文字認識技術
（2）ストロークジェスチャ認識技術

　それぞれの認識技術について、以下に述べる。

2.1 重ね書き文字認識技術

　重ね書き文字認識技術は、手書き入力された筆跡座標の時系列情報から文字を認識するオンライン文字認識技術の一種で、特に画面の小さな携帯機器用に開発した当社独自の技術である。

　オンライン文字認識として一般的な枠あり文字認識は、以下に示すように、筆記スペースやユーザビリティの面で、携帯機器に不向きな点があった（図2）。

（1）複数の文字入力枠を設け、1枠に1文字ずつ順番に文字を筆記する必要がある。
（2）1文字を書き終えてから認識結果が表示されるまでにある程度の応答時間が必要である。
（3）入力枠を移動するのが煩わしく、手元を意識する必要がある。

　これに対して、重ね書き文字認識は、従来の枠あり文字認識と異なり、以下のような携帯機器用の特長を持つ（図3）。

（1）同じ場所に連続して文字を重ね書きできる。
（2）1画ごとに認識処理ができ、筆記後すぐに認識結果を表示できる。
（3）手元を意識する必要がない。

2.2 ストロークジェスチャ認識技術

　ストロークジェスチャ認識技術は、入力された筆跡に対してあらかじめ設定されたジェスチャを認識するための技術で、携帯電話、情報家電、PCなどの電子機器に対して、タッチパッドなどの筆跡入力装置を使って指で操作することを想定して開発された。

　当社には、カメラで撮影した画像を解析して手の形状や動作を認識し、機器を操作するハンドジェスチャ認識技術がある。ハンドジェスチャ認識技術が離れた場所からハンズフリーで機器を操作するための技術であるのに対して、ストロークジェスチャ認識技術は機器の画面を直接操作するか、あるいは離れた場所から手元のリモコンなどを通して間接的に機器を操作するための技術である（図4）。

　ストロークジェスチャ認識技術は、1画ごとに判定を行う1画ジェスチャと、筆跡のサンプリング点ごとに判定を行う逐次ジェスチャの2種類の認識技術から構成されている。

　逐次ジェスチャ認識は、筆記開始からサンプリング点が入力されるたびに判定を行う。ユーザーが筆跡の長さに応じた操作量を指示できるため、ポインタやカーソルの移動など、連続量の入力に適している。一方、1画ジェスチャ認識は、指がタッチパッドに触ってから離れるまでの1画を書き終えた時点で判定を行う（図5）。そのため、操作コマンドの入力に適している。逐次ジェスチャ認識、1画ジェスチャ認識、及び重ね書き文字認識は、動作設定に配慮すれば同時に使用することもできる。

　ストロークジェスチャ認識技術は、現在7種類のジェスチャ（3種類の逐次ジェスチャと4種類の1画ジェスチャ）を認識できる（表1）。これらのうち一部のジェスチャをCELLレグザに採用している。

　今回開発したストロークジェスチャ認識技術は高いカスタマイズ性を持ち、ジェスチャごとに詳細な判定パラメータを設定できる。また、筆記領域を複数の領域に分割し、領域ごとに任意のジェスチャを割り当てることもできる。例えば図6では、ポインタ操作のほかに、右端を上下になぞることで画面スクロールなどの操作ができる。使用用途によって要求されるジェスチャの機能は様々であるため、ストロークジェスチャ機能のカスタマイズ性は必須の機能となっている。

3. ストローク認識技術を用いたTV操作ユーザーインタフェース

　CELLレグザでは、リモコンに搭載されたタッチパッド上の筆跡をストローク認識技術で解析して文字入力やジェスチャ操作をすることで、従来のリモコンのボタンによる操作と比較して簡単かつ直感的なTV操作を実現している。CELLレグザでのTV操作について、代表的な二つの具体例を以下に述べる。

3.1 ポインタ操作

　指をタッチパッドに触れた状態で動かすことにより、インターネット画面やEPG のポインタやカーソルを操作することができる。指の移動量に応じて任意の位置や方向へポインタを移動できるので、従来の十字ボタンによる操作に比べて自由かつ滑らかな操作ができる（図7）。

3.2 文字入力操作

　タッチパッド上に指で文字を書くことで、文字を入力することができる（図8）。従来の携帯電話方式のテンキーによる文字入力に比べて、簡単かつ直感的に文字を入力できる。

　CELLレグザでは、更に入力文字列に対する予測変換機能が付いているため、最初の数文字を筆記するだけで、入力したい文字列を選ぶこともできる。

4. あとがき

　タッチパッドに入力される筆跡情報から、文字やジェスチャを認識するストローク認識技術の概要と、CELLレグザのリモコンに搭載されるタッチパッドに応用した場合のユーザーインタフェースについて述べた。

　ストローク認識技術は、重ね書き文字認識技術とストロークジェスチャ認識技術から構成されている。重ね書き文字認識はタッチパッドのような小さい筆跡入力装置に適した文字入力手法である。また、ストロークジェスチャ認識は、様々な種類の筆跡をジェスチャとして認識し、高いカスタマイズ性を持っている。これらの認識技術をタッチパッドに入力された筆跡データの処理に用いることで、従来のTVのボタンリモコンでは煩雑だった文字入力やポインタ及びカーソルの移動などを容易で直感的に行えるようになった。

　今後は、重ね書き文字認識及びストロークジェスチャ認識それぞれについて認識精度を高めるとともに、機能の拡張を図る。更に、二つの機能を有機的に結合することで、より使いやすいユーザーインタフェースに発展させていきたい。

■執筆者（敬省略）

・登内　洋次郎　TONOUCHI Yojiro
研究開発センターマルチメディアラボラトリー研究主務。
オンライン文字認識、ジェスチャ認識、及びペン入力インタ
フェースの研究・開発に従事。
Multimedia Lab.

・浅野　三恵子　ASANO Mieko
ビジュアルプロダクツ社コアテクノロジーセンターデジタル
プロダクツ技術開発部主務。文書画像理解及び線図形理解
の研究・開発に従事。電子情報通信学会会員。
Core Technology Center

・大平　英貴　OHIRA Hidetaka
研究開発センターマルチメディアラボラトリー。
画像認識の研究・開発に従事。
Multimedia Lab.

※同記事は株式会社東芝の発行する「東芝レビュー」の転載記事である。

【テクニカルレポート】CELLレグザリモコン用タッチパッドのストローク認識技術”……東芝レビュー

関連ニュース

特集

東芝レビュー

テクニカルレポート

レグザ

CEATEC（〜2012）

IT・デジタルトピックス