読者です 読者をやめる 読者になる 読者になる

kon×hatena

コンピュータビジョン・パターン認識の研究をしています。聴覚障害のこと、専門のことその他もろもろを投稿していきます。

最近の手話・指文字認識研究の動向

はじめに

こういうテーマで記事を書こうと思いついたのは,
TBS「未来の起源」で手話認識の研究が紹介されたことがきっかけ.
神奈川工科大学 情報工学科 ブログ: 院生がテレビ出演します


せっかくなので,「他の同分野の研究も知ってもらいたい」
という目論見のもと,国内の手話・指文字認識に関する研究を紹介したいと思います.

ここでは,あえて手話・指文字の説明はしません.
指文字の簡単な説明の記事を貼っておきます.

指文字ってなあに ?



手話者とのコミュニケーションを支援する手話認識システム

みずほ情報総研千葉大学の黒岩・堀内研究室の共同研究.
http://www.mizuho-ir.co.jp/publication/report/2014/pdf/mhir07_shuwa.pdf
http://www.mizuho-ir.co.jp/publication/navis/024/pdf/navis024_08.pdf


NHKで放送されたこともあり,かなり知名度の高いの研究です.
なんと,「Microsoft Innovation Award 2014」で優秀賞を獲得しています.
銀行窓口における手話者のやりとりを翻訳することで,円滑なコミュニケーションをはかることを目的としています.

ここでは,Kinectを用いて手話者の手首や肘の動きを読み取り,Hidden Markov Modelを用いて識別することで,その結果をリアルタイムにテキスト表示するようなものを作っています.
現時点では,まだまだ単語登録数も少ないようですが,今後は全国手話検定の1級の語彙数に相当する3000語まで増やしていくことを目指しているようです.

可視光カメラとカラー手袋を用いた手話認識

「はじめに」で紹介した,神奈川工科大学の手話認識の研究.
この研究のポイントは,「可視光カメラ」を使って手話認識を行うというところ.
神奈川工科大学 情報工学科 ブログ: ヒューマンインタフェースシンポジウム2014参加報告(学生投稿版)

従来研究では,Kinectを代表とした距離センサを用いて手話認識を行うものが多数です.
というのも,距離センサを用いると,照明条件の変動を受けにくく,どこでも同様の結果を得ることができるというメリットが有ります.
その一方で,まだ距離センサは安価に普及していないため,スマートフォンなどには組み込まれていない,という欠点もあります.
そこで,この研究は安価な可視光カメラでも手話認識を行うことができるよう,工夫を行っています.

この研究では,それぞれの指の色が異なるカラー手袋を装用し,照明条件に変動されないよう,色検出のしきい値クラスタリングにより決定しています.
その上で,検出色の重心移動をもとに,識別を実施しています.
現在はまだ認識率は高くないようですが,可視光カメラで実現できるというのは大変有意義な研究です.

指文字識別の研究

共同研究先(筑波大 CVLAB)の研究です.
http://www.cvlab.cs.tsukuba.ac.jp/index.php?plugin=attach&refer=Takabayashi&openfile=ViEW_paper.pdf

ここでは,Kinectと同様な距離センサを用い,指文字の認識を行っています.
この研究の肝は,カーネル直交相互部分空間法 (KOMSM)を利用することで,高精度・高速な指文字識別が可能という点.
KOMSMは複数の画像をセットとして扱うため,1 枚の画像のみを用いた識別よりも,変動に対しても性能が安定します.
そもそも,手は自分が止めて出しているつもりでも,じつのところは手が僅かに回転あるいは振動しているので,有効と言えます.

ここでは,静止指文字を対象にした論文を紹介しましたが,現在は,連続指文字の識別を行っているようです.

指文字練習システムの開発

自分で紹介するのもなんですが,私の行っている研究です.
(以下の論文は,昨年度卒業した先輩のもの)
http://www.tsukuba-tech.ac.jp/repo/dspace/bitstream/10460/1251/1/266.pdf


指文字は手話を学習する際のベース(基礎)となりうるのですが,手形状も複雑で,種類も多いため,一人で本を使って学習しようとしても,間違って覚えるケースが有ります.
そのため,手話・指文字のできる人がそばに居て,指導しながら身につけていくことが望ましいのですが,現実的には時間・場所の制約もありなかなか難しい,という状況です.

そこで,この研究では,指文字認識の技術を応用することで,学習者の指文字を読み取り,その正誤を判断する,というようなシステムを開発しています.
ここで,認識部に用いているのが,先ほど紹介した筑波大の指文字識別技術です.かなり高速に・正確に識別可能なので,すばやく正誤を判断することが可能です.


おわりに

今回は国内の研究を簡単に紹介しました.他にも,立命館
Interaction Lab.
など様々なところで手話識別の研究がなされています.
他にも何か面白そうな研究があれば,ぜひ教えてください.