From the Lab 実証実験の取り組み紹介

背景

タップ ホスピタリティラボ 沖縄（以下THL）では、沖縄工業高等専門学校（以下沖縄高専）と共同で、手話を画像認識技術で読み取り文字に変換する手話認識システムの開発を進めています。

このプロジェクトは、手話を使用されるゲストが宿泊施設や観光地でストレスなく、そしてスムーズにコミュニケーションできる環境を整備し、誰もがより快適な滞在体験を実現することを目指しています。

ユニバーサルツーリズム時代である今、わたしたちはすべてのゲストに対しより細やかなサービスを提供できることを目指して開発に取り組んでいます。

 

概要

本プロジェクトは、近年話題となっているAI（人工知能）技術を活用して進められています。具体的には、AI技術の中でも画像のパターン分類・比較・加工を主とする画像処理技術を用いて手話認識システムを開発しています。

開発は弊社のホスピタリティサービス工学研究所 と、沖縄高専の情報通信システム工学科およびメディア情報工学科の学生で結成されたチームが共同で担っています。『身体的な特性に関わらず、すべての方へ健常者と変わらないホテルサービスを提供すること』を目標に掲げ、日々研究開発を進めています。

この手話認識システム実証実験は、認識精度の向上と実用化に向けた難題の克服をテーマに、様々なアプローチで開発が進められています。ここからは、その技術の詳細と宿泊施設にもたらされる具体的な恩恵をご紹介いたします。

 

認識精度を飛躍的に高める『3次元グラフ化』技術

手話認識システムのおおまかな流れは以下の流れに沿って進行しています。　

手の検知
↓
指関節の認識
↓
学習データとの照合
↓
結果の表示

 

手話認識の精度向上はこのシステムの核となるテーマです。手の検知・認識には、Googleが開発したリアルタイムのメディア処理に特化したフレームワークMediaPipe ❐を採用し、既存技術と手話の機械学習を組み合わせて、新たな手話アプリを開発中です。

このシステムを開発するにあたり、画像認識における課題である『環境ノイズの影響』や、『画像が二次元である故に発生する指の重なり・厚みの学習の困難さ』といった課題がありました。

それらを改善すべく、指関節の座標を抽出し、Matplotlib^*1というグラフを生成するライブラリを用いて手を3次元グラフ化させ、背景に依存しない安定した学習を可能としました。

 

*1 マットプロットリブ：Pythonのグラフ描画のためのライブラリ

この3次元化により指の重なりや厚みも問題なく認識が可能となり、自動であらゆる角度からの手のグラフ画像が自動で取得できます。

これらの技術を取り入れることで、たった1枚の撮影画像から、その手の形状を任意の角度から見た何十枚分もの画像データとして取得できます。これは、学習効率の大幅な向上と認識精度の底上げに繋がります。

 

実現へ挑む、技術開発の最前線

プロジェクトでは現在、以下の3つの技術目標を掲げ開発を進めています。

• リアルタイム認識
• バージョン更新を含むシステムの安定稼働
• ロボット連携

中でも最も難しい課題は、手話のリアルタイム認識です。

手話は流れるように変化するため、1つの文章として認識するには、意味を持つ手話の塊を時系列で判断・認識する必要があります。

これらの課題を解決するために、手の関節同士を結ぶベクトルの線形変換から行列を用いて数値解析する手法と、グラフ画像の流れを用いて画像として解析する手法の2つを同時並行で進めつつ、最善な手法を追及しています。

さらに、学習データを保存したり更新・反映するための『サーバ構築』も重要な課題の一つです。システム導入後も手話の学習をアップデートする機能にも重きを置いており、システムが使われれば使われるほど精度が向上し、人に馴染んでいく仕様を目指しています。

現開発段階では学習そのものの精度向上や、データセットの恒久的で安定した管理方法の確立を試みており、今後もより快適に使用できるシステム構築のため改善を重ねていく所存です。

 

手話認識システムがもたらす恩恵

手話認識システムを宿泊施設へ導入することで、手話を使用される身障者の要望をリアルタイムで把握できるようになります。これにより、手話の知識がないスタッフでも適切な対応が可能となり、宿泊施設の利便性の向上が期待されます。

また、システムを通じて収集されたデータを分析することで、ゲストのよくある要望を把握し、その情報を基にサービス改善や新たなサービスの提供に繋げることが可能となります。

さらに、手話認識システムをホテルシステム（PMS）と連携させることで、ゲストの手話応対内容が予約情報に紐づいて管理されます。これにより、過去の滞在履歴や要望を参照し、ゲストの好みに応じたパーソナライズされたサービスを提供できます。

このパーソナライズ化は、ゲストのニーズにすぐに対応することを可能にし、宿泊施設全体の運営効率の向上に繋がります。結果として、スタッフの業務負担が軽減されるとともに、サービスの質が高まることで施設全体の評価向上が期待されます。

 

まとめ

現段階では、フロントカウンターなどにカメラ付きのモニターを設置して手話認識を進めていますが、開発チームの視線はさらに先を見据えています。将来的には、手話認識システムをカメラ内蔵の案内ロボットと連携させることを目指します。

これにより会話応対だけでなく、手話を使用されるゲストが行きたい場所までロボットが案内することが可能となります。ロボット単独での対応が難しいケースではスタッフに引き継ぎ、シームレスなサービス提供を目指します。

さらに、このシステムはゲストへのサービスに留まりません。ホテルシステム（PMS）やロボットとの連携を図ることで、手話を使用されるスタッフが活躍できる職場環境の整備にも繋がると考えています。

手話認識システムの普及は、手話を使用される方と健常者とのコミュニケーションの多様化を加速させ、真の共生社会の実現に大きく寄与することが期待されます。

THLでは、今後も沖縄高専と共同でこれらの未来のホスピタリティを実現するための研究開発を積極的に進めてまいります。

---

システム構成

手話認識システム
タップPMS

---

関連部署

株式会社タップ ホスピタリティサービス工学研究所
　研究開発エンジニア課
　ビジネス研究開発課

---

※2026年1月時点の情報です

---