Our latest work has been published in Neurocomputing (Volume 637, 7 July 2025).

Title: Dstsa-Gcn: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Authors: Hu Cui, Renjing Huang, Ruoyu Zhang, Tessai Hayama

https://doi.org/10.1016/j.neucom.2025.130066

Graph Convolutional Networks (GCNs) have great potential for recognizing human gestures from skeleton data. However, existing methods struggle to capture dynamic and multiscale patterns. Our proposed method, DSTSA-GCN, addresses this with:

• GC-GC & GT-GC: New modules for modeling correlations across channels and time frames.

• MS-TCN: A multi-scale convolutional module to handle temporal diversity.

• Semantic-Aware Topology Modeling: Better understanding of gesture structure and motion.

Our method achieves state-of-the-art performance on key benchmarks like SHREC’17, DHG-14/28, and NTU-RGB+D.

Code Available: https://hucui2022.github.io/dstsa_gcn/

International Conterencce on Knowledge, Information, and Creativity Support Systems で、以下のタイトルで基調講演Keynote Speechをしました。

Title:   Advances in Human Activivty Recognition: Intellient Systems and Real-World Applications

Speakers:  Tessai Hayama,  Hu Cui

 

国際会議PRICAI(RLC)で、以下の研究成果を発表しました。

Title: Cross-Dataset Representation Learning for Unsupervised Deep Clustering in Human Activity Recognition

Authors: Tomoya Takatsu, Tessai Hayama and Hu Cui

The Pacific Rim International Conference on Artificial Intelligence – workshope,  (PRICAI)Representation Learning and Clustering (RLC’24), Nov. 19, 2024

概要：機械学習では大量のラベル付きデータを用意する必要があり，それには多大なコストを要する．そこで，人間に付与した加速度センサから行動を認識することを対象に，ラベルなしデータをもとに学習モデルを構築する方法を研究している．
本論文では，異なる人間行動データセットを活用したクロスデータセット表現学習を導入し，正解ラベルなしデータから人間行動を認識する深層クラスタリング手法について述べる．従来の深層クラスタリング手法では，オートエンコーダを用いて潜在表現を抽出していたが，行動を識別する上で十分な特徴を捉えることが困難であった．本研究では，異なるラベル付き人間行動データセットで学習したモデルをオートエンコーダに組み込み，そこで得られた潜在表現を特徴として活用することで，より行動の特徴を捉えた表現学習を実現した．評価実験では，3種類の人間行動データセットを用い，識別精度をもとに従来手法と比較することで，提案手法の有効性を明らかにした．

 

研究会懇親会のBBQを、丘陵公園で開催しました。4月から研究室に参加した学生たちの歓迎会やオープンハウスに参加して頂いた高専からの2名の学生さんたちとの懇親会も兼ねて実施されました。これからもよろしくお願いします。

 

8月1日に京都大学で開催された、電子情報通信学会「合意と共創」研究会で、以下の発表を行いました。

• リモートペアプログラミングのためのマルチモーダル情報に基づく対話分析支援環境の提案,
  ○菊池琉聖・羽山徹彩（長岡技科大）・大島心平（小山高専）
• 信学技報, vol. 124, no. 144, Consen2024-3, pp. 15-21, 2024年8月.

以下の「動画像データに基づく人間の行動認識」に関する研究成果がElsevior社のジャーナルSignal Processingに出版されました。

Hu Cui, Tessai Hayama, “Joint-Partition Group Attention for skeleton-based action recognition,” Signal Processing, Volume 224, 2024,

論文PDF:　https://doi.org/10.1016/j.sigpro.2024.109592

概要：スケルトンベースのアクション認識は、人間の関節の座標から行動を認識しますが、従来の方法では関節間の相関しか捉えられず、意味表現が不十分でした。本論文では、関節と身体部位の相関を包括的に捉えるために、Joint-Partition Group Attention（JPGA）を提案します。JPGAは関節と身体部位の異なる粒度サイズの相関を同時に捉えるメカニズムです。JPGAに基づいて構築したJoint-Partition Former（JPFormer）を用いた実験で、NTU-RGB+Dなどのデータセットにおいて最先端の結果を達成しました。

以下の「動画像データに基づく人間の行動認識」に関する研究成果がSpringer社のジャーナルMultimedia Systemsに出版されました。

Cui, H., Hayama, T. STSD: spatial–temporal semantic decomposition transformer for skeleton-based action recognition. Multimedia Systems 30, 43 (2024).

論文PDF:　https://rdcu.be/dw2iz

概要：本研究では、人間の行動を認識するためにスケルトンデータを用いた新しい方法を提案しています。従来の課題である人体の部位と動きの意味情報の活用を改善するため、空間的・時間的な関係を捉えるネットワークを開発しました。提案方法は、特に背景が複雑である場合や照明、カメラの角度が変わっても強い認識性能を示し、大規模なデータセットでのテストにおいても、最先端手法よりも良い精度を達成しました。

長谷川君（M2）が2023/12/4-8に開催のInternational Conference on Computers in Education (sub conf.: AIED , Artificial Intelligence in Education) @ Matsue で、以下の発表をしました。

• Takumi Hasegawa and Tessai Hayama. Developing a Video-based e-Learning System Incorporating a Fill-in-the- blank Question-type Concept Map.

 

「センサを用いた人間行動パターン認識」に関する研究と，「動画学習コンテンツの学習支援システム」に関する研究です。2024年4月に掲載されます。

• Mining User Activity Patterns from Time-Series Data Obtained from UWB Sensors in Indoor Environments
• Muhammad FAWAD RAHIM, Tessai HAYAMA
• Publication: IEICE TRANSACTIONS on Information and Systems

• Practical Application of an e-Learning Support System Incorporating a Fill-in-the-Blank Question-Type Concept Map
• Takumi HASEGAWA, Tessai HAYAMA
• Publication: IEICE TRANSACTIONS on Information and Systems

研究室BBQをしました。B3生の研究室配属、高専インターンシップ生、Nikolas君の送別会などを兼ねまして。雨予報でしたが、曇りながら、無事開催できました。