Cross-Dataset Representation Learning for Unsupervised Deep Clustering in Human Activity Recognition

Authors: Tomoya Takatsu; Tessai Hayama; Hu Cui

https://ieeexplore.ieee.org/document/10971938

Abstract:

This study presents a new method to improve unsupervised deep clustering for Human Activity Recognition (HAR). Traditional methods often struggle to extract meaningful features from unlabeled data, resulting in poor classification accuracy. To solve this, the proposed method combines an autoencoder with models pre-trained on diverse HAR datasets. This approach helps extract more reliable and generalizable feature representations, which are then used for clustering.

The method was tested on three HAR datasets and significantly outperformed existing methods like k-means, HMM, and standard autoencoder-based clustering, achieving F1 scores between 0.441 and 0.781. Even with just 50 labeled samples for fine-tuning, the performance improved further, reaching F1 scores of 0.66 to 0.88. This demonstrates the method’s robustness and effectiveness in unsupervised settings. It also shows promise for broader use beyond HAR.

本研究は、人間行動認識（HAR）における教師なし深層クラスタリングの精度を向上させる新しい手法を提案しています。従来の手法では、ラベルなしデータから有用な特徴をうまく取り出せず、分類性能が低いという課題がありました。

そこで本研究では、さまざまなHARデータセットで事前学習されたモデルとオートエンコーダを組み合わせることで、より頑健で汎用的な特徴表現を抽出し、それを使ってクラスタリングを行います。

3つのHARデータセットで検証した結果、従来手法（k-meansやHMM、通常のオートエンコーダ）よりも高いF1スコア（0.441〜0.781）を達成。さらに、わずか50個のラベル付きデータで微調整した場合でもF1スコアが0.66〜0.88まで向上しました。

この手法は、ラベルの少ない状況でも高い認識精度を実現できることを示しており、HAR以外の分野にも応用可能な、実用性と拡張性の高い方法です。

HGMamba: Enhancing 3D Human Pose Estimation with a HyperGCN-Mamba Network

Authors: HU CUI and Tessai Hayama
Conference: 2025 International Joint Conference on Neural Networks (IJCNN)
📄 arXiv:2504.06638

---

The paper introduces HGMamba, a novel network combining HyperGCN and Shuffle Mamba to enhance 3D human pose estimation from 2D pose data.
HyperGCN captures local joint dependencies via hypergraphs, while Shuffle Mamba scans global spatio-temporal patterns across all joints.
By fusing both, HGMamba models both local structure and global context effectively.
Tested on Human3.6M and MPI-INF-3DHP, HGMamba-B achieved state-of-the-art P1 errors: 38.65 mm and 14.33 mm, respectively.

---

本論文では、2D姿勢データからの3D姿勢推定を高精度化する新しいネットワーク「HGMamba」を提案しています。
HyperGCNは関節間の局所構造をハイパーグラフで捉え、Shuffle Mambaは全関節にわたる時空間的特徴を抽出します。
両者を融合することで、局所とグローバルの特徴を高精度にモデリングします。
Human3.6MおよびMPI-INF-3DHPで評価した結果、HGMamba-BはP1エラー38.65mm／14.33mmと最先端の精度を達成しました。

Our latest work has been published in Neurocomputing (Volume 637, 7 July 2025).

Title: Dstsa-Gcn: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Authors: Hu Cui, Renjing Huang, Ruoyu Zhang, Tessai Hayama

https://doi.org/10.1016/j.neucom.2025.130066

Graph Convolutional Networks (GCNs) have great potential for recognizing human gestures from skeleton data. However, existing methods struggle to capture dynamic and multiscale patterns. Our proposed method, DSTSA-GCN, addresses this with:

• GC-GC & GT-GC: New modules for modeling correlations across channels and time frames.

• MS-TCN: A multi-scale convolutional module to handle temporal diversity.

• Semantic-Aware Topology Modeling: Better understanding of gesture structure and motion.

Our method achieves state-of-the-art performance on key benchmarks like SHREC’17, DHG-14/28, and NTU-RGB+D.

Code Available: https://hucui2022.github.io/dstsa_gcn/

International Conterencce on Knowledge, Information, and Creativity Support Systems で、以下のタイトルで基調講演Keynote Speechをしました。

Title:   Advances in Human Activivty Recognition: Intellient Systems and Real-World Applications

Speakers:  Tessai Hayama,  Hu Cui

 

国際会議PRICAI(RLC)で、以下の研究成果を発表しました。

Title: Cross-Dataset Representation Learning for Unsupervised Deep Clustering in Human Activity Recognition

Authors: Tomoya Takatsu, Tessai Hayama and Hu Cui

The Pacific Rim International Conference on Artificial Intelligence – workshope,  (PRICAI)Representation Learning and Clustering (RLC’24), Nov. 19, 2024

概要：機械学習では大量のラベル付きデータを用意する必要があり，それには多大なコストを要する．そこで，人間に付与した加速度センサから行動を認識することを対象に，ラベルなしデータをもとに学習モデルを構築する方法を研究している．
本論文では，異なる人間行動データセットを活用したクロスデータセット表現学習を導入し，正解ラベルなしデータから人間行動を認識する深層クラスタリング手法について述べる．従来の深層クラスタリング手法では，オートエンコーダを用いて潜在表現を抽出していたが，行動を識別する上で十分な特徴を捉えることが困難であった．本研究では，異なるラベル付き人間行動データセットで学習したモデルをオートエンコーダに組み込み，そこで得られた潜在表現を特徴として活用することで，より行動の特徴を捉えた表現学習を実現した．評価実験では，3種類の人間行動データセットを用い，識別精度をもとに従来手法と比較することで，提案手法の有効性を明らかにした．

 

研究会懇親会のBBQを、丘陵公園で開催しました。4月から研究室に参加した学生たちの歓迎会やオープンハウスに参加して頂いた高専からの2名の学生さんたちとの懇親会も兼ねて実施されました。これからもよろしくお願いします。

 

8月1日に京都大学で開催された、電子情報通信学会「合意と共創」研究会で、以下の発表を行いました。

• リモートペアプログラミングのためのマルチモーダル情報に基づく対話分析支援環境の提案,
  ○菊池琉聖・羽山徹彩（長岡技科大）・大島心平（小山高専）
• 信学技報, vol. 124, no. 144, Consen2024-3, pp. 15-21, 2024年8月.

以下の「動画像データに基づく人間の行動認識」に関する研究成果がElsevior社のジャーナルSignal Processingに出版されました。

Hu Cui, Tessai Hayama, “Joint-Partition Group Attention for skeleton-based action recognition,” Signal Processing, Volume 224, 2024,

論文PDF:　https://doi.org/10.1016/j.sigpro.2024.109592

概要：スケルトンベースのアクション認識は、人間の関節の座標から行動を認識しますが、従来の方法では関節間の相関しか捉えられず、意味表現が不十分でした。本論文では、関節と身体部位の相関を包括的に捉えるために、Joint-Partition Group Attention（JPGA）を提案します。JPGAは関節と身体部位の異なる粒度サイズの相関を同時に捉えるメカニズムです。JPGAに基づいて構築したJoint-Partition Former（JPFormer）を用いた実験で、NTU-RGB+Dなどのデータセットにおいて最先端の結果を達成しました。

以下の「動画像データに基づく人間の行動認識」に関する研究成果がSpringer社のジャーナルMultimedia Systemsに出版されました。

Cui, H., Hayama, T. STSD: spatial–temporal semantic decomposition transformer for skeleton-based action recognition. Multimedia Systems 30, 43 (2024).

論文PDF:　https://rdcu.be/dw2iz

概要：本研究では、人間の行動を認識するためにスケルトンデータを用いた新しい方法を提案しています。従来の課題である人体の部位と動きの意味情報の活用を改善するため、空間的・時間的な関係を捉えるネットワークを開発しました。提案方法は、特に背景が複雑である場合や照明、カメラの角度が変わっても強い認識性能を示し、大規模なデータセットでのテストにおいても、最先端手法よりも良い精度を達成しました。

長谷川君（M2）が2023/12/4-8に開催のInternational Conference on Computers in Education (sub conf.: AIED , Artificial Intelligence in Education) @ Matsue で、以下の発表をしました。

• Takumi Hasegawa and Tessai Hayama. Developing a Video-based e-Learning System Incorporating a Fill-in-the- blank Question-type Concept Map.