行動センシングにおける意図的改ざん対策のためのウェアラブルデバイスの装着部位・装着者認証

various applications, such as daily activity monitoring and sports performance analysis. However, when employed for behavior verification, it requires not
only high recognition performance but also robustness against intentional manipulation.
To address this challenge, we propose a dual authentication framework that simultaneously verifies the wear location of the sensor and authenticates the user. Specifically, a
transformer-based model was constructed for wear location authentication, and a dedicated binary classification model was developed for user authentication. Experimental
evaluations demonstrated that the wear location authentication model achieved F1 scores
of 0.90 or higher across all classes, while the wearer authentication model, validated
through k-fold cross-validation on data from 16 users, achieved a low equal error rate of
6.1%. These results highlight the effectiveness of the proposed method and its potential
to provide a tamper-resistant foundation for behavioral authentication systems.

1. 行動センシングにおける意図的改ざん対策のための
装着部位・装着者認証
第223回ヒューマンインタフェース学会研究会
「人工現実感，エンタテイメント，メディアエクスペリエンスおよび一般 (SIG-DeMO-20)」登壇発表
*1: 慶應義塾大学 理工学部 情報工学科
*2: 大阪大学大学院 基礎工学研究科 システム創成専攻
鈴木 達
*1
王 卓立
*1
雨坂 宇宙
*2
杉浦 裕太
*1

2. •ウェアラブルデバイスの普及と様々な活用の可能性
•行動証明への利用の検討
•e.g. 健康管理における活動実績の保証システム
•歩くと保険料が安くなるサービスの存在
•インセンティブ目的の悪用の可能性
2
背景

3. •改ざんが起こりうる場面
•キャリブレーション時
•デバイス購入時に学習用データを取得
•販売員等の第三者の監視下で実行することで不正リスクを抑制
•システム利用時
•装着位置や装着部位を改ざん
•正確なデータの取得が困難
•最終的な出力段階
•取得後のデータを直接改ざん
•暗号化やセキュリティ技術の発展により解決策が存在
3
背景

4. •IMUデータを用いた装着部位・装着者認証の実現
•デバイス使用時における改ざんの防止
•Xsensで取得したデータを使用し実現可能性を調査
4
目的

5. •生体情報パターン認証 (Cheungら
[1]
，Vhaduriら
[2][3]
)
•心拍数をベースにした手法
•心拍数だけで認証できないときは歩行データ、呼吸音も使用
•課題
•ウェアラブルデバイスに対して多数の計測機能を要求
•歩行データ認証 (Leeら
[4]
，Liuら
[5]
)
•歩行動作から個人を認証
•Liuらの研究では環境変化に対する頑健性を示した．
•e.g. 路面の種類，様々なセンサの装着部位や向き
•課題
•所定の位置に装着していることが前提
5
[1]William Cheung and Sudip Vhaduri: ContextDependentImplicit Authentication for Wearable Device Users, Proceedings of the 2020 IEEE 31st Annual International Symposium on Personal, Indoor and Mobile Radio Communications,
pp. 1–7, IEEE, (2020).
[2]Sudip Vhaduriand Christian Poellabauer: MultiModalBiometric-Based Implicit Authentication of Wearable Device Users, IEEE Transactions on Information Forensics and Security, Vol.14, No. 12, pp. 3116–3125, IEEE, (2019).
[3]Sudip Vhaduri, SayantonDibboVhaduriand William Cheung: HIAuth: A Hierarchical Implicit Authentication System for IoT Wearables Using Multiple Biometrics, IEEE Access, Vol. 9, pp. 116395–116406, IEEE, (2021).
[4]Soobin Lee, SeungjaeLee, EunkyoungPark, JongshillLee and In Young Kim: Gait-Based Continuous Authentication Using a Novel Sensor Compensation Algorithm and Geometric Features Extracted From Wearable Sensors, IEEE
Access, Vol. 10, pp. 120122–120135, IEEE, (2022).
[5]Yushi Liu, Kamen Ivanov, JunxianWang, Fuhai Xiong, JiahongWang, Min Wang, Zedong Nie, Lei Wang and Yan Yan: Topological Data Analysis for Robust Gait Biometrics Based on Wearable Sensors, IEEE Transactions on
Consumer Electronics, Vol. 70, No. 2, pp. 4910–4921, IEEE, (2024).
関連研究(装着者認証 )

6. •歩行中の加速度データ (Kunzeら
[6]
)
•歩行中かどうか検出
•手首，頭部， 左大腿部のポケット， 左胸ポケットの４クラス識別
•課題
•歩行中以外の識別に未対応であること
•識別クラスが少ないこと
•カメラ映像＋ IMU(Ruizら
[7]
，Bannisら
[8]
)
•カメラ映像から装着者の姿勢推定
•ネットワーク上のデバイスの仮想 IDと装着者と装着部位を識別
•課題
•カメラに映る空間内のみ使用可能
•プライバシーの観点からの抵抗感
6
[6]Klaus Kunze, Patrick Lukowicz, Harald Junker, Gerhard Tr¨oster: Where am I: Recognizing On-body Positions of Wearable Sensors, In: Thomas Strang, Christian Linnhoff-Popien(eds) Location-and Context-Awareness. LoCA2005.
Lecture Notes in Computer Science, Vol. 3479, Springer, Berlin, Heidelberg, pp. 214–229, (2005).
[7]Carlos Ruiz, ShijiaPan, Hae Young Noh, Pei Zhang: WhereWear: Calibration-free Wearable Device Identification through Ambient Sensing, Proc. The 5th ACM Workshop on Wearable Systems and Applications (WearSys’19), pp.
29–34, (2019).
[8]Adeola Bannis, ShijiaPan, Carlos Ruiz, John Shen, Hae Young Noh, Pei Zhang: IDIoT: Multimodal Framework for Ubiquitous Identification and Assignment of Human-carried Wearable Devices, ACM Trans. Internet Things, Vol. 4, No.
2, Art. 11, 25 pages (2023).
関連研究(装着部位認証 )

7. •心拍・脈拍の時間差 (Yoshidaら
[9]
)
•心電図センサと脈拍センサの同時計測
•波形の時間差を用いて装着部位を推定
•特定の動作を強要する必要がないという優位性
•課題
•心電図センサ，脈拍センサの装着が前提
•日常的な使用には不向き
7
[9]Kazuki Yoshida, Kazuya Murao: Estimating load positions of wearable devices based on difference in pulse wave arrival time, Proc. ACM Int. Symp. Wearable Computers (ISWC ’19), pp. 234–243, 10 pages, London, United Kingdom
(2019).
関連研究(装着部位認証 )

8. •IMU データを用いた装着部位認証及び装着者認証
•入力：120フレームの加速度・角加速度データ
•装着部位を先に認証
•正しい装着部位のデータのみ装着者認証を実行
•装着者認証タスクの簡略化
8
提案手法
システムの流れ

9. •Xsensで取得した モーションキャプチャデータを使用
•歩行・階段の昇降・走行などの動作データ
•16名の被験者
•23カ所にセンサを配置
•60Hzで各センサからグローバル座標系のデータを取得
•三軸加速度及び三軸角加速度を用いて時系列データ群を作成
•フレーム数： 120(2秒間)
9
実装：データセット
センサ装着位置
入力時系列データ

10. •右手首，左手首，その他の部位に分類
•スマートウォッチへの活用を想定
•入力
•IMU時系列データ
•高速フーリエ変換によって得た周波数特徴量
•学習
•Transformerベースのモデル
•128次元特徴ベクトルを出力
•Triplet Lossを用いた距離学習
•同一クラス内での平均的な特徴ベクトルを算出
•学習段階では全ユーザの 8割の人数のデータを使用
•評価
•学習で使用していないユーザのデータを使用
•テストデータと各クラスごとの特徴ベクトルとのユークリッド距離により判定
10
実装：装着部位認証モデル
装着部位認証モデルの概要

11. •装着部位 (右手首 or 左手首)が特定されたのち実行
•入力
•手首の時系列データから特徴ベクトルを作成
•時間領域特徴ベクトルと周波数特徴ベクトルを結合
•モデル
•3層1D-CNN，Transformer層
•時間領域特徴ベクトルを出力
•全結合層
•判定
•モデルの出力スコアを Sigmoid関数で確率値に変換
•閾値を0.5として本人か他人か分類
11
実装：装着者認証モデル (1/2)
装着者認証モデルの概要

12. •学習
•ターゲットユーザのデータのうち 8割
•それ以外のユーザの人数の 8割
•Weighted Random Samplerを使用
•データ数の不均衡を是正
•評価
•ターゲットユーザのデータのうち 2割
•学習に使用していないユーザのデータ
•全ユーザを対象とした 4-fold交差検証
12
実装：装着者認証モデル (2/2)
装着者認証モデルの概要

13. •未知の時系列データに対して高い識別性能
•全体の正答率は 98.7%
•全てのクラスにおいて F1スコアが0.90以上
•手首以外の部位の識別を高精度に実行可能
•右手首と左手首のクラス間で低い誤分類率
•手首のデータを手首以外と識別するケース
•具体的にどの部位と誤ったか分析が必要
13
結果：装着部位認証
装着部位認証モデルの
未知データによる 評価
各クラスごとの認証結果
other
Right
Left
LeftRightother

14. •未知のユーザデータに対し高い識別性能
•他人を97%の確率で拒否
•本人を90%の確率で受容
•優れたFARとFRRのトレードオフ特性
•FAR：他人受入率 (誤って他人を受容 )
•FRR：本人拒否率 (誤って本人を拒否 )
•閾値が低くても他人を受け入れにくい．
•閾値を高くしても本人を拒否しにくい．
14
結果：装着者認証
装着者認証モデルの
総合混同行列
FAR と FRR のトレードオフ曲線と
等価エ ラー率 (EER)

15. •全てのユーザにおいて低い等価エラー率
•等価エラー率： FAR曲線とFRR曲線が交わるときのエラー率
•全体でのEERは6.11%
•最も高い被験者でも 8.78%
•特定の被験者に対して極端に性能が劣化することはない
15
結果：装着者認証
被験者ごとの等価エラー率 (EER)

16. •装着部位認証
•IMUデータが持つ、部位ごとの統計的特徴の違いを効果的に学習
•ユーザが想定外の部位にデバイスを装着した場合でも高精度に検出可能
•装着者認証
•タスクの単純化による効果
•部位間の統計的性質の差異を考慮する必要がなくなった．
•ユーザ固有の微小な特徴の識別のみに集中
16
議論

17. •歩行などの動的なデータのみを使用
•静的な状態 (座位や立位 )での認証性能は未検証
•収集したデータはなりすまし攻撃を未想定
•ターゲットユーザを模倣した動作を識別する能力は未知
•Xsensによるデータは市販ウェアラブルデバイスより高品質
•市販されているウェアラブルデバイスのデータによる評価は未実施
17
制約

18. •静的データを入力としたモデルの評価
•動静両状態において頑健な特徴量の探索
•ターゲットユーザを模倣したデータに対する耐性の調査
•市販ウェアラブルデバイスで取得したデータによるモデルの評価
18
今後の課題

19. 19
まとめ
背景
ウェアラブルデバイスの行動証明への利用の検討
装着部位・装着者の改ざんの可能性
関連研究
デバイスに搭載された機能に依存
使用場面や動作など自由度が低い
提案手法 加速度・角加速度データによる装着部位認証及び装着者認証
実装
装着部位認証： TransformerとTriplet Lossを用いた距離学習
装着者認証： 1D-CNN, Transformerで時間領域特徴量抽出
結果
装着部位認証：未知のデータに対して高い識別性能
装着者認証：優れた識別性能と FARとFRRのトレードオフ特性
議論
装着部位認証：部位ごとの統計的特徴の違いを効果的に学習
装着者認証：タスクの単純化による効果
制約
静的な状態 (座位や立位 )での認証性能は未検証
ターゲットユーザを模倣した動作を識別する能力は未知
Xsensによるデータは市販ウェアラブルデバイスより高品質
課題
静的データを入力としたモデルの評価
ターゲットユーザを模倣したデータに対する耐性の調査
市販デバイスで取得したデータによるモデルの評価