自己教師あり学習を導入した局所拡張型異常生成による異常検知の高精度化

題目：自己教師あり学習を導入した局所拡張型異常生成による異常検知の高精度化
学会名：情報科学技術フォーラム
学会の開催期間：2025年9月3-5日
著者：本田晴己，山内悠嗣

1. 自己教師あり学習を導入した
局所拡張型異常生成による異常検知の高精度化
中部大学 本田晴己 山内悠嗣
2025年9月3日(水)～9月5日(金)
第24回情報科学技術フォーラム（ FIT2025）

2. 研究背景
⚫AIを活用した異常検知が急速に進展
⚫検査効率や精度が目視の検査よりも向上
⚫検査や教育にかかる人件費を削減
2
AIによる異常検知の様子
https://sanki1948robo.securesite.jp/rb/robopride/column/visual-_inspection_robot/

3. 近年の異常検知手法
⚫教師なし学習の代表的な手法： PaDiM[++Defard，ICPR2021]
⚫正常画像のみを用いて正常分布を学習し，外れ度合いで異常度を測る
⚫教師あり学習の代表的な手法： NSA[++Schlüter， ECCV2022]
⚫正常画像と異常画像を用いて 2値分類モデルを学習
3
Defard et al. “PaDiM: A Patch Distribution Modeling Framework for Anomaly Detection and Localization”, ICPR, 2021.
教師なし学習 教師あり学習
Schlüter et al. “Natural Synthetic Anomalies for Self-Supervised Anomaly Detection and Localization”, ECCV, 2022.

4. 教師あり学習における異常検知の課題
⚫異常データの不足
⚫異常な事例は少ないが，学習する上で大量の異常画像が必要
4Bergmann et al. “MVTec AD—A comprehensive real-world dataset for unsupervised anomaly detection.”, CVPR,2019.
擬似的に異常画像を生成する手法が求められている

5. 擬似的な異常データの生成手法
⚫CutPaste[Li++，CVPR2021]
⚫画像の一部を他の位置貼り付けることで疑似的に異常画像を生成
⚫正常画像・疑似異常画像の二値分類問題として解き，異常検知モデルを学習
5
切り取り 貼り付け
正常画像 疑似異常画像
Li et al. “Cutpaste: Self-supervised learning for anomaly detection and localization.” , CVPR, 2021.

6. 本研究の着眼点
⚫CutPasteによる不自然な疑似異常画像
⚫切り貼り位置のランダム性から，現実に存在し得ない不自然な異常画像を生成
⚫異常検知モデルの精度向上を妨げる要因となっている
⚫実際の異常は微少であることが多い
⚫現実に発生し得る異常画像を生成し，学習に用いることで，精度向上が期待できる
6
CutPasteによる不自然な疑似異常画像 実際の異常画像

7. 研究目的とアプローチ
⚫研究目的
⚫局所拡張型異常生成による異常検知の高精度化
⚫アプローチ
⚫微少な疑似を含む異常画像を生成する局所拡張型異常生成を提案
⚫現実に発生し得る異常を再現
⚫生成した疑似異常画像を用いて自己教師あり学習
⚫特徴空間上で正常・疑似異常の分布を分離することで，正確な分類を可能とする
7

8. 提案手法の概要
⚫提案手法は 3つのステップで構成される
8

9. 提案手法の概要
⚫局所拡張型異常生成
9

10. 局所拡張型異常生成の概要
⚫現実に発生し得る異常を再現する疑似異常画像生成手法の提案
⚫CutPasteで生成される，不自然な異常画像，背景に貼り付ける画像を排除
10

11. 局所拡張型異常生成の流れ (1/2)
⚫正常画像からパッチを切り取り，微少なズレと回転を加えて，
同一画像に貼り付ける
11

12. 局所拡張型異常生成の流れ (2/2)
⚫生成した疑似異常画像と元の正常画像の類似度を計算
⚫類似度が高い場合は，背景へ貼り付けた画像と判断し破棄，低い場合は学習に使用
12

13. 類似度評価指標
⚫Structural SIMilarity(SSIM)
⚫輝度・コントラスト・構造の類似性を同時に評価
⚫画像を局所パッチに分割し，パッチごとに計算
⚫元画像xと異常画像 yは以下の式で計算される
13
SSIMx,�=
2??????�??????�+??????12??????��+??????2
??????
�
2
+??????
�
2
+??????1(??????
�
2
+??????
�
2
+??????2)
??????
�, ??????
� ： パッチの平均値
??????
�
2
,??????
�
2
：分散
??????
��： 共分散
??????1,??????2：安定項の定数
人間の視覚特性に近い類似度指標を用いることで，精緻なフィルタリング処理を実現

14. 局所拡張型異常生成による異常画像 (1/2)
⚫screwにおける疑似異常画像
⚫実際に起こり得る微少な異常を再現
14
局所拡張型 異常生成 CutPaste実際の異常画像

15. 局所拡張型異常生成による異常画像 (2/2)
⚫capsuleにおける疑似異常画像
⚫実際に起こり得る微少な異常を再現
15
局所拡張型 異常生成 CutPaste実際の異常画像

16. 提案手法の概要
⚫自己教師あり学習（事前学習）
16

17. 自己教師あり学習
⚫未ラベルデータに対して自己生成した前課題を解き，汎用的な特徴表現
を獲得する学習手法
⚫SimCLR[He++，ICML2020]
⚫同一画像の拡張を近づけ，別画像の拡張は特徴分布を遠ざけるように学習
17He et al. “A Simple Framework for Contrastive Learning of Visual Representations.”, ICML, 2020.
特徴空間における正例・負例

18. 自己教師あり学習の導入
⚫正常画像・疑似異常画像の分布を分離するように学習
⚫局所拡張型異常生成による疑似異常画像を使用
18
正常画像と異常画像の分類精度向上を目指す

19. 提案手法における自己教師あり学習の概要
19
⚫元が同じ画像かつ同じクラスの組み合わせは近づけ，それ以外は
遠ざけるように学習

20. 自己教師あり学習の流れ (1/3)
⚫正常画像に局所拡張型異常生成を適用し，疑似異常画像を生成
⚫それぞれに対して，データ拡張を適用
20

21. 自己教師あり学習の流れ (2/3)
⚫拡張された画像をモデルに入力し，特徴ベクトルを得る
⚫正常同士，異常同士を近づけ，正常・異常ペアは特徴分布を離すよう学習
21

22. 自己教師あり学習の流れ (2/3)
⚫拡張された画像をモデルに入力し，特徴ベクトルを得る
⚫正常同士，異常同士を近づけ，正常・異常ペアは特徴分布を離すよう学習
22

23. 自己教師あり学習の流れ (3/3)
⚫別の画像の拡張も負例に追加
23

24. 自己教師あり学習の損失関数
⚫自己教師あり学習の損失関数に正則化項を追加
⚫事前学習済みモデルの有用な表現を失わせないため
⚫L2-SP正則化
⚫事前学習済みモデルの重みからの変化を L2ノルムで抑制し，元の表現を保ちながら
新タスクに適応させる正則化
24
ℒ = ℒ
??????+ ασ
??????∈?????? ??????−??????
0
2
2
Xuhong et al. “Explicit inductive bias for transfer learning with convolutional networks.”, PMLR, 2018.
L2-SP正則化項自己教師あり学習の損失
α：L2-SPの係数
??????：L2-SPをかける重み
??????
0
：初期重み
??????：L2-SPをかける重みの集合

25. 自己教師あり学習の損失
⚫通常のNT-Xent損失関数の分母に負例項を追加
⚫元画像が同じかつ異なるクラスの負例の場合は弱い重みを適用
25
ⅈ：アンカー
�：正例
�：負例
??????
��, ??????
��：cos類似度
??????：重み
??????：正例ペアの集合
??????
�：通常の負例集合
??????
� ：元画像が同じかつ
異なるクラスの負例集合
元画像が同じ画像同士の過度な乖離による表現劣化を防ぎつつ，正常・異常の明確な分離を実現
通常のNT-Xent
追加した負例項

26. 提案手法の概要
⚫ファインチューニング
26

27. ファインチューニングの概要
⚫自己教師ありの学習済みモデルを初期重みとして二値分類タスク
⚫自己教師ありで得た汎用表現を維持しつつ，二値分類タスクで精度向上を図る
27

28. ファインチューニングの流れ (1/3)
⚫正常画像に局所拡張型異常生成を適用し，疑似異常画像を生成
28

29. ファインチューニングの流れ (2/3)
⚫正常画像と疑似異常画像を事前学習済みモデルに入力しそれぞれの
予測ラベルを得る
29

30. ファインチューニングの流れ (3/3)
⚫予測ラベルと正解ラベルの誤差を最小化し学習
⚫ResNet-18のLayer4と，新たに追加した 2層のMLPのみが重み更新対象
30
： tune
：freeze

31. ファインチューニングの損失関数
⚫クロスエントロピー損失 +L2-SP正則化
⚫Layer4と2層のMLPのみに適用
⚫モデル凍結に加え，更新する層の損失関数に正則化項を追加することで，
下流タスクへの過度な適応を防ぐ
⚫自己教師ありで得た汎用表現を維持しつつ，二値分類タスクで精度向上を図る
31
�： 予測ラベル (ロジット )
�： 正解ラベル (0 or 1)
????????????：クロスエントロピー
α ： 正則化係数
??????：L2-SPをかける重み
??????
0
：初期重み
??????：L2-SPをかける重みの集合
ℒ =????????????�,�+ ασ
??????∈?????? ??????−??????
0
2
2

32. 評価実験
⚫比較手法
⚫CP：CutPaste[1]でのファインチューニング
⚫LA：局所拡張型異常生成でのファインチューニング
⚫SSL+LA：自己教師あり学習での事前学習
+局所拡張型異常生成でのファインチューニング
⚫評価指標
⚫ROC Area Under the Curve（ROCAUC）
⚫使用するモデル
⚫ImageNetで事前学習済の ResNet-18
32
[1] Li et al. “Cutpaste: Self-supervised learning for anomaly detection and localization.” , CVPR, 2121.

33. データセット
⚫MVTec Anomaly Detection Dataset（MVTec）
⚫産業製品の外観検査を想定した異常検知データセット
⚫15クラス（10 Objects，5 Textures）
⚫本研究では Objectsのみを用いる
⚫訓練データ： 60~391枚(正常画像のみ )
⚫テストデータ： 12~60枚(正常画像)+30~123枚(異常画像)
33Bergmann et al. “MVTec AD—A comprehensive real-world dataset for unsupervised anomaly detection.”, CVPR,2019.

34. 実験結果
⚫SSL＋LAが平均95.8%で最高AUC
⚫10個のカテゴリの内， 8個で最高， 1個で同率，残る 1個(cable)は0.2%差
34
[1] Li et al. “Cutpaste: Self-supervised learning for anomaly detection and localization.” , CVPR, 2121.

35. 局所拡張型異常生成の有効性
⚫通常のCutPasteと比較して平均精度が向上
⚫半分以上のカテゴリで精度向上
35
[1] Li et al. “Cutpaste: Self-supervised learning for anomaly detection and localization.” , CVPR, 2121.

36. 特に精度が向上したカテゴリ
⚫screwにおいては， LAのみで5.9％，SSLと組み合わせることで
8.4%の精度向上を確認
⚫疑似異常の自然さによる精度向上
⚫局所拡張型異常生成の有効性を示した
36
CP ：CutPaste
LA ：局所拡張型異常生成
SSL：自己教師あり学習
ROC-AUC（%）

37. 精度が低いカテゴリの考察
⚫背景領域が少ない orないカテゴリにおいて精度低下傾向がある
⚫通常のCutPasteで不自然さが表れにくい
⚫結果的に CutPasteより構造的な異常のバリエーションが劣る
37
metalnut cable
metalnut cable
局所拡張型異常生成
CutPaste
screw capsule
screw capsule
精度が高いカテゴリ 精度低いカテゴリ

38. 自己教師あり学習の有効性
⚫同じ条件下 (LA)では，SSLが一貫して ImagNetを上回る
⚫局所拡張型異常生成を用いた自己教師あり学習の有効性を示した
38

39. まとめ
⚫新たな擬似異常生成手法と自己教師あり学習を統合した異常検知法を提案
⚫現実に発生し得る異常を再現する局所拡張型異常生成
⚫評価実験の結果
⚫提案手法は平均 95.8%，10個のカテゴリの内 9個で最高精度を示した
⚫局所拡張型異常生成の有効性を示した
⚫今後の予定
⚫擬似異常の生成方法のさらなる多様化
⚫特徴空間における分布モデリングを導入した異常スコア算出の高精度化
⚫実環境におけるリアルタイム異常検知，マルチスケール異常への対応
39