東北大学AIE - 機械学習中級編とAzure紹介

機械学習のモデル作成は、多くの試行錯誤の中で行われ、終わりが見えません。直近数年は、更に効率的にモデル作成
を行う研究やそれらの実装が進んでいます。機械学習自身がブーム的に扱われがちであるが故、研究や技術的興味が
先行しがちです。結果、学習のためのデータに内包しているプライバシーやバイアスの取り扱い。そして、倫理観。そ
して製造物としての説明責任が大きな問題になっています。ここでは、機械学習のモデル作成経験のある方を対象と
して、学習処理の自動化や、モデルのブラックボックス化を最小化するための、最新の機械学習のツールをご紹介し
ます。

1. 機械学習 中級編 と Azure - Cloud による最適なコンピューティング環境 - 畠山 大有 | Daiyu Hatakeyama | @dahatake Architect && Software Engineer && Applied Data Scientist ( 目指している ) Microsoft Japan 東北大学人工知能エレクトロニクス卓越大学院プログラム

2. AI への 過度の期待 と失望 研究 と ビジネス を関連付けられる人材の不足 Deep Learning の Project は、現状 非常に 高コスト

3. 最近の潮流 Data Science and ML platforms Collaboration Acceleration Automation 1,000 を超えるモデルの展開と管理のための 自動化されたワークフロー GPT3 に代表される、複数 AI モデルの融合と トランスファーラーニング NLP 、リコメンデーション、 Many-Models の様な 構成可能で再現可能なレシピ ML の実践に貢献する複数ロールのための ツールとプロセス
複数のステークホルダーによる倫理的使用を保証する堅牢な責任ある AI アプローチ エンタープライズグレードのデータとモデルの ガバナンス / セキュリティ モデルの運用化を加速する MLOps の台頭
強化学習、 AN 、合成データなどの高度な技術 複数クラウド での トレーニングと推論

4. Microsoft AI

5. - 最新のアナリティクス・機械学習ツールの外部評価 - 2018 年 - 2020 年の大幅なアップデートにより、 2020 年最新の調査で「 Market Leader 」の評価を頂きました

6. Azure AI a b Cognitive Services Knowledge mining Machine Learning

7. The 80:20 Rule for AI Azure Machine Learning Develop Your Own Model 20 https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/data-science-and-machine-learning https://medium.com/microsoftazure/9-advanced-tips-for-production-machine-learning-6bbdebf49a6f Use Pre-trained Model 80 Azure Cognitive Services

8. Tool を知る価値 数年前だと … コンサル費用 数千万 + 数か月 誰でも数分でできる 襟あり RALPH LAUREN Cognitive Services Custom Vision

9. 非構造化データ NLP, Vision, IoT など 構造化データ DB 格納、 CSV など 全てのスキルレベルの方向けの Studio Notebooks Automated ML UX Designer 科学的アプローチと変化への対応などための MLOps Reproducibility Automation Deployment Re-training 豊富なコンピューティング環境 CPU, GPU, FPGAs IoT Edge Apps REST Endpoint: ACI, AKS など Batch : SQL DB など Model Export: ONNX など Analytics Azure Synapse Power BI など Azure Machine Learning モデルの構築・展開を、個人から企業レベルでも

10. Automated Machine Learning

11. この車の妥当な価格は ?

12. Mileage Condition Car brand Year of make Regulations … Parameter 1 Parameter 2 Parameter 3 Parameter 4 … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Mileage Gradient Boosted Criterion Loss Min Samples Split Min Samples Leaf Others 30% Model Which algorithm? Which parameters? Which features? Car brand Year of make モデルの開発には、多くの 試行錯誤 が必要 …

13. Criterion Loss Min Samples Split Min Samples Leaf Others N Neighbors Weights Metric P Others Which algorithm? Which parameters? Which features? Mileage Condition Car brand Year of make Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Nearest Neighbors 50% Model 繰り返し 30% Gradient Boosted Mileage Car brand Year of make Car brand Year of make Condition

14. Mileage Condition Car brand Year of make Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Gradient Boosted SVM Bayesian Regression LGBM Nearest Neighbors Which algorithm? Which parameters? Which features? 50% 30% 70% 30% 45% 50% 65% 95% 35% 10% 75% 20% 70% 30% 15% 繰り返し Regulations Condition Mileage Car brand Year of make

15. データセット 目標設定 学習の一貫性 出力 入力 アンサンブル学習 仮想マシンの自動起動・オートスケール 学習過程の可視化・モデルの説明性 ( 解釈性 ) ベストなモデルの選択 25% 25% 25% 25% 25% 25% 40% 40% 40% 40% 40% 70% 70% 70% 70% 95% Optimized model 95% Automated Machine Learning 分類・回帰 ・ 時系列予測 ONNX サポート

16. ジョブ出力例

17. 内部で行っている事 User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “ HyperDrive ” Logging for Visualize

18. 内部で行っている事 User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “ HyperDrive ” Logging for Visualize インフラのベストプラクティス 機械学習のベストプラクティス

19. 深層学習でも User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “ HyperDrive ” Logging for Visualize インフラのベストプラクティス 深層学習のベストプラクティス

20. Automated ML Data Preprocessing Feature Selection Algorithm Selection Hyperparameter Tuning Model Recommendation Interpretability & Explaining データの クリーニング Feature の選択 ジョブの並列実行と合わせて 設定範囲の中で、何を選択して 何を選択肢から除外するか 精度と 実行速度も 加味 そのモデルに影響のあった Feature は どれだったのか ?

21. Deep Learning BEAT BiLSTM ForecastTCN

22. Deep learning Auto-settings 休日検知 気象など Open Dataset の利用 複数の models 新しい learners Time series forecasting 連続した時間に発生する イベントを予測する

23. 目的変数 Target 目的変数 Target 説明変数の中に、 妥当性のある時間 のデータ Time Series Forecasting Requirements Day Store Sales Week_of_year 9/3/2018 A 2000 36 9/3/2018 B 600 36 9/4/2018 A 2300 36 9/4/2018 B 550 36 説明変数 Feature 頻度の一貫性

24. 値の取りうる範囲が広い 例 : Learning rate: 0.1 もしくは 0.01 もしくは 0.001 もしくは … 複数の値の組み合わせ 最適な構成を探し出すのは困難 一つの学習ジョブの実行時間は長い 時間とリソースの制限 Hyperparameter 選択の難しさ - Hyperparameter Explorer -

25. ハイパーパラメータチューニング “Hyperdrive” 分散環境で並列実行することで高速化を実現 ハイパーパラメータの探索 ■メジャーなチューニング手法を提供 Grid Search Random Search Bayesian Optimization ■早期終了条件の指定が可能 ■実行結果の可視化

26. AI Ethics

27. 「動けばいい」

28. Bias = 先入観・偏見 全てのデータは 人 によって 作られる

29. 例 : StreetBump smartphone app スマートフォン の GPS “Data” を使って、 道路の異常個所を収集 年収の低い方は ? Bias - ユーザーからのフィードバック収集 http://www.streetbump.org/

30. Bias - ステレオタイプ

31. 信頼性 安全で信頼できる 透明性 理解できる 包括性 あらゆる人の力となり、人々を結びつける プライバシーと セキュリティ 安全に管理され プライバシーを 最大限尊重する 公平性 全ての人を 公平に扱う THE GOLDEN RULE Microsoft の AI のための倫理的原則 説明責任 システムとしての 説明責任を 果たす

32. 信頼性 安全で信頼できる 透明性 理解できる 包括性 あらゆる人の力となり、人々を結びつける プライバシーと セキュリティ 安全に管理され プライバシーを 最大限尊重する 公平性 全ての人を 公平に扱う THE GOLDEN RULE Microsoft の AI のための倫理的原則 説明責任 システムとしての 説明責任を 果たす

33. Joy Buolamwini , MIT Dr. Timnit Gebru , Google 性別に関する肌の色の影響

34. Woman Dark Skin Woman Light Skin Man Dark Skin Man Light Skin 2018 MS Face API Error Rate 20.8% 1.7% 6.0% 0.0% 2019 MS Face API Error Rate 1.5% 0.3% 0.3% 0.0% Buolamwini & Gebru , 2018 Raji & Buolamwini, 2019 リソースの継続的な投資によって改善 Accuracy より E rror Rate に着目 エラーを分解 特性間の交点を確認 Face API

35. Woman Dark Skin Woman Light Skin Man Dark Skin Man Light Skin 1.52% .34% .33% 0% 304,000 68,000 66,000 公平なのか ? NYC の著名なデパートには 毎年 2,000 万人もの人が来店する 50% ずつの性別と肌の色と仮説する 小売業向けの性別 C lassifier 誤差率が小さくとも、相対的な違いに注目 相対的な差異が重要

36. NIPS 2017 Keynote: The Trouble with Bias https://youtu.be/fMym_BKWQzk

37. 公平 性 全ての人を公平に扱う 信頼性 信頼できる プライバシ ー とセキュリティ 安全に管理されプライバシーを最大限尊重する 包括性 あらゆる人の力となり、 人々を結びつける 透明性 理解 できる 説明 責任 システムとしての説明責任を果たす Design for AI https://www.microsoft.com/ja-jp/AI/our-approach-to-ai/

38. The Future Computed ： AI とその社会における役割 “ 我々は、 [ テクノロジーが AI からもたらす ] 社会的課題にどのように取り組んでいるかについて、慎重に考える必要があります " - ブラッド スミス Brad Smith, President of Microsoft 責任のある AI の利用

39. Learn more about our approach at https://www.microsoft.com/AI/our-approach-to-ai Download The Future Computed at aka.ms/ Futurecomputed Check the Responsible AI section at aischool.microsoft.com Get started with homomorphic encryption at ailab.microsoft.com Get started with InterpretML at github.com/Microsoft/interpret Learn more

40. Responsible AI への 取り組み

41. Black Box モデルの弊害 モデルの精度とモデルの解釈性はトレードオフになりがち Black Box モデル なぜその予測値になった？ モデルの改善方法は？ モデル構造が複雑 理解するのが非常に困難 要因探索 、 与信管理など説明責任が伴うビジネスでは ブラックボックスなモデルは使えない ...

42. 実データは複雑 十分に表現力がある（≒複雑な）モデルを使わないと「高い精度」を得られない 複雑なモデルは人間には理解できない なぜトレードオフが存在するのか？

43. 局所的な説明 モデルの入力データに対する予測値を基に、どの特徴量が予測に効いているか （どの変数が重要か）を推定する 予測の根拠となった学習に最も寄与する訓練データを提示する 大域的な説明 「到底理解できない」モデルを説明可能性に優れる モデルで近似して、 近似モデルの説明を 「到底理解できない」モデルの説明とみなす 局所的な説明をデータセット全体について得て、各特徴量の予測への影響を示す分布を得て説明とみなす 「理解できない」モデルをどう説明するか？

44. モデル解釈のアプローチ方法 解釈可能な モデル Black Box 解釈フレームワーク Data

45. 主要なアルゴリズム 解釈可能な モデル Black Box 解釈フレームワーク 従来の統計的手法 線形回帰 決定木 LIME SHAP Permutation Feature Importance Microsoft Interpret ML Azure ML Interpretability SDK Power BI – Key Influencers アプローチ方法

46. 説明可能 性と性能のトレードオフ https://arxiv.org/pdf/1910.10045.pdf

47. Taxonomy カテゴリー アプローチ方法 Microsoft 提案方法 解釈可能な モデル 従来の統計解析手法 線形回帰 決定木 一般線形化モデル Power BI – Key Influencers Azure ML service – Visual Interface (Azure ML Studio) Python, R で実装 その他 Microsoft InterpretML 汎用的な 解釈フレームワーク Permutation Feature Importance Partial Dependency Plot LIME SHAP Azure ML Studio – PFI モジュール Azure ML Interpretability SDK Python, R で実装

48. Model Interpretability SDK LIME や SHAP などのモデル解釈のフレームワークを統合 API でご提供 データ探索 変数の重要度 各 予測値に対する説明 サマリー 要因探索 、 与信管理などの業務ではブラックボックスなモデルは使えない ... https://docs.microsoft.com/en-US/azure/machine-learning/service/machine-learning-interpretability-explainability Model interpretability with Azure Machine Learning service

49. Microsoft Interpret ML github.com/Microsoft/interpret Unified API Interactive Visualizations 精度が高く、説明力のある Explainable Boosting Machine

50. fairlearn - 公平性のアセスメントと、調整 ( 緩和 ) のための Open Source Tool 不公平性のアセスメント、監視、調整 ( 緩和 ) と 可視化 Fairness Toolkit (preview) https://github.com/fairlearn/fairlearn

51. Microsoft Responsible AI Resource Center https://aka.ms/RAIresources Azure Machine Learning https://azure.microsoft.com/en-us/services/machine-learning/ https://docs.microsoft.com/en-us/azure/machine-learning/concept-responsible-ml Responsible Innovation Toolkit https://docs.microsoft.com/azure/architecture/guide/responsible-innovation Responsible ML resources FairLearn https://github.com/fairlearn https://aka.ms//FairLearnWhitepaper https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml InterpretML https://github.com/interpretml https://aka.ms//InterpretMLWhitepaper https://docs.microsoft.com/azure/machine-learning/how-to-machine-learning-interpretability

52. まとめ

53. Louis Braille 1809-1852

54. AI x メガネ 目が悪い人 x メガネ 目が見えない人 x AI メガネ 1284 年

55. Humanitarian Action AI for AI for Accessibility AI for Earth AI for Good

56. 機械学習・深層学習の実用化を推進 会員数 4,150 名 全国 6 都市で 36 回イベント開催 福岡 大阪 広島 名古屋 東京 札幌 オンライン・オフライン含めた 機械学習教育講座の全国での推進 機械学習 SI エコシステム 日本最大の AI コミュニティ # dllab https://dllab.connpass.com/

57. AI や 機械学習の最新の トレーニング 概要・基礎・チュートリアル 自分に適した、トレーニングコースの作成 AI Business School Conversational AI AI Services Machine Learning Autonomous System Responsible AI AI School aischool.microsoft.com

58. Microsoft Learn Step-by-Step Learning Achievements スムーズ な 学習 環境 無料 日本語対応 ブラウザーのみ。ハンズオン環境も含めて ダウンロード可能なサンプルコード Product/Service, 技術レベル , job role, などに応じたガイダンス Videos, チュートリアル , ハンズオン スキルアップを促す ユーザー プロファイル毎に カスタマイズ www.microsoft.com/learn

59. Azure ML 関連 リソース Open Source Repo Link Azure ML Notebook Examples Azure Machine Learning 公式サンプルコード https://aka.ms/ml-notebooks BERT Large 自然言語モデル BERT のサンプルコード http://aka.ms/azure-bert Microsoft Recommenders レコメンデーション サンプルコード http://aka.ms/recommenders LightGBM LightGBM トップページ https://aka.ms/lightgbm Natural Language Recipies 自然言語 サンプルコード https://aka.ms/nlp-recipes ONNX ONNX 　トップページ https://aka.ms/onnx ONNX RT ONNX Runtime トップページ https://aka.ms/onnx-rt Kubeflow & MLOps Kubeflow + Azure ML + DevOps サンプルコード https://aka.ms/kubeflow-and-mlops Azure Open Datasets Azure Open Datasets Web ページ https://aka.ms/azure-open-datasets Azure ML Free Trial Azure フリートライアル https://aka.ms/amlfree Azure ML Docs Azure Machine Learning ドキュメント https://aka.ms/azureml-ja-docs

60. Invent with purpose.