cn-expo-2025-mathworks-advanced-applications-ai.pdf

阿斯顿顶顶顶顶顶

1. 0
MATLAB中的先进 AI应用
Haiwei Liu, MathWorks
刘海伟， MathWorks

2. 11
AI在MATLAB 和 Simulink中的发展
Toolboxes工具箱
•Statistics and Machine Learning Toolbox
•Deep Learning Toolbox
•Text Analytics Toolbox
•Reinforcement Learning Toolbox
•Predictive Maintenance Toolbox
Apps应用程序
•Classification Learner
•Regression Learner
•Diagnostic Feature Designer
•Image Labeler
•Deep Network Designer
•Video Labeler
•Signal Labeler
AutoML自动机器学习
•Feature Selection
Code Generation
•GPU Coder
•MATLAB Coder
Interoperability
•TensorFlow-Keras Importer
•ONNX Support
Up to 2019 2020 - 2022 2023 - 2024
Compression
•Taylor, Projection Pruning
Deep Learning
•Transformers
•L-BFGS solver
•Flexible end-to-end neural network workflow
Explainability
•Fairness in Machine Learning
•Visualization with D-RISE
Generative AI
•AI chat playground
•Connectors to OpenAI APIs
Interoperability
•Co-execution blocks in Simulink
Machine Learning
•Direct Forecasting with Regression
•Incremental Anomaly Detection
•Machine Learning in System Identification Models
Verification
•Out of distribution detection (OOD) & code
generation support
•Robustness
Accessibility
•Deep Learning Model Hub
Apps / Live Tasks
•Experiment Manager, Lidar Labeler
•Reinforcement Learning Designer
•Clustering and dimensionality reduction
Live Task
AutoML
•Automated model selection/tuning
•Automated Feature Engineering
Compression and Code Generation
•Quantization, Taylor Pruning
•Deep Learning HDL Coder
•TensorFlow Lite
Explainability
•LIME/Shapley
Interoperability
•TensorFlow Model Importer, Exporter
•PyTorch importer
Machine Learning
•Incremental Learning, Boosted Ensembles
•Anomaly Detection, Drift Detection
Model-Based Design
•Image Classification & Model Prediction
•Recurrent Neural Networks
•Object Detectors & Predict Blocks

3. 22
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

4. 33
注意力机制的实现
语言翻译中 Encoder Decoder结构：Seq2Seq模型
Quel est ton prénom ?
What
ℎ
0 ℎ
1
ℎ
2 ℎ
3 ℎ
4
�
1 �
2 �
3 �
4
�
5
<eos>
&#3627408486;
1 &#3627408486;
2 &#3627408486;
3
&#3627408486;
4
ℎ
5 ℎ
6 ℎ
7
ℎ
8
&#3627408486;
2 &#3627408486;
3 &#3627408486;
4
&#3627408486;
5
<eos>
&#3627408486;
1
Encoder
Decoder
isyourname ?

5. 44
无Attention vs Attention
ℎ
0 ℎ
1 ℎ
4
&#3627408486;
2 &#3627408486;
4
&#3627408486;
1
Encoder
Decoder
&#3627408486;
2 &#3627408486;
4&#3627408486;
1
Encoder
Decoder
ℎ
0 ℎ
1 ℎ
4

6. 55
基于Attention的编码器解码器
&#3627408532;
&#3627408533;−&#3627409359; &#3627408532;
&#3627408533;
Encoder
Decoder
ℎ
0 ℎ
1 ℎ
??????
&#3627408485;
0 &#3627408485;
1 &#3627408485;
??????
&#3627408486;
??????−1 &#3627408486;
??????
match
ℎ
1
&#3627408485;
2
??????
0 ??????
1 ??????
2 ??????
??????
% Attention energies.
hWX = hiddenState .* pagemtimes(weights,encoderOutputs);
for tt = 1:sequenceLength
attentionEnergies(tt,:) = sum(hWX(:,:,tt),1);
end
% Attention scores.
attentionScores= softmax(attentionEnergies);
% Context.
encoderOutputs = permute(encoderOutputs, [1 3 2]);
attentionScores = permute(attentionScores,[1 3 2]);
context = pagemtimes(encoderOutputs,attentionScores);
context = squeeze(context);
hiddenState
encoderOutputs
weights
attentionScores
context
示例代码

7. 66
注意力机制与 Transformer车速预测
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
??????
??????
????????????ℎ????????????&#3627408473;??????????????????
LSTM
ℎ
1
????????????ℎ????????????&#3627408473;??????????????????
LSTM
??????
&#3627409359;
&#3627408535;??????&#3627408521;&#3627408522;??????????????????????????????
⋯
⇢
⋯
??????
&#3627408533;
&#3627408535;??????&#3627408521;&#3627408522;??????????????????????????????
ℎ
??????
????????????ℎ????????????&#3627408473;??????????????????
weights
??????
0 ??????
?????? ??????
?????? 时间权重
&#3627408480;????????????&#3627408481;????????????&#3627408485;
????????????
??????
&#3627408465;
&#3627408472;
N-Step Velocity Prediction: [&#3627408483;
??????
????????????ℎ????????????&#3627408473;??????????????????
,⋯,&#3627408483;
??????+??????
????????????ℎ????????????&#3627408473;??????????????????
]
使用内置 Layers进行模型搭建
Hidden State
历史车速
时间Attention=ah
vehicleID
空间Attention
时间轴
链接

8. 77
Prompt Engineering
提示词工程
Retrieval-Augmented Generation
（RAG）
检索增强生成
Continue pretraining or fine-tune
继续预训练或微调
将LLMs嵌入到您的工作流

9. 88
继续训练或者微调已有的 LLMs
预处理数据 导入预训练的模型 验证和可视化结果
修改模型
继续预训练
微调模型
3a
3b
对于与预训练模型相同的任
务，添加更多领域知识
对于不同的任务，可以添加
更多的领域知识

10. 99
MATLAB中的神经网络训练框架
内置训练函数 自定义训练循环
trainnet: dlnetwork对象 dlnetwork对象|模型函数
% 模型损失函数
function [loss,gradients,state] = modelLoss(net,X,T)
[Y,state] = forward(net,X);
loss = crossentropy(Y,T);
gradients = dlgradient(loss,net.Learnables);
end
% 构建模型
layers = [
sequenceInputLayer(numChannels)
...
fullyConnectedLayer(numClasses)
softmaxLayer];
dlnet = dlnetwork(layers);
% 使用minibatchqueue 管理批量数据
miniBatchSize = 128;
mbq = minibatchqueue(cdsTrain, ...
MiniBatchSize=miniBatchSize, ...
MiniBatchFcn=@preprocessMiniBatch, ...
MiniBatchFormat=["TCB" ""])；
% 训练设置
numEpochs = 10;
initialLearnRate = 0.01;
% 训练循环
epoch = 0;
iteration = 0;
while epoch < numEpochs && ~monitor.Stop
epoch = epoch + 1;
shuffle(mbq);
while hasdata(mbq) && ~monitor.Stop
iteration = iteration + 1;
[X,T] = next(mbq);
[loss,gradients] = dlfeval(@modelLoss,net,X,T);
updateFcn = @(parameters,gradients)
sgdStep(parameters,gradients,learnRate);
net = dlupdate(updateFcn,net,gradients);
end
end
训练过程
•在每次迭代 (each minibatch), 进行预处理
•将输入数据传给网络进行前馈计算
•和真值进行比较
•自动微分
•更新模型权重和偏置 (parameters).
% 构建模型
layers = [
sequenceInputLayer(numChannels)
convolution1dLayer(5,20,Padding="same")
layerNormalizationLayer
reluLayer
convolution1dLayer(5,20,Padding="same")
layerNormalizationLayer
reluLayer
convolution1dLayer(5,20,Padding="same")
layerNormalizationLayer
reluLayer
globalAveragePooling1dLayer
fullyConnectedLayer(numClasses)
softmaxLayer];
net = dlnetwork(layers)
% 训练设置
options = trainingOptions("adam", ...
MaxEpochs=maxEpochs, ...
MiniBatchSize=miniBatchSize, ...
InitialLearnRate=0.01, ...
GradientThreshold=1, ...
Shuffle="never", ...
Metrics="rmse", ...
Plots="training-progress", ...
Verbose=0);
% 训练模型
net = trainnet(Xtrain,TTrain,layers,@lossFun,options);
链接 链接

11. 1010
Prompt Engineering
提示词工程
Retrieval-Augmented Generation
（RAG）
检索增强生成
Continue pretraining or fine-tune
继续预训练或微调
将LLMs嵌入到您的工作流

12. 1111
MATLAB中利用LLMs with MATLAB 支持包调用第三方大语言模型 链接
▪通过Add-On提供的函数，连接到：
–所有OpenAI 接口规范兼容的模型
–通过Ollama 管理的开源模型（本地或云端）
▪支持多模态数据
–文本到文本
–文本到图像
–图像到文本
▪应用场景
–情感分析 (Sentimental Analysis)
–聊天机器人 (Chatbot)
–检索增强生成 (Retrieval Augmented Generation)
–文本摘要 (Text Summarization)
–函数调用 (Function Calling)

13. 1212
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

14. 1313
PINN（基于物理信息的神经网络）
将微分方程描述的物理定律 纳入其损失函数以指导学习过程的神经网络
&#3627408481;
&#3627408485;
&#3627408465;
2
&#3627408485;
&#3627408465;&#3627408481;
2
&#3627408465;&#3627408485;
&#3627408465;&#3627408481;
Automatic
Differentiation
??????
&#3627408465;
2
&#3627408485;
??????&#3627408481;
2
+&#3627408464;
&#3627408465;&#3627408485;
&#3627408465;&#3627408481;
+??????&#3627408485;−??????
loss
?????? loss
??????
loss=loss
?????? + loss
??????
??????
?????? ??????
??????
??????
????????????
??????
??????ሷ&#3627408485;+&#3627408464;ሶ&#3627408485;+??????&#3627408485;−??????=0

15. 1414
定义ODE 或 PDE 用于构建 PINN 中的Loss Function
−Δ&#3627408482;&#3627408485;,&#3627408486;=sin??????&#3627408485;sin(??????&#3627408486;)
Symbolic Math
Toolbox
syms u(x,y)
poissonPDE = -Laplacian(u) – sin(pi*x)*sin(pi*y)==0
pde2PinnLossFunction(poissonPDE)
gradU = dlgradient(sum(U, “all”), X, EnableHigherDerivatives=true);
Ux2 = dlgradient(sum(gradU(1,:), “all”), X, EnableHigherDerivatives=true);
Uxx = Ux2(1,:);
Uy2 = dlgradient(sum(gradU(2,:), “all”), X, EnableHigherDerivatives=true);
Uyy = Uy2(2,:);
Res = -Uxx – Uyy – sin(pi*X(1,:)).*sin(pi*X(2,:));

16. 1515
PINN在MATLAB中的示例
Solve Partial Differential Equation
with L-BFGS Method and Deep
Learning 链接
Solve Poisson Equation on Unit
Disk Using Physics-Informed
Neural Networks 链接
Solve Ordinary Differential
Equation Using Neural Network
链接

17. 1616
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

18. 1717
傅里叶层
v(x)
W
??????+
MATLAB实现Fourier Neural Operator (FNO)
https://github.com/matlab-deep-learning/fourier-neural-operator
classdef spectralConvolution1dLayer < nnet.layer.Layer
….
function y = predict(this, x)
% 傅里叶变换并选取低阶模态
…
xft = iRFFT(x, 1, N);
% 对第阶模态进行全连接并高阶赋 0
…
yft = pagemtimes( xft, this.Weights );
yft = cat(1, yft, zeros([S size(yft, 2:3)], 'like', yft));
% 反傅里叶变换
y = iIRFFT(yft, 1, N);
…
end
Rℱ ℱ
−&#3627409359;

19. 1818
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

20. 1919
基于深度学习的非线性状态空间模型
State Network (f)
Output Network (g)
Neural State-Space Models:
创建非线性状态空间模型，其中非线性状态函数 f
和非线性输出函数 g 是从数据中学习的神经网络
(也就是Neural ODE)
Requires Deep Learning Toolbox
Multi-layer Perceptron (feedforward)
networks

21. 2020
用灵活的非线性函数增强已知的线性模型
% 构建状态空间模型对象
nss = idNeuralStateSpace(nx,NumInputs=nu,Ts=linsys.Ts);
% 将状态网络设置为自定义网络
nss.StateNetwork = net;
% 基于数据进行训练
sys = nlssest(ze,nss,opts)
使用AI网络对系统中的非
线性部分进行补偿 f(xk,uk)

22. 2121
MATLAB中Neural ODE示例
2
1
Train LatentODENetwork with Irregularly Sampled
Time-Series Data
Dynamical System Modeling UsingNeuralODE
Control House Heating Using Nonlinear MPC with Neural
State-Space Prediction Model
Reduced Order Modeling of Electric Vehicle
Battery System Using Neural State-Space Model
链接
链接
链接
链接
链接

23. 2222
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

24. 2323
෠&#3627408460;
??????&#3627408459;
??????
Train
Predict
之前
4 档
⋮
1 档
(&#3627408459;
??????,&#3627408460;
??????)
&#3627408533; →∞
持续适应新数据
现在
6 档
⋮
2 档
用户数据保留在本地
&#3627408533; →∞
模型个性化
车载智能雨刮器：可以通过增量学习来适应变化
&#3627408459;
??????
෠&#3627408460;
??????

25. 2424
MATLAB 支持各种有监督和无监督的增量学习任务
Incremental Regression/Classification
Incremental Drift Detection
Incremental Anomaly Detection
Incremental Feature Transformation
•Linear
•Kernel
•Naïve Bayes
•ECOC
•Concept Drift
Detector
•Drift-Aware
Learner
•Robust Random Cut
Forest
•One-Class SVM
•PCA

26. 2525
增量学习为嵌入式设备端学习提供了可能
On-device Learning
incrementalClassificationECOC ()
incrementalClassificationKernel ()
incrementalRegressionKernel ()
incrementalConceptDriftDetector()

27. 2626
增量学习模块完全集成到基于模型的设计中
incrementalClassificationECOC ()
incrementalClassificationKernel()
incrementalRegressionKernel ()
incrementalConceptDriftDetector()
On-Device Training of ML Models
实时推断
接收新的来自车主真值
计算是否满足触发再训练指标
触发再训练

28. 2727
内容概要
注意力机制与大语言
模型
注意力机制的
实现
MATLAB对大
语言模型的支
持
物理信息机器学习
（Physics Informed
Machine Learning）
基于物理信息
的损失函数
基于物理的网
络结构
物理和AI的耦
合
机器学习之增量学习
边缘在线学习
最优控制之强化学习
强制约束保证
强化学习的安
全

29. 2828
AI与控制（二）：从优化到最优控制，
从动态规划到强化学习
强化学习介绍
从系统辨识到 AI建模
从最优控制到强化学习
Reinforcement Learning
利用AI进行最优控制

30. 2929
安全学习对于实际应用至关重要
▪安全在自动驾驶、机器人技术、
人机交互和其他应用中非常重
要
▪学习一个好的策略需要在实验
中反复试验

31. 3030
强制约束 Constraint enforcement是实现安全性的一种自然方法
▪Constraint enforcement 可应用于任何控制回
路，例如 PID 和强化学习
▪Constraint enforcement block 仅在无法满足
Safety constraint 时修改动作
Constraint Control Library in
Simulink Control Design Toolbox

32. 3131
▪工作原理
–如果控制器动作是安全的，则安全动作 =控制器动作。
–如果控制器动作不安全，则安全的行动 = “最接近”安全的控制器动作。
约束强制 Constraint enforcement
Constraint
Enforcement
block
控制器动作 &#3627408482;
0 Safe action &#3627408482;
∗
min
&#3627408534;
&#3627408534;−&#3627408534;
&#3627409358;
&#3627409360;
subject to: &#3627408493;??????+&#3627408494;??????&#3627408534;≤??????
Optimal solution &#3627408482;
∗
Constraint is linear in &#3627408534;
Quadratic programming (QP)

33. 3232
▪智能体目标
–通过控制纵向加速和制动，使目标汽车以设定的速度行驶，同时与前车保持安全距离。
▪约束变量
–自车速度 v和自车与前车之间的相对距离 d。
▪约束条件
–10≤v≤30.5,d≥5
▪状态变量
–自车的实际加速度、自车车速、相对距离和前车车速。
强化学习
使用带有约束执行块引导用于自适应巡航控制（ ACC）的强化学习。

34. 3333
学习Constraint Equation
% 构建环境
env =
rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo);
% 创建智能体
agent =
createDDPGAgentACC(Ts,obsInfo,actInfo);
% 搜集数据
data = collectDataACC(env,agent,count);
% 计算从状态和输入到相对距离的关系。
Rd = I\d;
% 提取自车车速的数据。
v = data(1:1000,8);
% 计算从状态和输入到 ego car 速度的关系。
Rv = I\v;

35. 3434
使用Constraint Enforcement 训练智能体
% 构建环境
env =
rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo);
% 创建智能体
agent =
createDDPGAgentACC(Ts,obsInfo,actInfo);
% 训练
trainingStats= train(agent,env,trainingOpts);
示例链接

36. 3535
作用约束的文档示例

37. 3636
总结
注意力机制与大语
言模型
注意力机制可以实现不同位置的信息提取，也是 Transformer乃至LLM的基础
MATLAB对大语言模型的支持：提示词工程和 RAG
物理信息机器学习
（Physics Informed
Machine learning）
基于物理信息的损失函数
基于物理的网络结构
物理和AI的耦合
机器学习之增量学
习
边缘在线学习
最优控制之强化学
习
强制约束保证强化学习的安全

38. 37
© 2025 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc.
See mathworks.com/trademarks for a list of additional trademarks. Other product or brand names may be
trademarks or registered trademarks of their respective holders.
谢谢