EDP Sciences logo
Submit your paper
Search
Menu
All issues Volume 43 / No 4 (August 2025) JNWPU, 43 4 (2025) 831-842 Full HTML
Open Access
Issue
JNWPU
Volume 43, Number 4, August 2025
Page(s) 831 - 842
DOI https://doi.org/10.1051/jnwpu/20254340831
Published online 08 October 2025

© 2025 Journal of Northwestern Polytechnical University. All rights reserved.

Licence Creative CommonsThis is an Open Access article distributed under the terms of the Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

试验鉴定数字化是适应武器装备数字化建设、构建先进实用试验鉴定体系的迫切需求, 其主要是利用数字技术在统一的数字空间开展试验考核、审查管理和鉴定定型, 实现数据模型在装备建设全过程的衔接贯通[1–2]。与传统现场实装试验不同, 试验鉴定数字化是基于数据模型的活动, 若要应用相应结果进行综合分析与支持决策, 首先需要对数据模型进行仿真可信性验证, 数据模型的可信度是试验鉴定数字化活动的生命线, 研究并解决数字化试验模型验证问题具有重要军事意义。

模型验证的目的是通过量化实装数据和仿真数据的一致性程度, 确定仿真系统能否替代真实系统完成相关任务[3–5]。目前, 最常用、最直接的模型验证做法是比较相同输入条件下实装数据和仿真数据的一致性[6–7]。从公布的文献[1, 4–5, 8–11]看, 已经提出了灰色关联分析法、TIC法、相关系数法、误差分析法、谱分析法、EARTH方法、回归分析法、概率关联分析等多种验证方法, 这些方法基于特征差异进行模型验证, 原理简单且计算操作便捷, 已经在很多领域得到广泛应用。然而这些工作主要集中在对常用模型验证方法的研究改进, 提高不同类型样本、不同特征数据之间的一致性检验精度和可靠性[12], 虽然在一定程度上解决了系统输出“对比”的数学描述和求解问题, 但该领域仍存在一些技术和应用方面的基础性问题亟待解决。在实际应用中, 除了提出和改进先进模型验证方法之外, 模型验证方法本身的性能评价、方法适应性分析和可信度阈值ξ0的确定同样重要, 选择不合适的模型验证方法和可信度阈值ξ0甚至会产生错误的模型验证结论与错误决策。遗憾的是, 目前很少有关于模型验证方法性能评价、方法适应性分析、验证阈值ξ0确定和验证结果的合理应用等方面的文献报道, 这些问题严重限制了模型验证工作的工程应用效果。通过上述讨论分析, 当前模型验证方法应用时存在的不足主要表现在以下几个方面：

1) 模型验证方法性能评价缺少技术指标与量化方法: 现有模型验证方法的性能评价缺乏统一的量化指标, 难以客观评估不同方法的优劣;

2) 模型验证方法适应性分析缺少理论支持: 不同模型验证方法适用于不同的应用场景, 但目前缺乏系统的理论支持, 难以根据具体应用背景选择合适的方法;

3) 模型验证结果应用缺乏理论支持: 可信度阈值ξ0缺乏科学的确定依据, 通常带有较强的主观性, 模型验证结果缺乏实际意义, 缺少现有模型验证结果向仿真可信度转化的一般依据。

针对上述问题, 本文首次提出并定义了数字化试验仿真模型验证分辨率, 阐释了模型验证分辨率的基本内涵, 为模型验证方法评价提供量化指标。通过量化模型验证方法的辨识能力, 解决现有模型验证方法性能评价缺少技术指标与量化方法、方法适应性分析缺少理论支持、阈值确定及验证结果应用缺少科学依据等基础问题。通过数值测试案例和应用实例, 验证了本文工作的有效性和实用性。

1 模型验证描述及问题分析

模型验证问题可描述如下: 假设获取了实装数据x和仿真数据y, 模型验证工作是以数据x, y为基础判断实装试验系统SX和仿真模拟系统SY的一致性程度。用C表示2个系统的一致性程度, 一般地, C可由(1)式计算得到。

$ C\left(S_X, S_Y\right)=\operatorname{consistency}(\boldsymbol{x}, \boldsymbol{y}) $(1)

式中: consistency(·)为一致性检验算子, 是计算系统输出差异量化的函数; C为验证结果, 一般有C(SX, SY)∈[0, 1], 当系统一致性程度较高时, 有C(SX, SY)→1, 当系统一致性程度较低时, 有C(SX, SY)→0。得到验证结果C后, 根据(2)式可判断系统的一致性。

$ R=\operatorname{sgn}\left(C\left(S_X, S_Y\right)-\xi_0\right) $(2)

式中：sgn(·)为符号函数; ξ0为可信度判断阈值, 一般根据研究问题的具体工程背景确定; R为结论, 当R>0表示可信, 反之表示不可信。

综上, 由(1)~(2)式便可完成模型验证问题的一般数学求解, (1)式为模型验证方法的一般表达, (2)式为模型验证判断准则的一般表达。模型验证的一般操作过程总结如图 1所示。

对(1)式, 现有学者已经提出了诸多一致性检验算子consistency(·), 具体如表 1所示。

对(2)式, 目前常用的阈值确定方法带有很强的主观性。工程应用时一直都存在一个问题: 是否存在一个确定的界限ξ0, 当验证结果值C逻辑小于界限ξ0时就认为待验证系统是可信的, 否则就认为待验证系统是不可信的。遗憾的是, 因为这涉及一致性检验算子的数学形式、具体内涵及其所代表的实际数学/物理本质，且对于不同的一致性检验算子, 一般有不同的模型验证结果表达、物理含义和判断阈值, 迄今为止这个问题并未有明确的答案。但在实际应用中, 设置合适的界限ξ0至关重要, 不恰当的判断阈值ξ0甚至会导致错误的验证结果, 可能给模型使用者带来严重后果或损失。从目前公开的文献看, 很少有确定判断阈值ξ0的相关研究报道。另外, 若使用者使用模型系统时, 能同时提供模型系统的误差，则可以更好地支持使用者决策。但基于现有一致性检验算子进行模型验证, 验证结论以通过或不通过的形式呈现, 未包含仿真模型误差的信息, 验证结论不够精细, 实际应用深度支持有限。

thumbnail 图1

模型验证的基本过程
表1

常用的一致性检验算子

2 模型验证分辨率理论

2.1 预备知识

定义1  样本距离  若2个样本Xi和Xj的函数dij=d(Xi, Xj)满足: ①dij≥0, 对一切Xi和Xj, 当且仅当Xi=Xj时有dij=0;②dij=dji; ③对于样本Xi, Xj, Xk, 有dij≤dik+dkj。则称dij为样本Xi和Xj之间的距离。

根据定义1可见, 表 1所示一致性检验算子均为距离, 基本为(Xi-Xj)的函数或泛函表示。

定义2  概率分布距离  若2个概率分布F1和F2之间的差异度量为m(F1, F2), 则度量函数m(F1, F2)应满足: m(F1, F2)=0⇔F1=F2; m(F1, F2)≥0, 且值越大, F1和F2之间差异越大。

定义3  随机过程距离  若2个随机过程X(t)和Y(t)之间的差异度量为m(X(t), Y(t)), 其中t为时间, 则m(X(t), Y(t))应满足: m(X(t), Y(t))=0⇔X(t)=Y(t); m(X(t), Y(t)))≥0, 且值越大, 表明X(t)和Y(t)之间差异越大。

定义3可用于描述系统动态输出比较场景。

定义4  仿真可信性  仿真系统对原型系统客观规律的反映程度。仿真可信性可用数值、距离或一定置信水平下的置信区间来表示。

对确定性系统, 使用误差、精度、准确度等能很好地度量仿真可信性; 对简单线性系统, 使用误差能很好地度量仿真可信性; 对统计性随机系统, 使用概率分布距离、随机过程距离等能很好地度量仿真可信度度量。

2.2 模型验证分辨率的概念、内涵

根据不同的应用需求, 不同领域的学者已提出多种仿真模型验证方法[4–5, 8], 为了有效使用不同的模型验证方法, 需要对每种模型验证方法进行性能评估和场景适应性分析, 但目前缺少评价模型验证方法本身性能的技术指标与评估方法, 为此, 本文首次提出了量化评价模型验证方法性能的一个指标——模型验证分辨率(model validation resolution, MVR), 构建了模型验证方法与工程应用背景的关联关系, 并基于MVR和关联关系分析了现有模型验证方法的适应性问题, 解决了现有模型验证方法的性能评价及方法适应性分析缺少理论支持的问题。

MVR定义阐述如下。

假设有参考序列X和比较序列Y可表示为：

参考序列: X=[X(1), X(2), …, X(k), …, X(T)]; 比较序列: Y=[Y(1), Y(2), …, Y(k), …, Y(T)]。式中, T为时间序列长度。

用d(Xi, Xj)表示2组时间序列的差异, 即

$ d(\boldsymbol{X}, \boldsymbol{Y})=\boldsymbol{X} \dot- \boldsymbol{Y} $(3)

式中, $\dot-$为表示2组序列差异的符号。

用(4)式所示一致性算子计算C(X,Y)。

$ \begin{aligned} & C(\boldsymbol{X}, \boldsymbol{Y})=\operatorname{consistency}(d(\boldsymbol{X}, \boldsymbol{Y}))= \\ & \quad \text { consistency }(\boldsymbol{X}\dot-\boldsymbol{Y}) \end{aligned} $(4)

完成C(X, Y)计算后, 根据(5)式可判断系统的一致性。

$ R=\operatorname{sgn}\left((\boldsymbol{X}, \boldsymbol{Y})-\xi_0\right) $(5)

当R>0表示可信, 反之表示不可信。

定义5  模型验证分辨率  使用模型验证方法M检验参考序列X和比较序列Y的一致性, 假设序列X和Y之间的系统差异为D(X, Y), 模型验证方法M检测序列X和Y给出“通过一致性”和“未通过一致性”结果时的统计最小距离d=d(X, Y), 称为该模型验证方法M的模型验证分辨率。

根据以上MVR定义, 可建立(6)式所示模型。

$ R_{\mathrm{MV}}=f(\boldsymbol{X}, \boldsymbol{Y}, D(\boldsymbol{X}, \boldsymbol{Y}), \alpha, R) $(6)

式中：f(·)为参数映射函数；RMV为MVR参数; α为检验风险, 取0.1, 也可根据一致性检验算子略去。根据(6)式, 当D(X, Y)逐渐增加时, R由0变为1时对应的d(X, Y)为MVR, 即RMV=Dth(X, Y)。

从MVR定义看, 其本质是衡量模型性能差异或系统输出差异的鉴别能力, MVR是评价模型验证方法非常合适的指标。显然, MVR是当C(SX, SY)>ξ0或C(SX, SY)＜ξ0时对应的d。MVR越小, 对系统输出一致性鉴别能力越强, 表示模型验证方法的验证性能越好。实际上, 一般地, 提出一种新的模型验证方法时, 同时需要给出方法的验证精度和适用性, 高分辨率、高性能的模型验证方法一直是人们研究的方向。图 2给出了MVR示意。

定义6  验证盲区  模型验证方法不能检验的差异或距离, 称为模型验证方法的验证盲区。对一种模型验证方法而言, 验证盲区距离小于等于dij=d(Xi, Xj), 很显然验证盲区距离越小, 则表示MVR越小。

thumbnail 图2

MVR示意图

2.3 系统差异与模型验证分辨率的关联关系

设有系统S1=S(s11, s12, …, s1m), 系统S2=S(s21, s22, …, s2m), 相应的系统输出误差可以描述为参数集ds=(ds1, ds2, …, dsm), 则有

$ \lambda=\frac{d_s}{R_{\mathrm{MV}}} $(7)

式中：ds=L(ds1, ds2, …, dsm)；λ为关联系数。对于不同的λ, 当λi>λj时, 说明模型验证方法i对于该问题效果优于模型验证方法j。

2.4 模型验证分辨率的计算

提出MVR的概念后, 下面给出如何根据具体情况计算不同模型验证方法的MVR。从MVR的定义看, 首先需要尽可能充分地刻画模型性能差异或系统输出差异, 并给出二者差异的量化度量。然后, 识别不同模型验证方法对二者差异的辨识能力, 从而得到不同模型验证方法的MVR。可见, 度量差异和识别差异是MVR关键节点。

由于很难基于机理给出各种模型验证方法的MVR, 因此本文提出使用Monte Carlo方法计算各种方法的MVR, 为方法的适应性分析和方法使用者提供依据。具体计算步骤为:

步骤1  首先给出参考分布X(t)。X(t)模拟实际系统输出, 分布形式和参数根据问题背景确定。令k=k+1。

步骤2  给出差异dX(t)。用dX(t)模拟与参考分布X(t)的差异。

步骤3  给出比较分布Y(t)=X(t)+dX(t)。Y(t)模拟仿真系统输出。

步骤4  使用现有方法检验参考分布X(t)和比较分布Y(t)=X(t)+dX(t)一致性。

步骤5  如果检验结果认为参考分布X(t)和比较分布Y(t)为同一分布, 返回步骤2, 增加dX(t)。否则，方法首次区分参考分布X(t)和比较分布X(t)+dX(t)时的dX(t), 即不再认为2组数据为同一分布, 则dX(t)为该方法的MVR。

2.5 模型验证分辨率的基本性质

性质1  用于正态分布N(μ, σ2)的MVR, 不敏感位置参数μ, 敏感尺度参数σ2。

证明  对N(μ, σ2)参数μ平移增量dμ, 得到N(μ+dμ, σ2)。若x来自N(μ, σ2), x′来自N(μ+dμ, σ2), 则x在N(μ, σ2)中的概率分布值与x′在N(μ+dμ, σ2)中的概率分布值相同。对N(μ, σ2)参数σ2变化量dσ2, 得到N(μ, σ2+dσ2)。若x来自N(μ, σ2), x′来自N(μ, σ2+dσ2), 则x在N(μ, σ2)中的概率分布值与x′在N(μ, σ2+dσ2)中的概率分布值不同。即相同增量dμ与相同增量dσ2, 概率分布值增量不同。证毕。

性质2  用于正态分布N(μ, σ2)的MVR, 正态分布尺度参数σ2越大, MVR越小。

证明  根据正态分布函数的定义可知, 相同增量dσ2时, 参数σ2越大, 则概率分布值增量越大。证毕。

3 模型验证分辨率在数字化试验中的应用步骤

步骤1  根据工程应用的问题背景, 确定仿真模拟精度需求。

步骤2  根据确定的仿真精度需求, 选择合适的模型检验对比参数集和MVR需求。

步骤3  根据不同参数的内涵、参数分布形式、参数大小量级等特点, 基于MVR选择确定合适的模型验证方法。

步骤4  在相同的试验条件下, 运行实装试验系统和仿真模拟系统得到2类系统输出数据集合, 使用不同模型验证方法对比2类系统输出数据，进行模型验证，给出相应参数验证结论。

步骤5  全部参数通过模型验证要求, 则综合考虑仿真系统通过可信度评估; 如果有参数未通过, 则进行模型修正, 修正完成后重新进行仿真试验和模型验证, 直至通过可信度评估。

图 3给出了MVR支持数字化试验全流程。

thumbnail 图3

MVR参与数字化试验流程图

4 数值测试

下面通过静态数据和高斯随机过程、非高斯随机过程2类典型的动态数据案例进行数值测试, 分析验证MVR的有效性和价值。

4.1 静态数据测试

场景描述: 导弹命中概率$\hat{P}$如(8)式所示。

$ \begin{gathered} \hat{P}=\iint_G \frac{1}{2 \mathsf{\pi} \sigma_Y \sigma_Z} \exp \frac{1}{2} \cdot \\ \left(\left(\frac{\left(Z-\mu_Z\right)^2}{\sigma_Z^2}\right)+\left(\frac{\left(Y-\mu_Y\right)^2}{\sigma_Y^2}\right)\right) \mathrm{d} Z \mathrm{d} Y \end{gathered} $(8)

式中: μY, μZ为均值; σY, σZ为标准差。

根据(8)式, 表 2给出了$\hat{P}$与脱靶量参数的关系。假设产品的命中概率为80%, 对于无系统误差的产品, 则要求σY, σZ＜0.7 m, 见表 2中加粗的数值。若要求评估精度dP为±5%, 则脱靶量参数精度要求为±0.05 m, 即模型精度要求为±0.05 m。模型验证通过要求是模型精度至少为0.05 m, 即MVR至少小于0.05 m。若要求评估精度dP为±10%, 则脱靶量参数精度要求为±0.1 m, 也就是对模型精度要求为±0.1 m, 模型验证通过的要求是模型精度至少为0.1 m, 即MVR至少小于0.1 m。可见, MVR可以为模型验证提供量化技术支撑。

表2

命中概率$\hat{P}$与脱靶量参数(均值、方差)的关系(对尺寸大小2.3 m×2.3 m的靶标)

4.2 高斯随机过程测试

4.2.1 场景描述

设X, Y均为高斯随机过程, 用X(k): N(x; μk, Rk)模拟参考序列, 用Y(k): X(k)+N(x; dμk, dRk)模拟比较序列, 其中k=1~N为序列时间, N为序列长度, dμk和dRk分别为均值μ、方差R的增量, 用来模拟参考序列和比较序列的差异, 很显然增量dμk和dRk越大, 表示参考序列和比较序列一致性越差。实验时设置μ=0, R=0.709, dμ=0~1.5, 步长为0.01, dR=0~1.5, 步长为0.01。

根据上述场景, 进行100次Monte Carlo试验, 随着序列时间的增加, 比较序列相对于参考序列的误差越大, 当序列时间k=150时, 差距最大, 此时dμ=1.5, dR=1.5。图 4给出了灰色关联分析、相关系数法、TIC法、MSE法、距离法、概率关联分析等常用验证方法的验证结果。

thumbnail 图4

不同模型验证方法的验证结果

4.2.2 结果分析

1) 由图 4a)~4b)可见, 随着实验序列时间k(误差)增加, 灰色关联分析、相关系数法验证结果基本在某一区间内振荡, 这2种方法对这类数据和问题不敏感, 对解决这类问题无效。

2) 由图 4c)~4e)可见, 随着实验序列时间k(误差)增加, TIC法、MSE法、距离法模型验证结果基本呈现单调递增趋势, 当k到达120(误差dμ=1.2, dR=1.2)左右时, 基本可以分辨出2组数据不一致。

3) 由图 4f)可见, 随着实验序列时间k(误差)增加, 概率关联分析模型验证结果基本呈现单调递减趋势, 当k到20次(误差dμ=0.2, dR=0.2)时, 可以分辨出这2组数据不一致。

4) 从仿真使用者的角度和模型验证需求出发, 希望仿真模型验证方法在2组时间序列差距较小时就能够判断给出模型验证结论。从上述数值测试结果可见, 处理该类问题时, 不同模型验证方法的MVR不同, 其中概率关联度MVR最小, 效果最好; TIC法、MSE法、距离法也能解决该类问题, 效果较差; 灰色关联分析、相关系数法不适合此类问题求解。不同方法的模型验证结果对比分析见表 3, 使用者可根据问题背景合理选择模型验证方法。

表3

不同方法的模型验证结果对比分析

4.3 非高斯随机过程测试

4.3.1 场景描述

高斯和的基本思想是使用一组高斯概率分布的加权和来近似描述任意非高斯概率分布, 即

$ \begin{aligned} & f(\boldsymbol{x}) \approx \sum\limits_{k=1}^K w_k=\frac{1}{\sqrt{\operatorname{det}\left(2 \mathsf{\pi} \boldsymbol{R}_k\right)}} \cdot \\ & \quad \exp \left(-\frac{1}{2}\left(\boldsymbol{x}-\boldsymbol{\mu}_k\right)^{\mathrm{T}} \boldsymbol{R}_k^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}_k\right)\right) \end{aligned} $(9)

式中: x为观测矢量; K为高斯分量总个数; wk为第k个高斯分量的权重系数; μk和Rk分别表示高斯分量的均值矢量和协方差矩阵。已有理论证明, 对于任意概率分布f(x), 随着高斯分量总个数K增加, $\sum\limits_{k=1}^K w_k N\left(\boldsymbol{x} ; \boldsymbol{\mu}_k, \boldsymbol{R}_k\right)$可无限逼近f(x)。

设X, Y均为非高斯随机过程, 用X(k)=N(x; μk1, Rk1)+N(x; μk2, Rk2)模拟参考序列, 用Y(k)=X(k)+N(x; dμk, dRk)模拟比较序列。其中k=1~N为序列时间, N为序列长度, dμk和dRk分别为均值μ、方差R的增量, 用来模拟参考序列和比较序列的差异, 很显然增量dμk和dRk越大, 表示参考序列和比较序列一致性越差。试验时设置μk1=0, μk2=0, Rk2=0.709, Rk2=0.709, dμk和dRk随k依次增加0.01, 即dμ=0~1.5, 步长为0.01, dR=0~0.15, 步长为0.01, N=100。

根据上述场景, 进行100次Monte Carlo试验, 随着序列时间的增加, 比较序列相对于参考序列的误差越大, 当序列时间k=100时, 差距最大, 此时dμ=1.0, dR=1.0。图 5给出了灰色关联分析、相关系数法、TIC法、MSE法、距离法、概率关联分析等验证方法的验证结果。

thumbnail 图5

不同模型验证方法的验证结果

4.3.2 结果分析

1) 由图 5a)~5b)可见, 随着试验序列时间k(误差)增加, 灰色关联分析、相关系数法验证结果基本在某一区间内振荡, 这2种方法对这类数据和问题不敏感, 对解决这类问题无效。

2) 由图 5c)~5e)可见, 随着试验序列时间k(误差)增加, TIC法、MSE法、距离法模型验证结果基本呈现单调递增趋势, 当k到达60(误差dμ=0.6, dR=0.6)左右时, 基本可以分辨出这2组数据不一致。

3) 由图 5f)可见, 随着试验序列时间k(误差)增加, 概率关联分析模型验证结果基本呈现单调递减趋势, 当k到达20(误差dμ=0.25, dR=0.25)时, 可以分辨出这2组数据不一致。

4) 从仿真使用者的角度和模型验证需求出发, 希望仿真模型验证方法在2组时间序列差距较小时就能给出模型验证结论。处理该问题时, 不同验证方法的MVR不同, 概率关联度MVR最小, 效果最好; TIC法、MSE法、距离法也能解决该类问题, 效果较差; 灰色关联分析、相关系数法不适合此类问题求解。不同方法的模型验证结果对比分析见表 4, 使用者可根据问题背景合理选择模型验证方法。

表4

不同方法的模型验证结果对比分析

5 工程应用

5.1 背景描述

选取激光驾束制导反坦克导弹仿真系统作为研究对象[13], 检验MVR的工程应用效果。

根据激光驾束制导反坦克导弹工作机理, 影响其命中精度的主要因素如图 6所示。

传统仿真试验未考虑两轴失调量误差等因素, 因此仿真可信度较低, 基于仿真数据的评估结果与实弹飞行差异较大。为提高仿真数据可信度, 注入两轴失调量实测数据, 构建了虚实混合激光驾束制导反坦克导弹仿真系统。

使用不同验证方法对传统仿真系统和虚实混合仿真系统进行验证对比。利用弹上遥测和靶场外测记录实弹数据，每一次观测可视为导弹性能随机向量X和随机过程X(t)的一次实现，记作x和x(i)(t), i=1, 2, …, m, 其中上标i表示第i次飞行试验，m表示飞行试验次数。与之对应的是仿真模拟打靶，每一次仿真数据为随机向量Y和随机过程Y(t)的一次实现，记作y和y(i)(t), i=1, 2, …, n，其中上标i表示第i次仿真试验，n表示仿真试验次数。验证方法是：比较靶试结果X与仿真结果Y相容性，如果靶试数据X与仿真数据Y相容，则仿真系统能够反映实际系统；如果不相容，则需要修正仿真模型，重新评估仿真模型。

thumbnail 图6

命中精度的影响因素

5.2 基于模型验证分辨率的验证方法选择

根据试验目的及被试系统的技术特点, 选择位置、速度和姿态角等主要参数对比, 根据经验各参数的精度要求见表 5。3个参数均通过模型验证, 并给出仿真系统通过验证的结论。图 7给出了根据该问题的实际背景计算的部分模型验证方法分辨率曲线, 便于针对性选择应用。

由于对位置、速度和姿态角参数的精度要求不同, 可以应用MVR针对性选择合适的模型验证方法, 对于精度要求高的参数(如位置、姿态角), 使用MVR小的检验方法; 对于精度要求相对低的参数(如速度), 可以使用MVR相对大的检验方法, 这样可以避免传统模型检验方法由于不区别对待容易引发的过检验或欠检验问题, 检验方法选择结果具体如表 5所示。

表5

待验证的模型输出参数

thumbnail 图7

不同模型验证方法的验证分辨率

5.3 模型验证结果与分析

1) 未考虑两轴失调量, 仿真结果给出的全弹道制导精度较高, 与遥测制导精度数据偏差较大; 虚实混合仿真系统将影响命中概率的两轴失调量因素引入仿真试验系统进行仿真, 得到的全弹道制导精度与遥测制导精度偏差较小, 仿真置信度提高30%左右, 与实弹飞行实际情况更符合。

2) 仅使用灰色关联分析、TIC方法、相关系数法等常用模型验证方法, 给出传统仿真系统通过模型验证的结论, 造成仿真模型欠检验。当然, 虚实混合仿真系统同样可通过检验。

3) 通过MVR合理使用了模型检验方法, 因为概率关联分析方法的MVR较小, 给出了传统仿真系统仿真模型未通过验证, 虚实混合系统通过仿真模型通过验证的结论。可见, 基于MVR进行模型验证, 仿真可信度结论更可靠, 尤其适用于对有精度较高要求的参数系统。

6 结论

本文面向装备数字化试验应用，以模型验证方法的性能评价、针对性选择为研究背景, 提出了MVR的概念、计算模型和基于MVR的模型验证方法性能评价和优选技术, 具有重要的工程应用价值。得出以下主要结论:

1) 首次提出MVR的概念, 阐释了MVR的基本内涵, 证明了其基本性质, 为模型验证方法的性能评价提供了一个量化指标, 解决了现有方法性能评价缺乏量化标准的问题。

2) 提出了MVR的计算方法, 给出了通过Monte Carlo方法计算MVR的具体步骤, 为模型验证方法的工程应用提供了基础。

3) 建立了基于MVR的性能评价技术和适应性分析方法, 通过量化模型验证方法的辨识能力, 为不同模型验证方法的适应性分析和针对性选择应用提供了理论支持。

References

  1. WU J, LI Y, ZHOU X. Combining model validation with uncertainty quantification for engineering systems[J]. Reliability Engineering & System Safety, 2023, 233: 108633 [Google Scholar]
  2. SMITH J, JOHNSON A. Model validation in military equipment simulation: challenges and solutions[J]. Military Operations Research, 2023, 28(3): 21–36 [Google Scholar]
  3. BROWN T, DAVIS B. Improving the credibility of military simulation models through advanced validation techniques[J]. Simulation Modelling Practice and Theory, 2021, 113: 102439 [Google Scholar]
  4. WANG X, ZHANG Y, ZHANG L. A Review of data-driven approaches for system identification and model validation[J]. IEEE Trans on Industrial Informatics, 2022, 18(9): 5731–5741 [Google Scholar]
  5. LI Wei, JIAO Song, LU Lingyun, et al. Validation and selection of simulation model based on the feature differences[J]. Acta Automatica Sinica, 2014, 40(10): 2134–2144 (in Chinese) [Google Scholar]
  6. MONTGOMERY D C, CONARD R G. Comparison of simulation and flight-test data for missile systems[J]. Simulation, 1980, 34(2): 63–72. [Article] [Google Scholar]
  7. NAYLOR T H, FINGER J M. Verification of computer simulation models[J]. Management Science, 1967, 14(2): 92–101. [Article] [Google Scholar]
  8. KHEIR N A, HOLMES W M. On validating simulation models of missile systems[J]. Simulation, 1978, 30(4): 117–128. [Article] [Google Scholar]
  9. LIU H, WANG Z, ZHANG W. Model validation in digital twin-based manufacturing systems: a survey[J]. Journal of Manufacturing Systems, 2024, 61: 24–39 [Google Scholar]
  10. NING Xiaolei, WU Yingxia, YU Tianpeng, et al. Research on comprehensive validation of simulation models based on improved grey relational analysis[J]. Acta Armamentarii, 2016, 37(2): 338–347. [Article] (in Chinese) [Google Scholar]
  11. NING Xiaolei, ZHAO Xin, WU Yingxia, et al. Research on simulation model validation based on probability relational analysis[J]. Journal of Northwestern Polytechnical University, 2021, 39(5): 1158–1167. [Article] (in Chinese) [Google Scholar]
  12. NING Xiaolei, WU Yingxia, ZHAO Xin, et al. Research on small sample probability relational degree model[J]. Journal of Northwestern Polytechnical University, 2022, 40(5): 1164–1171. [Article] (in Chinese) [Google Scholar]
  13. GE Zhilei. The design and simulation of guidance and control system of the laser beam rider guidance anti-tank missile[D]. Xi'an: Northwestern Polytechnical University, 2003 (in Chinese) [Google Scholar]

All Tables

表1

常用的一致性检验算子

In the text
表2

命中概率$\hat{P}$与脱靶量参数(均值、方差)的关系(对尺寸大小2.3 m×2.3 m的靶标)

In the text
表3

不同方法的模型验证结果对比分析

In the text
表4

不同方法的模型验证结果对比分析

In the text
表5

待验证的模型输出参数

In the text

All Figures

thumbnail 图1

模型验证的基本过程
In the text
thumbnail 图2

MVR示意图
In the text
thumbnail 图3

MVR参与数字化试验流程图
In the text
thumbnail 图4

不同模型验证方法的验证结果
In the text
thumbnail 图5

不同模型验证方法的验证结果
In the text
thumbnail 图6

命中精度的影响因素
In the text
thumbnail 图7

不同模型验证方法的验证分辨率
In the text

Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.

Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.

Initial download of the metrics may take a while.