EDP Sciences logo
Submit your paper
Search
Menu
All issues Volume 43 / No 4 (August 2025) JNWPU, 43 4 (2025) 821-830 Full HTML
Open Access
Issue
JNWPU
Volume 43, Number 4, August 2025
Page(s) 821 - 830
DOI https://doi.org/10.1051/jnwpu/20254340821
Published online 08 October 2025

© 2025 Journal of Northwestern Polytechnical University. All rights reserved.

Licence Creative CommonsThis is an Open Access article distributed under the terms of the Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

综合模块化航空电子系统(integrated modular avionics, IMA) 是在战场环境愈加复杂, 信息化作战要求不断提高的情况下提出的。IMA的提出旨在解决电子系统设计和集成复杂性[1], 满足不断变化的功能需求和应用场景。IMA具有系统综合化、结构层次化、网络一体化、调度灵活化、维护中央化等优点[2], 能提供高性能的计算和控制能力[3], 以及实现设备之间的高效通信和互联。同时IMA允许其根据需求增加或替换系统的组件, 使得IMA能依据实际的应用场景切换任务模式以完成复杂多变的任务[4–5]。

起初对IMA的重构一般通过各种方法来辅助建模, 使用模型规划重构资源分配。Wang等[6]使用SPLE(software product line engineering)方法降低开发IMA等复杂系统的相关成本，并在领域建模进行特征选择时考虑IMA资源配置约束以保证安全性要求, 使用多目标遗传算法实现一种IMA资源配置方法。Ma等[7]利用动态故障树分析法(dynamic fault tree analysis, DFTA)和EDSPN模型对IMA系统多分区软件的运行状态进行分解, 得出分区软件间故障传播率对IMA系统功能的影响, 为IMA系统多分区软件的可靠性分析提供了良好的模型基础。Wei等[8]提出了一种基于安全的IMA系统架构及软件重新配置方法。该配置方法将错误事件和危险触发器集成到重配置过程中, 架构和软件重配置方法结合为一个扩展的AADL模型, 制定了AADL模型到确定性随机Petri网的映射规则, 并用IMA系统验证了基于安全的重配置方法的适用性和有效性。

使用算法解决重构问题的实例：Hollow等[9]将模拟退火算法引入重构领域, 该方法以适配度作为退火算法评估指标, 寻找等效的重构方案。虽然具有一定实践价值, 但是模拟退火算法不能解决耗时问题。Zhang等[10]将序贯博弈多智能体强化学习应用于综合模块化电子系统重构领域。该方法为了解决传统算法收敛难度高的问题, 使用基于有偏估计的策略梯度蒙特卡洛搜索树算法加速算法收敛, 但是未考虑智能体竞争、合作阶段探索因子自适应问题。

对IMA的研究从静态重构开始, 不少静态重构方法考虑通过设置一个能用以管理监控全局的表结构, 节省重构过程中的资源消耗。陈晓磊[11]提出了一种静态重构技术, 为IMA设置一个可替换的调度表, 通过管理调度表改变分区调度频率和调度顺序, 为静态重构方法添加了新方向, 但是调度表本身又会增加额外的资源开销。动态重构是一种有效的综合模块化航空电子系统故障容错方法, 张涛等[12]提出了一种基于序贯博弈多智能体强化学习的IMA系统重构方法，解决如何在复杂的多级关联故障模式下快速自动生成有效的重配置蓝图问题。杨威等[13]则是预先建立故障情况和重构蓝图的映射关系, 当故障发生时切换对应重构蓝图, 该方法在ARINC653系统上表现良好且建立映射关系本身消耗资源小, 但是该方法需要对所有可能的故障预先设置映射, 这在系统复杂的情况下是很难实现的。罗庆等[14]将Q-learning和模拟退火算法相结合, 使用智能体模拟退火算法并动态调整探索因子。与单纯的模拟退火算法相比, 该方法具有收敛速度更快、蓝图质量更高的优点。

分析关于IMA的研究情况, 可以发现现有关于IMA的研究大多集中在静态重构技术、安全分析以及重构系统建模领域。重构技术研究多集中于故障重构领域, 而多任务重构研究则较少。

本文对面向多任务的综合资源调度进行研究, IMA作为典型的多任务系统, 在DDQN基础上引入多步学习(multi-step learning, MS)和噪声网络(noisy network, NN)机制, 针对IMA重构问题提出了DDQN-MS-NN算法以提高重构质量。

1 IMA重构蓝图建模

IMA以分区思想为核心思想, 旨在通过模块化设计将不同部分和区域之间进行隔离[15–16]。本节将IMA不同部分根据负责功能的不同建立对应模型, 并在模型之上为多任务重构蓝图建立优化指标, 用于衡量重构蓝图质量。

1.1 IMA建模

IMA提供了一种可靠且符合实时要求的软件开发框架, 支持多个应用程序在同一硬件平台上并行运行, 同时确保应用程序间的隔离性和安全性。

IMA的核心思想是分区隔离概念。ARINC653将系统划分为多个独立的分区, 每个分区都有自己的应用程序和资源, 同时定义了一套严格的时间和空间分配机制[17–18], 每个分区都被分配了特定的CPU时间片和内存空间, 以确保应用程序在规定时间内执行并且互不干扰。ASAAC则从整体架构上将系统划分为3层，分别是应用程序层、操作系统层、模块支持层。相比于ARINC653, 2种结构构建思路相同, 只是ASAAC将系统进一步细分, 更符合设计思想中的系统性和整体性。本文以上述2种系统为基础, 同样以分区思想为核心, 将系统划分为CPU、分区、应用3层, 逐层进行IMA建模。

1.1.1 硬件资源模型

IMA中, 通过通信总线进行数据传输和信息控制。通信总线是连接系统中组件和设备的物理媒介, 系统中的各个中央处理器(CPU)和分区通过总线连结在一起, 其具体的结构图如图 1所示。

硬件资源对系统的性能、可靠性和功能扮演着重要的角色。本文结合IMA的分区隔离概念, 将CPU从时间、空间、健康状态方面抽象出特征进行建模。实际建模中, 将CPU抽象为有单个或多个分区的数据处理和控制模块, 该模块内部属性包括处理器时间片、系统内存大小、系统内部分区情况以及是否存在需要迁移应用。为全面地描述该模块, 得到如(1)式所示的四元组。

$ C=\left\langle T_{\mathrm{cpu}}, M_{\mathrm{cpu}}, V_{\mathrm{list}}, S\right\rangle $(1)

式中: C表示CPU处理器; Tcpu表示处理器从系统处分配得到的时间片; Mcpu表示处理器从系统处分配得到的内存空间; Vlist表示处理器上内部分区列表；S表示处理器内是否存在需要迁移应用, 取值0代表否, 1代表是。

除上述四元组, 为保证每个分区的资源不过量分配, 配置的分区还有限制: 即CPU上所有分区时间片总和不能超过CPU主框架时间, 所有分区分配到的内存总和不能超过CPU内存大小。结合限制得到(2)式。

$ \left\{\begin{array}{l} V_i \in\left\{V_1, V_2, \cdots, V_n\right\}, 1 \leqslant i \leqslant n \\ T\left(V_{\mathrm{s}}\right)=\sum\limits_{i=1}^n T\left(V_i\right), 0<T\left(V_{\mathrm{s}}\right) \leqslant T_{\mathrm{cpu}} \\ M\left(V_{\mathrm{s}}\right)=\sum\limits_{i=1}^n M\left(V_i\right), 0<M\left(V_{\mathrm{s}}\right) \leqslant M_{\mathrm{cpu}} \end{array}\right. $(2)

式中, Vi表示编号第i个分区; T(Vs)表示处理器所有分区的时间片总和; M(Vs)表示处理器所有分区的内存空间总和。

thumbnail 图1

IMA硬件结构

1.1.2 分区资源模型

IMA为保证同时支持多个应用程序在同一硬件平台上并行运行, 将每个处理器内部划分为多个分区, 其中每个分区内部都是一个独立的执行环境, 有自己的相关资源; 分区与分区之间彼此隔离, 分区之间平行运行互不干扰。分区主要保证了系统在时间和空间上的隔离, 因此本文建模也从时间和空间两方面进行构建。

1) 分区时间资源

IMA内部的时间资源分配, 以CPU为基础单位。CPU层面与分区层面采用的时间资源分配策略存在差别。

CPU层面: CPU层面的时间调度, 为提高资源利用率, 不能让某个分区独占时间资源, 而各个分区之间又不存在优先级关系, CPU将时间划分为多个时间片, 划分时间片不能出现重叠的情况，分区按顺序获取时间片执行任务。所有分区执行任务时间不能超出CPU主框架时间，只能在规定时间片内运行。

分区层面: 在每个被CPU调度到的时间片内，分区自身再对其内部的多个任务进行调度，通常采用动态的优先级调度策略。分区内部任务共享该分区被分配到的时间资源，因此需要在限定时间内完成任务执行，以实现分区内部任务的实时响应与高效协同。

2) 分区空间资源

IMA使用虚拟内存对分区空间资源进行管理。分配资源时, 每个分区设置独立的虚拟内存, 映射到实际物理内存时, 保证分区内部的虚拟内存在物理内存上是连续的, 分区之间的映射关系则不要求连续, 保证彼此之间相互隔离。

根据IMA分区时间调度和内存分配特征, 本文针对分区的时间和空间关键属性构建分区资源模型，如(3)式所示。

$ V=\left\langle t_{\text {start }}, t_{\text {duration }}, V_{\text {memstart }}, V_{\text {memsize }}, S_{\text {app }}\right\rangle $(3)

式中：V表示分区模型; tstart表示分区的开始执行时间; tduration表示分区的持续执行时间; Vmemstart表示分区虚拟内存在处理器中实际起始物理地址; Vmemsize表示处理器划分给分区的虚拟内存大小; Sapp表示挂载在分区内部的应用软件集合。

1.1.3 应用软件模型

IMA内部部署的软件由管理软件和应用软件组成[19]。管理软件不易更改且不能根据实际需求变更, 属于偏向底层的内容, 因此本文构建软件模型时仅考虑应用软件。构建应用软件模型时从时间和空间两方面考虑。

在空间方面, 应用软件部署于分区之中。应用软件运行需要足够的内存空间来保存运行时数据, 如堆栈数据和代码段等。应用程序保证性能和稳定性的前提是有足够的内存空间。

在时间方面, 因为航空航天领域广泛使用IMA, 对应用软件的实时性有着较高要求, 应用软件需要在各种时间限制下完成任务。常见的应用软件时间限制包括执行周期、一个周期内的最坏情况执行时间(worst case execute time, WCET)、应用软件的截止运行时间(deadline)。

考虑到应用软件的基本要素, 如应用名称、应用状态, 并结合上述空间、时间约束, 共同构建出应用软件模型。

$ A_{\mathrm{pp}}=\left\langle p_{\text {id }}, p_{\text {cycle }}, l_{\text {priority }}, T_{\text {WCET }}, T_{\text {deadline }}, S_{\text {mem }}, S_{\text {state }}\right\rangle $(4)

式中: App表示应用软件模型; pid表示应用软件的进程ID; pcycle表示应用软件的执行周期; lpriority表示应用软件的任务优先级, 分为1~5级，取值1代表优先级最低，5代表优先级最高。TWCET表示进程最坏情况执行时间; Tdeadline表示应用软件截止运行时间; Smem表示应用软件所需的空间资源; Sstate表示应用软件的迁移状态, 取值0代表不需要迁移, 1代表迁移。

1.1.4 任务模式模型

任务模式是指IMA应对不同任务时, 系统内部依据不同任务的需求挂载相对应的应用软件。不同应用软件负责各自的功能和逻辑, 使系统能够适应不同的应用场景。但IMA内部资源有限, 无法在一个任务模式中加载所有可能的应用场景，只能挂载该任务所必须的应用软件。因此本文定义的任务模式是完成该任务需要的应用软件资源, 如(5)式所示。

$ T_{\mathrm{B}}=\left\langle A_{\text {list }}\right\rangle $(5)

式中：TB表示任务模式; Alist表示任务模式中的应用软件列表。

1.1.5 配置蓝图模型

为提高资源利用率, IMA使用重构配置蓝图(reconfigure blue prints)调度资源, IMA在遭遇外部任务变更或内部故障时, 依据重构配置蓝图对系统内部资源和应用进行调整，以应对故障或完成新的任务。重构配置蓝图分为故障重构蓝图和任务重构蓝图, 分别在系统遭遇故障和任务变更时使用。本文讨论的重构蓝图属于任务重构蓝图。

分析重构配置蓝图的构成, 发现蓝图配置也符合分区的思想, 因此蓝图模型也从处理器到应用软件分层构建, 如(6)~(10)式所示。

$ R_{\mathrm{BP}} =\left\langle C_{\text {list }}, V_{\text {list }}, A_{\text {list }}, M_{\text {ap }}\right\rangle $(6)

$ \boldsymbol{C}_{\text {list }} =\left\{C_1, C_2, \cdots, C_n\right\} $(7)

$ \boldsymbol{V}_{\text {list }} =\left\{V_1, V_2, \cdots, V_m\right\} $(8)

$ \boldsymbol{A}_{\text {list }} =\left\{A_1, A_2, \cdots, A_t\right\} $(9)

$ M_{\text {ap }}=\left\{A_i \xrightarrow{C_i} V_j\right\}, i \in\left[1, \left|A_{\text {list }}\right|\right], j \in\left[1, \left|V_{\text {list }}\right|\right] $(10)

式中：Clist为系统中处理器的集合; n表示系统中处理器一共有n个; Vlist为系统中分区的集合; m表示系统中分区一共有m个, 每个分区有自己独立的物理内存资源和系统时间片; Alist为系统中应用软件的集合; t表示系统中应用软件一共有t个; Map用于表示应用软件在系统中的挂载位置, 例如: $M_{\text {ap }}=\left\{V_2 \xrightarrow{C_1} V_3\right\}$表示V2挂载在V3, 而V3又在处理器C1中。

系统初始IMA蓝图配置为: C1的分区1挂载A1~A2, 分区2挂载A3; C2的分区1挂载A4~A5, 分区2挂载A6~A8, 分区3未挂载应用; C3的分区1挂载A9, 分区2未挂载应用; C4的分区1挂载A10, 分区2未挂载应用。

1.1.6 重构迁移模型

IMA在遇到内部故障或者外部任务变更时触发重构, 依据触发条件的不同分为故障重构和任务重构。触发重构时系统的配置会依据重构蓝图进行迁移。重构迁移时需要考虑多方面因素, 具体约束条件在1.2节中给出。

对重构迁移蓝图的模型构建要能体现出整个系统的资源分配, 如(11)式所示。

$ R_{\mathrm{BPmove}}=\left\{R_{\mathrm{BPcur}} \xrightarrow{\text { activelist }} R_{\mathrm{BPdes}}\right\} $(11)

式中: RBPmove表示重构迁移蓝图模型; RBPcur表示系统内部资源、分区、应用软件当前时刻状态; RBPdes表示系统内部资源、分区、应用软件的目标状态; activelist表示该次重构系统应用软件迁移、移除、挂载行为总和。

在任务变更后, 系统的蓝图进行了重构。重构迁移蓝图的内容涉及整个系统的处理器、分区资源、所有应用软件。重构蓝图与初始蓝图的应用进行比较发现, A6被移除, 新增了A11, 并将A11迁移至资源充足的C3的分区2中。

1.2 系统重构约束及优化指标

IMA在生成重构蓝图时, 需要考虑多方面的约束, 本节对蓝图所需考虑约束进行讨论。IMA的核心思想是分区隔离思想, 在这一思想的主导下, 对IMA各部分进行模块化设计。各个模块之间相互隔离又共享同一硬件资源, 在考虑约束时可以从某一模块去考虑, 也可以从多个模块之间共用的硬件资源限制去考虑。本节通过分析IMA的硬件资源条件在实际重构蓝图中的影响, 从实时性约束、空间约束、唯一性约束定义资源约束。

1.2.1 唯一性约束

IMA使用虚拟化技术和分区隔离将系统的各部分隔离开来, 提高了系统的可靠性和容错性。系统的各部分彼此独立且有各自需要的各类资源。系统中各分区中的应用软件只能部署在一个分区内, 无法跨分区部署, 这会造成不可控的影响。根据配置蓝图模型中的应用软件列表Alist和分区列表Vlist, 提出(12)式建立部署关系矩阵(deployment relationship matrix, DRM)。

$ \begin{gathered} \boldsymbol{D}_{\mathrm{RM} i j}=\left\{\begin{array}{ll} 1, & A_i \text { 部署在分区 } V_j \\ 0, & A_i \text { 未部署在分区 } V_j \end{array}, \right. \\ 1 \leqslant i \leqslant\left|A_{\text {list }}\right|, 1 \leqslant j \leqslant\left|V_{\text {list }}\right| \end{gathered} $(12)

DRM矩阵的行代表系统内应用软件的总数, 列代表系统内分区的总数。因此, 唯一性约束的定义(13)式所示。

$ \sum\limits_{j=1}^{\left|V_{\text {list }}\right|} \boldsymbol{D}_{\mathrm{RMij}}=1, i \in\left[1, \left|A_{\text {list }}\right|\right] $(13)

式中，DRMij表示应用软件Ai在分区Vj上的部署情况。对矩阵DRM的每一列求和, 结果等于1或0, 代表Ai在单一分区内部署或尚未部署, 不会出现某一应用在多个分区部署的情况, 由此可以保证部署关系的唯一性。

1.2.2 实时性约束

IMA对实时性要求严格, 所有任务都需要在规定时间内完成，其为每个CPU分配了主框架时间, CPU内部的各种应用执行均需要在主框架时间内完成, 结合应用软件模型, 实时性约束有如下限制:

1) 分区内应用软件的周期最坏执行时间(WCET)应在分区的时间窗口之内，即所有的任务周期执行时间必须比分区时间片小。

2) 在处理器分配的时间片结束之前, 分区内所有应用软件应当结束，即分区内应用软件执行的完成时间必须在分区时间片之内。

实时性约束如(14)式所示。

$ \left\{\begin{array}{l} \sum\limits_{i=1}^n W_{\text {CETA }_i} \leqslant V_{\text {durtime }}, A_i \in V \\ V_{\text {startime }} \leqslant A_{\text {timedeadline }} \leqslant V_{\text {startime }}+V_{\text {durtime }} \end{array}\right. $(14)

式中：WCETAi表示应用软件Ai的最坏情况执行时间; Vdurtime表示分区V的时间窗口; Vstarttime表示分区V的开始执行时间; Atimedeadline表示软件的运行截止时间。

1.2.3 空间约束

IMA同一处理器中的各分区采用虚拟内存分配内存空间。虚拟内存并不能凭空增加空间资源, 因此各分区内应用软件所需内存总和不能超过处理器分配给分区的内存空间大小。由此, 存在空间约束如(15)式所示。

$ \sum\limits_{i=1}^n A_{\text {memsize }_i} \leqslant V_{\text {memsize }}, A_i \in V $(15)

式中：Amemsizei表示部署在分区内的应用软件Ai所需空间资源大小; Vmemsize表示分区V的内存空间总大小。

1.2.4 负载均衡

IMA是多核处理器系统, 在多核处理器系统中, 通过负载均衡实现系统资源的均衡利用。当系统中存在负载不均衡时, 某些处理资源可能被过度利用, 而其他资源可能处于闲置状态, 导致系统整体性能下降, 无法充分利用所有资源, 任务完成所需时间延长, 影响系统正常运作。因此, 确保系统各个处理器负载均衡是至关重要的。影响负载的因素有很多, 其中CPU使用率和内存使用率影响最大也最易获取。因此主要从这两方面入手。

IMA内部资源分配以分区作为基本单位, 因此从分区的CPU使用率和内存使用率开始, 将同一CPU下的各个分区负载情况转换成向量形式, 通过分析向量的离散情况评估CPU的负载均衡状态。分区负载向量(partition load, PL)如(16)式所示。

$ \left\{\begin{array}{l} L_{V_i}=\mu_1 C_{\text {use }}+\mu_2 M_{\text {use }} \\ \mu_1+\mu_2=1 \end{array}\right. $(16)

式中, Cuse表示分区Vi的CPU利用率; Muse表示分区Vi的内存利用率; μ1表示CPU利用率权重系数; μ2表示内存利用率权重系数。

针对分区Vi, CPU使用率和内存使用率的计算如(17)式所示。

$ \left\{\begin{array}{l} C_{\text {use }}=\frac{\sum\limits_{i=1}^{\left|A_{\text {list }}\right|} W_{\text {CETA }}}{V_{\text {durtime }}} \\ M_{\text {use }}=\frac{\sum\limits_{i=1}^{\left|A_{\text {list }}\right|} M_{A_i}}{M_{V_{\mathrm{p}}}} \end{array}\right. $(17)

分区负载向量可以表示各个分区的负载情况, 但无法表示负载均衡程度。负载均衡可以通过离散程度来衡量。而标准差可以用于衡量数据的离散程度, 各分区负载均衡时标准差较小, 当标准差较大时表明各分区负载出现不均衡的现象, 需要进行调整。因为负载均衡无法直观查看, 本文通过标准差得出分区内向量离散情况, 等效估计负载均衡状态。

$ S_{\mathrm{LB}}=1-\sqrt{\frac{\sum\limits_{i=1}^{|V_{\text {list }} \mid}\left(L_{V_i}-\bar{L}\right)^2}{\left|V_{\text {list }}\right|}} $(18)

式中：SLB表示系统负载均衡指标; |Vlist|表示系统中分区总数; LVi表示分区的负载向量; L表示理想情况, 此时系统负载完全平衡。

1.2.5 重构时间

IMA触发任务切换时, 除了保证重构蓝图的可用性, 还需要考虑执行任务切换过程中, 系统内部资源配置的时间消耗。IMA对实时性有着严格的标准, 任务必须在规定时间内完成。IMA内部的应用软件迁移分为3步：第一步保存应用软件的上下文信息, 对应用软件中的数据进行打包；第二步通过数据总线将打包后数据传输到目的分区；第三步解包, 并根据上下文消息恢复现场。重构时间包括从记录上下文信息到恢复现场的整个过程。

本文将系统重构时间定义为两部分：①记录上下文信息、打包应用软件数据、解包并恢复现场, 这一部分所消耗的时间不好统计且相差不大, 因此作为一个常量值；②数据包从初始分区传输到目的分区所消耗的时间, 这一部分时间与应用软件数据大小、目的分区都有关系。将两部分结果结合得到重构时间，如(19)式所示。

$ T_{\mathrm{re}}=\sum\limits_{i=1}^{\left|A_{\text {list }}\right|}\left(T_{A_i \text { const }}+T_{A_i \text { trans }}\right) $(19)

式中：Tre表示系统重构时间消耗; |Alist|表示需移出分区的应用软件集合; TAiconst表示应用软件Ai的固定时间消耗; TAitrans表示应用软件Ai的传输时间消耗。

2 DDQN-MS-NN重构算法设计

IMA的任务重构主要问题有：①IMA在重构过程中的状态规模过大；②算法收敛速度；③算法生成重构蓝图质量。本文针对以上问题对算法做出了改进。

首先是IMA的规模问题, 随着IMA的系统复杂程度增大, IMA在重构过程中的中间状态显著增多。而Q-Learning算法通过Q表记录每个状态下动作的Reward值, 这在动作空间较小时效果优异, 但是同时算法也受限于表的空间。当动作空间过大甚至无限时, Q-Learning将无法使用Q表来记录动作对应的Q值，此时需要使用DQN。DQN采用深度学习的思想, 用神经网络计算Q值, 这样就解决了动作空间有限的问题, 具有良好的决策能力。然而，DQN仍有其局限性。为提升其性能，后续对DQN继续进行改进，包括优先经验回放、噪声网络、多步学习等。这些改进策略在提升学习效率、增强探索能力和加快收敛速度等方面各具优势。

然后是算法收敛的问题, 解决算法收敛问题的主要手段是提高算法对训练经验的利用率。因此多步学习是很好的方向, 多步学习通过引入多步回报来增加学习的速度和效率, 同时更好地利用了环境中的延迟奖励信号，可以减少模型更新的频率，从而提高训练的稳定性和效果。强化学习默认采用单步学习, 即智能体每进行一步动作就依据观测到的奖励和动作价值函数同下一动作及状态计算差值yt, 称为TD Target, 并更新网络, 有

$ y_t=r_t+\gamma \cdot \max\limits_a Q^*\left(s_{t+1}, a\right) $(20)

当使用多步学习时, 计算折扣回报需要多次折扣, 此时的计算公式为

$ y_t=\sum\limits_{i=0}^{m-1} \gamma^i \cdot r_{t+1}+\gamma^{m-1} \cdot \max\limits_a Q^*\left(s_{t+m}, a\right) $(21)

式中, m表示多步学习的步数。

除了算法收敛速度, 蓝图质量也是评价算法的重要指标。为提高算法生成重构蓝图质量, 引入噪声网络机制。噪声网络机制在智能体同环境交互选择动作时, 在Q值网络处加上高斯噪音, 干扰智能体的动作选择, 迫使智能体选择更多的动作。噪声网络使用随机网络增大了智能体进行探索时的随机性, 减少了网络对于特定神经元的依赖。

多步学习和噪声网络机制相互合作, 提升了算法的整体性能。多步学习避免了智能体因选择当前最优解而错过整体最优解, 又由于噪声网络的存在, 在算法基本稳定后智能体也保留了一定的随机探索概率, 有助于发现更优解。

本文算法DDQN-MS-NN通过多步学习(m=3)、噪声网络机制和优先经验回放策略优化重构蓝图的生成。流程包括状态预测、动作执行、奖励计算、经验池更新及网络参数同步, 最终输出IMA重构蓝图。

如图 2所示, 智能体在初始状态st选取动作at, 前期各动作奖励差距不大, 在噪声网络的干扰下处于随机选择的状态, 后续算法基本稳定后, 同样由于噪声网络, 智能体仍然保留了一定的概率探索新路径, 防止因对固定路径的依赖而错过更优解。将动作at输入综合电子系统得到奖励rt和新的状态st+1, 更新Q网络, 并将此过程中的四元组(st, at, rt, st+1)存入经验池。当经验池样本足够多时, 每隔一定训练轮次从中抽取一批样本进行训练。训练时计算从当前状态到3步动作后的累计训练值, 计算损失并更新网络。

thumbnail 图2

算法框架图

3 仿真验证

IMA以初始任务模式S0作为起点, 调用算法对S1~S8蓝图进行训练, 训练过程中算法使用迁移、移除、添加几个动作不断试错和改进, 每个轮次得到结果后更新数据、优化模型, 训练完成后根据最终模型得到新的重构蓝图。训练完成的重构算法对S1~S8的蓝图根据动作空间选择合适的动作进行一系列操作，得到新任务模式对应的重构蓝图。

在算法训练完成后, 针对任务模式S1~S8, 系统根据不同任务需求生成了对应的重构蓝图。S1任务模式中, 重构蓝图主要保留了初始蓝图中的A1, A4, A6等应用, 同时新增部署了A12~A15等关键应用。S2至S4中, 任务变化导致A2, A3, A5, A7等应用频繁迁移, 部分模式还出现A6或A10的替换或重部署。S5与S6为多应用变更任务, 其中A11, A14, A15等为新增或迁移重点, A1和A4则根据负载重新分配。S7与S8在处理器和分区之间重新优化了A3, A10, A13, A14的部署位置。

现在对蓝图质量和算法效率进行分析和验证。

3.1 蓝图质量对比

本次实验中, 模拟了IMA从初始任务模式切换到设计的8种任务模式的过程。该过程的实现分别由DDQN-MS-NN、Q-Learning和DQN算法完成, 重构蓝图质量由三部分构成：①负载均衡, 负载均衡指系统内部硬件资源富裕的分区挂载更多应用, 使得整个系统资源得到合理应用; ②重构影响, 重构影响表示蓝图重构前后差距, 差距越大表面需要进行操作的应用越多, 得分越低; ③迁移时间, 迁移时间越长的蓝图, 在系统实际根据蓝图切换任务模式时, 迁移过程中出现错误的可能性越高。因此可以认为蓝图质量得分高的蓝图更优秀。图 3~4是不同算法生成最终蓝图的质量奖励值，奖励值为10次结果取平均，将单个应用差异和多个应用差异分开对比。

分析图 3~4可以看出，由DDQN-MS-NN算法得出的重构蓝图相比于Q-Learning、DQN和DDQN, 无论是在单个应用差异或者多个应用差异的条件下, 均有更高的蓝图质量奖励值。

thumbnail 图3

S1~S4重构蓝图质量图
thumbnail 图4

S5~S8重构蓝图质量图

3.2 重构算法性能分析

传统的DQN会高估一些情况下的行为价值, DDQN-MS-NN算法引入了双价值网络机制用于解决预估值比实际值要高的问题。DQN内部有1个预测(predict)网络和1个目标(target)网络。DQN是根据上一轮的目标网络来更新最优动作，这会导致Q值高于实际值。而DDQN-MS-NN则采用当前的预测网络来选择动作，目标网络用于保证更新的稳定，这样能在一定程度上减小误差，使Q值更加接近真实值。因此理论上DDQN-MS-NN算法能更快收敛。

对算法的性能进行分析, 分别以单个应用不同的重构蓝图S1和多个应用不同的S6为例查看算法随轮次的奖励值增加曲线。图 5展示蓝图S1下算法奖励曲线。由图 5可以看出Q-Learing和DDQN-MS-NN在5 000轮次时曲线开始平稳, 但Q-Learning在后续训练中出现了震荡, 而DQN曲线相比Q-Learning则要稳定许多。DDQN算法同DQN相比，训练过程更平稳且收敛更快。总体而言DDQN-MS-NN收敛最快最平稳, 且最终奖励值更高。证明在系统进行简单的任务模式切换时, DDQN-MS-NN比基础的DDQN、DQN以及Q-learning都更具优势。

S5~S6对应的任务模式切换涉及的应用程序更多, 系统内部资源调度变化更大、问题更复杂。以S6对应的重构蓝图为例进行分析, 图 6为DDQN-MS-NN、Q-Learning、DQN算法在20 000次训练中的奖励值。

对比图 6中曲线可以发现在多个应用差异的情况下, DDQN-MS-NN算法收敛速度更快, 在6 000轮次左右就基本收敛, 且奖励回报值趋于稳定, 未作改进的DDQN在8 000轮次左右稳定, 而Q-Laerning和DQN在10 000轮次还未完全收敛, 且在12 000轮次基本收敛后还出现较大波动。说明DDQN-MS-NN算法在复杂条件下相较于Q-Learning、DQN和DDQN，在重构问题上算法收敛性明显更加优秀。

综合结果分析, 可以看出面对相同的任务模式切换时, DDQN-MS-NN算法得出的重构蓝图拥有更高的质量, 并且算法收敛速度更快且收敛后奖励值曲线更稳定。在更复杂的条件下DDQN-MS-NN经过前期训练后, 后续曲线也能保持稳定。因此可以验证本文提出的DDQN-MS-NN算法在重构尤其是情况复杂时相比Q-Learning和DQN更加优秀。

thumbnail 图5

S1下不同算法奖励值曲线
thumbnail 图6

S6下不同算法奖励值曲线

4 结论

本文围绕多任务环境下综合模块化航空电子系统的重构方法展开研究，重点探讨了多模式任务调度、资源按需挂载与调度算法改进等关键问题。通过构建任务-应用映射关系与多模式蓝图管理机制，有效提升了系统在资源受限条件下的任务适应能力。在调度算法方面，引入基于DDQN的改进方法DDQN-MS-NN，解决了传统DQN存在的Q值高估问题，实现了更精确的决策，同时具有更快的收敛速度。实验结果表明，所提出的方法在任务调度效率、资源利用率以及系统响应能力等方面具有显著优势，为IMA系统的智能化重构提供了可行思路与实践基础。

References

  1. ANNIGHOEFER B, REINHART J, BRUNNER M, et al. Requirements and concept for a self-organizing plug & fly avionics platform[C]//2021 IEEE/AIAA 40th Digital Avionics Systems Conference, San Antonio, 2021: 1–10 [Google Scholar]
  2. REBISCHKE C, ZAESKE W, DURAK U. From the cloud to the clouds: rethinking integrated modular avionics with cloud-native technologies[C]//2023 AIAA Science and Technology Forum and Exposition, 2023 [Google Scholar]
  3. LIU L, ZHAO W, JIANG Z, et al. A modeling method for integrated modular avionics dynamic reconfiguration process based on AADL[J]. Journal of Physics Conference Series, 2020, 1646: 012132. [Article] [Google Scholar]
  4. BURGER S, HUMMEL O. Towards automatic reconfiguration of aviation software systems[C]//IEEE Computer Software & Applications Conference Workshops, 2011 [Google Scholar]
  5. LUKIC B, AHLBRECHT A, FRIEDRICH S, et al. State-of-the-art technologies for integrated modular avionics and the way ahead[C]//2023 IEEE/AIAA 42nd Digital Avionics Systems Conference, Barcelona, Spain, 2023: 1–10 [Google Scholar]
  6. WANG L, HONG Y, LI K, et al. A novel IMA resource configuration method based on feature modeling and optimization[C]//2019 3rd International Conference on Electronic Information Technology and Computer Engineering, Xiamen, China, 2019: 1216–1223 [Google Scholar]
  7. MA H, CUI W, YUE M, et al. Modeling and simulation on dynamic reliability of multi-partition software of IMA based on TimeNET4.4[C]//2021 IEEE 6th International Conference on Computer and Communication Systems, Chengdu, China, 2021: 1088–1093 [Google Scholar]
  8. WEI X, DONG Y, XIAO M. Safety-based software reconfiguration method for integrated modular avionics systems in AADL model[C]//2018 IEEE International Conference on Software Quality, Reliability and Security Companion, Lisbon, Portugal, 2018: 450–455 [Google Scholar]
  9. HOLLOW P, MCDERMID J, NICHOLSON M. Approaches to certification of reconfigurable IMA systems[J]. INCOSE International Symposium, 2000, 10(1): 372–379. [Article] [Google Scholar]
  10. ZHANG T, CHEN J, LV D, et al. Automatic generation of reconfiguration blueprints for ima systems using reinforcement learning[J]. IEEE Embedded Systems Letters, 2021, 13(4): 182–185. [Article] [Google Scholar]
  11. CHEN Xiaolei. Research on partition management technology supporting application software reconstruction in IMA system[J]. Electronic Technology and Software Engineering, 2014(11): 93–95 (in Chinese) [Google Scholar]
  12. ZHANG Tao, ZHANG Wentao, DAI Ling, et al. Reconstruction method of integrated modular avionics system based on sequential game multi-agent reinforcement learning[J]. Acta Electronica Sinica, 2022, 50(4): 954–966 (in Chinese) [Google Scholar]
  13. YANG Wei, LI Shan, CHANG Lei. A ARINC653-based dynamic reconstruction method for avionics application partitions[J]. Information Systems Engineering, 2020(3): 148–149 (in Chinese) [Google Scholar]
  14. LUO Qing, ZHANG Tao, SHAN Peng, et al. Blueprint generation method for IMA system reconstruction based on improved Q learning[J]. Acta Aeronautica et Astronautica Sinica, 2021, 42(8): 327–336 (in Chinese) [Google Scholar]
  15. LIU Z, ZHAO Z. Modeling and schedulability verfication of IMA partitioning based on AADL[C]//2017 10th International Symposium on Computational Intelligence and Design, Hangzhou, China, 2017: 417–420 [Google Scholar]
  16. ZHOU S, WANG S, LIU B. A static load balancing evaluation method for IMA system[C]//2017 2nd International Conference on Reliability Systems Engineering, Beijing, China, 2017: 1–5 [Google Scholar]
  17. XIANG W, HE F. End-to-end delay analysis considering partition scheduling on a DIMA platform[C]//TENCON 2018-2018 IEEE Region 10 Conference, 2018: 1548–1553 [Google Scholar]
  18. MELANI A, MANCUSO R, CACCAMO M, et al. A scheduling framework for handling integrated modular avionic systems on multicore platforms[C]//2017 IEEE 23rd International Conference on Embedded and Real-Time Computing Systems and Applications, 2017 [Google Scholar]
  19. WANG Manchao, CHEN Haifeng, LIU Lei, et al. Research on the development of software-defined missile technology[J]. Tactical Missile Technology, 2020(2): 93–98 (in Chinese) [Google Scholar]

All Figures

thumbnail 图1

IMA硬件结构
In the text
thumbnail 图2

算法框架图
In the text
thumbnail 图3

S1~S4重构蓝图质量图
In the text
thumbnail 图4

S5~S8重构蓝图质量图
In the text
thumbnail 图5

S1下不同算法奖励值曲线
In the text
thumbnail 图6

S6下不同算法奖励值曲线
In the text

Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.

Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.

Initial download of the metrics may take a while.