Open Access
表2
神经网络模型架构优化方法
| 方法 | 思想描述 | 适用层级 | 训练方式 | 优点 | 缺点 |
| 剪枝 | 根据参数、通道、卷积核及卷积层的重要性, 删除网络中的连接及节点 | 神经元卷积核卷积层、全连接层 | 重新训练及预训练模型 | 鲁棒性能强, 能直观理解网络轻量化, 非结构化剪枝可压缩模型大小且不易丢失精度 | 剪枝程度难以平衡, 自动化剪枝对计算资源要求较高 |
| 架构搜索 | 根据搜索策略, 在搜索空间内寻找最符合性能评估策略的神经网络架构 | 卷积层、全连接层 | 重新训练 | 操作简单, 适用范围较广, 可找到最优的神经网络架构 | 网络复杂时需要的计算资源大, 训练时间长 |
| 知识蒸馏 | 将已训练好的模型数据提取至另一个更为精炼的模型中 | 卷积层、全连接层 | 重新训练 | 泛化能力强, 适用于中小型数据集且性能良好 | 蒸馏过程较复杂, 应用场景单一, 仅能重新训练, 且训练时间较长 |
| 卷积核设计 | 将卷积核架构进行优化设计, 使卷积运算量减小 | 卷积层 | 重新训练 | 计算和内存资源的需求小, 移动端部署难度低, 并可通过一次性训练得到轻量化模型 | 应用要求高, 扩展性、结合性及鲁棒性较弱 |
Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.
Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.
Initial download of the metrics may take a while.