针对特定硬件配置优化的神经网络设计修剪方法

Josiah02

神经网络剪枝是将基于深度神经网络 (DNN) 的人工智能 (AI) 模型部署到资源受限的平台（例如移动设备）的关键技术。然而，不同平台的硬件条件和资源可用性差异很大，因此设计最适合特定硬件配置的剪枝模型至关重要。
硬件感知的神经网络修剪提供了一种自动化该过程的有效方法，但它需要平衡多个相互冲突的目标，例如网络准确性、推理延迟和内存使用情况，而传统的数学方法难以解决这些问题。
在《基础研究》杂志上发表的一项研究中，来自中国深圳的一组研究人员提出了一种基于多目标进化优化的新型硬件感知神经网络修剪方法。
“我们建议采用多目标进化算法 (MOEA) 来解决硬件神经网络修剪问题，”该研究的资深作者兼通讯作者 Ke Tang 说道。
与传统优化算法相比，多目标进化算法在解决该问题上具有两个优势。一是多目标进化算法不需要可微分性或连续性等特殊假设，并且具有强大的黑箱优化能力。二是它们能够在一次模拟运行中找到多个帕累托最优解，这在实践中非常有用，因为它提供了灵活性来满足不同的用户需求。
“具体来说，一旦找到这样一套解决方案，最终用户只需单击相应的解决方案即可轻松选择他们喜欢的 DNN 压缩配置，例如优先考虑延迟或优先考虑内存消耗”，唐补充道。
研究结果进一步表明，多目标进化算法虽然潜力巨大，但仍然存在搜索效率低的问题。为此，研究人员开发了一种新的 MOEA，即硬件感知多目标进化网络剪枝 (HAMP)，以解决这一问题。
“它是一种模因式多目标进化算法，结合了高效的基于投资组合的选择和辅助代理的局部搜索算子。HAMP 是目前唯一能够同时有效处理多个硬件直接反馈和准确性的网络修剪方法，”第一作者 Wenjing Hong 解释道。“在移动 NVIDIA Jetson Nano 上进行的实验研究证明了 HAMP 相对于最先进技术的有效性以及多目标进化算法在硬件感知网络修剪方面的潜力。”
研究团队的结果表明，HAMP不仅成功地实现了在所有目标上都更优的解决方案，而且同时提供了一组替代解决方案。
“这些解决方案在延迟、内存消耗和准确性之间呈现出不同的权衡，因此可以在实践中促进 DNN 的快速部署，”Hong 总结道。