迈向安全社会 5.0：在现实网络环境中进行强化学习渗透测试代理训练
确保网络系统和基础设施的安全是网络安全的关键方面。渗透测试（pentesting）是评估网络安全态势的有效方法。近年来，研究人员致力于开发有效的方法来自动执行渗透测试程序，以解决传统手动和耗时方法中的问题。一种方法是使用强化学习(RL) 技术，该技术已被用于创建自动代理，模仿人类渗透测试人员的动作，但速度、规模和精度都有所提高。
各种模拟环境已被引入作为训练这些 RL 代理的主要方法。然而，代理动作和环境状态严重依赖预定义的常量和概率值，导致在复制真实世界行为时可能存在不准确性，这是由于未建模的因素造成的，从而降低了代理的准确性和性能。此外，模拟网络可能无法准确表示实际网络的配置和拓扑。
为了解决这一“现实差距”，由副教授 Razvan Beuran 领导的研究团队与日本先进科学技术研究所 (JAIST) 的博士生 Huynh Phuong Thanh Nguyen 以及 KDDI Research 的研究人员设计并实施了 PenGym，这是一个有效、可靠的现实训练框架，用于 RL 渗透测试代理，是与 KDDI Research 联合项目的一部分。
用于 PenGym 代理训练的真实网络环境示例。来源：JAIST 的 Razvan Beuran。
PenGym 使 RL 代理能够在网络环境中对真实主机执行实际操作。为此，该框架包含一个操作/状态模块，该模块为 RL 代理和训练环境之间的交互实现了一组真实的渗透测试操作。此外，训练环境基于用于人类网络安全训练的网络靶场技术，并根据多种渗透测试场景自动创建。
为了提高 PenGym 的时间执行性能，他们实施了几种优化技术。因此，他们的框架消除了对动作建模的需求，与基于模拟的环境相比，可以更准确地表示网络和安全动态。他们的研究发表在《计算机与安全》杂志上。
本研究采用的方法是在真实网络环境中执行实际的渗透测试操作，与模拟环境相比，这种方法取得了令人鼓舞的结果。特别是，他们的实验证明了使用 PenGym 作为 RL 渗透测试代理的真实训练环境的优势和有效性。因此，与模拟训练的代理相比，PenGym 训练的代理在真实网络中表现出了更出色的渗透测试性能。
根据研究人员获得的实验结果，他们认为他们的研究可能会导致与网络相关的各种研究领域的变化，有可能用更现实的方法取代传统的创建复杂逻辑模型来模拟网络环境的方法。此外，真实的训练环境可以应用于其他研究领域。
一个重要的例子是使用 RL 代理进行自动网络防御，它可用于增强真实网络基础设施的保护机制，并有助于提高 Society 5.0 的可信度。为了支持该领域其他研究人员的潜在活动，他们在 GitHub 上将 PenGym 作为开源发布。
页:
[1]