1. 研究目的与意义
当今，可联网设备呈指数级增长，大数据时代下，计算机网络系统应用越来越广泛，网络上的数据量也呈几何级数增长，网络安全逐渐成为现代社会万物互联以及技术发展过程中愈发明显的治理难题，也逐渐受到各行各业的重视。随着数字经济的发展，网络安全不再只是是通信行业的问题，其已逐渐辐射到社会、经济、军事等更为重要的领域。尽管世界各地都在不断强化网络安全技术，完善网络安全防护措施，但网络安全技术的发展仍旧落后于恶意使用网络技术的步伐，网络威胁的发生频率、恶劣影响和防护的复杂性都在不断升级。此外，在日益激烈的网络攻防战中，传统的网络防护手段费时费力，且效用较低，已不能很好的解决网络中的安全隐患，显得力不从心，因此急需将新兴技术投入到网络安全防护之中。
基于客体对象增多、威胁扩大、传统网络防护方式乏力等多方面因素，强化学习(Reinforcement Learning,RL)的快速发展无疑为网络空间安全对抗提供了新的思路和技术手段。强化学习作为解决序列决策的重要方法，赋予智能体对物理世界认知并实现自我决策的能力，使其能够以试错的机制自主与环境进行交互，通过获得的奖励不断修正策略。因此，在动态化的网络安全环境以及网络安全攻防战中，强化学习为网络安全应用程序嵌入了一种认知手段，通过在与各种环境不断交互的过程中，使其准确性、可扩展性、可靠性和性能大大提升，应对网络威胁的能力大大加强，在未来的网络安全技术发展中定会成为完善网络安全防护的重要引擎。
现今应用强化学习应对网络安全威胁的模型中对回报奖励函数的设计仍存在较强的主观性，而强化学习在围棋领域为早已拥有如何相对客观设计回报奖励的方法，故将该种方法应用到网络安全策略之中便有了较大的研究意义。
2. 研究内容和预期目标
研究内容：在强化学习中应用蒙特卡洛树搜索来设计回报函数，一定程度去除回报函数的主观性，建立具体RL防御模型，以试错的机制在环境中进行训练与学习，达到完善网络安全防护的目的。
拟解决的关键问题：
1、如何基于强化学习建立网络安全策略模型？
3. 国内外研究现状
在网络空间安全攻防对抗过程中，攻防双方通过将攻击行为和防护行为作用于网络环境，并根据网络安全态势的变化调整对抗策略，从而实现网络攻击和网络安全防护的目的，而强化学习为网络空间攻防对抗智能化提供了重要途径和技术手段。
国内在运用强化学习解决各种网络安全问题上，主要分为攻防两方。一方使智能体作为防御者，通过认知外来威胁，达到增强网络安全性的目的。现有学者运用深度强化学习(Deep Reinforcement Learning,DRL)建立智能网络安全防护模型，基于动态贝叶斯来评估网络攻击的威胁程度，通过在虚拟网络空间综合靶场训练学习来获得安全防护智能体和最优安全防护策略(周云、刘月华,2021)，以此来抵御网络中的外来攻击。此外，由学者研究基于强化学习中深度Q学习算法(Deep Q Network,DQN)的入侵检测系统（IDS），以此构建方案DQ -IDS，以此监视流经设备的网络流量，捕获潜在的恶意活动并阻止来自攻击者的恶意流量(耿嘉炫,2021)。另一方则使智能体作为攻击者，模拟黑客攻击的方式对网络进行安全测试，俗称渗透测试。渗透测试路径发现是智能化渗透测试研究的关键问题，目的是及时发现网络中的脆弱节点以及攻击者可能的渗透路径，从而做到有针对性的防御。现有学者将深度强化学习与渗透测试问题相结合，将渗透测试过程建模为马尔可夫决策模型，在模拟网络环境中训练智能体完成智能化渗透测试路径发现(周仕承,刘京菊,钟晓峰,卢灿举,2021)。
国外有学者提出使用RL作为网络安全系统的一种伪造方法，经过训练的RL智能体的目标是学习威胁的调查行为，然后利用这些信息来破坏它以进行进一步的调查(H. Kumar,2019)。此外，有学者提出了一种防御方法，它既能检测DRL中的敌对攻击，又能对在这种攻击下应采取的行动提供建议。在这种方法中，通过比较策略的当前动作和同一策略使用预测框架产生的动作，训练一个视觉预见模块来检测对抗性例子的存在。还有学者提出一种基于深度强化学习（DRL）的虚拟网络嵌入（VNE）算法，有效地应用于解决终端用户/应用的网络差异化服务质量和安全要求(2021,Chao Wang，Ranbir Singh Batth，Peiying Zhang，Gagangeet Singh Aujla，Lihua Ren)。
4. 计划与进度安排
2022年1月31日前，学习相关具体理论，收集相关资料，完善代码能力。
2022年3月20日前，准备强化学习环境，建立具体模型，并进行相关测试以及试错。
2022年3月31日前，分析结果，完成初稿，请指导老师进行第一次论文指导工作。
5. 参考文献
参考文献：
[1] 周云，刘月华.基于深度强化学习的智能网络安全防护研究[J]。通信技术，2021，54(11):2545-2550.
[2] 王郁夫,李沛辰,易波,王兴伟.人工智能赋能网络安全应用[J].广州大学学报(自然科学版),2021,20(02):1-12.
以上是毕业论文开题报告，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
