AI Security
本篇用于记录机器学习在安全领域的一些理念和应用技术。
网络信息安全会议
四大顶级学术会议：S&P、CCS、NDSS、USENIX Security。
相关术语
- Membership Inference Attack 成员推理攻击
- LLMs: Large Language Models，即大型语言模型。大型语言模型是一种自然语言处理（NLP）技术，其通过深度学习的方法，使用大量的文本数据进行训练，从而使模型能够理解、生成、翻译或完成与人类语言相关的各种任务。
推荐阅读
加国外的其实都没几本书，有精力的可以都先粗读一下再决定精度范围。
目前看过如下几本：
- Hands-On Machine Learning for Cybersecurity 《网络安全之机器学习》 -- 今年出了中文版，内容构成挺适合入门的。
- Machine Learning and Security 机器学习与安全 -- 原则上推荐对英文原版，因为，中文版某页介绍我直接对着原版改了3处翻译问题，后面还不知道有多少问题呢orz，作为入门可以看看。
- Web安全之机器学习入门 -- 国内出的比较早的，对入门友好，不过讲的比较简单，相关系列还有几本。
- 《人工智能在网络安全中的应用》
- 《基于人工智能方法的网络空间安全》
机器学习与安全
目前机器学习技术是有切实落地到企业安全业务中，所以无论从技术还是业务的方面，都值得好好学习研究。
机器学习：使用历史数据为以前未见的数据提出预测算法的过程。
数据集中每条数据的每个属性都可以被称为机器学习中的一个特别。
标记数据集：数据集包含我们预测目标的标记（比如：识别欺诈交易的数据中已包含标签注明该交易是否为欺诈），可对其进行监督学习。
如果没有标记，只能进行半监督或无监督学习。
需要将数据集（Dataset）划分成不重叠的训练集和测试集。
训练集比例X%（可任意选择），测试集包含剩余的 100%-X%
Some Questions
What is Machine Learning?
Machine Learning is a set of mathematical techniques, implemented on computer systems, that enables a process of information mining, pattern discovery, and drawing inferences from data.
大语言模型安全 LLM Security
目前主流是针对大语言模型进行攻击，详见笔记大语言模型安全
网络安全之机器学习
机器学习架构
典型的机器学习系统及其子流程：
模型引擎
机器学习模型引擎负责管理机器学习框架运行所涉及的端到端过程，包括：数据准备、特征生成、模型训练、模型测试。 （PS：参考检测模型的构建方法）
性能调整
概率近似正确(PAC)理论：如果算法的广义函数以高概率给出低泛化误差，则认为机器学习系统具有最佳性能。
人工智能安全领域
攻击检测
- 熟悉攻击的过程
- 研究每个过程中的技术
- 思考如何自动化处理
- 手工验证是否可行
检测模型的构建方法
实例1：WebShell检测
实例2：SQL注入检测
检测模型的构建方法
- 常用CyberSecurity DataSet
收集一些用于测试的数据集信息
| 名称 | URL | 备注 |
|---|---|---|
| Awesome-Cybersecurity-Datasets | ***.com | github |
| Kitsune Network Attack Dataset Data Set | ***.com | |
| UNB Dataset | ***.com | 包含十五种攻击数据集 |
| Publicly available PCAP files | ***.com | 网络包集合 |
| Collection of Pcap files from malware analysis | ***.com | 2015 |
| ICS-pcap | ***.com | 工控pcap包，分类明确 |
REF
- 【论文速读】| 针对红队攻击和防御大模型的攻击提示生成
- Accelerating incident response using generative AI -- Google虽然解雇了Python团队，但正式宣称AI为第一优先，所以他们的安全技术blog依旧值得持续关注。
- TextAttack Documentation
- OpenAI Red Teaming Network
- 大模型安全测试入门指南
- SecCorpus: 构建安全领域大模型数据的技术实践
- 人工智能在安全领域中的研究分享
- Data Mining for Cybersecurity（网络空间安全数据挖掘技术）课表
- Data-Mining-for-Cybersecurity相关资料
- 某校网安专业课程介绍
- AI-for-Security-Learning
- My-Security-Algorithm-Architecture
- AI-for-Security-Landing-Guide
- 如何攻击深度学习系统——可解释性及鲁棒性研究
- 如何攻击深度学习系统——后门攻防
- 深度学习在信息安全的应用有哪些可以关注的人或论文