硕士学位论文汇报

基于检索增强的恶意流量检测方法研究

Research on Retrieval-Augmented Methods for Malicious Traffic Detection
研 究 生杨晨烽
指导教师冯佳音
研究方向网络恶意流量检测
专业领域农业工程与信息技术
河北科技师范学院 · 数学与信息科技学院学位类别：农业硕士
01 · 研究背景

研究背景与挑战

来源：论文 §1.1 研究背景与意义、§1.2 国内外研究现状
全球 IoT 设备连接数（2024 年底，预计）
约 188 亿台
IoT Analytics 报告 [1]；2030 年预计约 400 亿台
僵尸网络 DDoS 攻击峰值（2025 年底）
31.4 Tbps
Cloudflare 2025 Q4 DDoS 威胁报告 [3]
加密协议普及
TLS 1.3 · HTTPS · QUIC
载荷不可见，DPI 依赖的明文特征 / 签名规则难以沿用

挑战一：检测结果的可解释性

  • IoT 场景需在 C&C、DDoS、PortScan 等十余种行为相近的类别间细粒度区分，类别分布高度不均衡
  • 现有模型多为纯参数化结构：低置信度样本既无法引入外部证据校正，也无法给出判别依据
  • GNN 与 Transformer 简单串/并联，难以兼顾局部结构与全局依赖

挑战二：轻量化与少样本适应

  • ET-BERT 等预训练 Transformer 迁移需全量微调上亿量级参数，训练时间长、显存开销高
  • 恶意样本标注依赖人工分析与沙箱验证，新型攻击初期每类仅数个可靠样本，直接微调易过拟合
  • 原型网络等方法压缩支撑样本，难以细粒度利用样本间相似关系
技术路线

检索增强（Retrieval Augmentation）：将模型内部的参数化知识与外部知识库中的非参数化知识相结合，判别时检索历史相似样本作为辅助证据。

02 · 研究内容

研究内容总览

来源：论文 §1.3、图1-1
图1-1
图1-1 论文主要研究内容总览

研究内容一 · RAG-GT（第三章）

  • 问题：IoT 复杂多分类中困难样本缺乏可追溯依据
  • 模型：GCN 局部结构 + Transformer 全局依赖
  • 机制：低置信度样本选择性检索，确定性修正

研究内容二 · RAC-ET（第四章）

  • 问题：标注稀缺下全量微调代价高、易过拟合
  • 模型：冻结 ET-BERT 编码器 + FAISS 样本知识库
  • 机制：Top-Kr 检索 + Cross-Attention 自适应融合

研究内容三 · 云鉴 AI 平台（第五章）

  • PCAP 上传 → 特征提取 → 模型推理 → 知识展示 → 可视化
  • 验证所提方法的可用性、可解释性与可部署性
第三章 · RAG-GT

检索增强图变换器 RAG-GT：方法与数据集

来源：图1-2、§3.2、§3.3、§3.4.1、表2-1
图1-2 RAG-GT 框架结构
1
2
3
4
5
图1-2 RAG-GT 框架结构
1

图构建 · kNN 样本相似图

16 维标准化特征 X（N×16），k = 10 近邻建图并对称归一化

2

GCN-Transformer 基础模型

3 层 GCN（隐藏 128）聚合局部结构 → 2 层、4 头 Transformer（FFN 512）建模全局依赖 → Softmax 得 pbase 与置信度

3

置信度门控

conf < τ（默认 τ = 0.6）才触发检索；高置信度样本直接输出 pbase

4

Top-K 近邻检索（K = 5）

在训练集知识库（44,000 条）中检索，得距离加权近邻标签分布 pret；测试样本不入索引

5

确定性融合 · 不调用生成式模型

pfinal = (1 − λ)·pbase + λ·pret，λ = 0.5；近邻样本即判别依据

IoT-23（主实验）

11 类 × 5,000 = 55,000 条；16 维连接日志特征；8:2 划分 → 训练 44,000 / 测试 11,000

§3.2、表2-1

CICIDS2017（稳健性）

78 维流统计特征；12 类 × 652 = 7,824 条；另取 IoT-23 13 类 × 1,000 = 13,000 条

§3.4.7、§3.4.8
第三章 · RAG-GT

主要结果：IoT-23 11 类检测

来源：表3-2、表3-3、表3-5、图3-1、§3.4.5
Accuracy · RAG-GT（表3-2）
94.80%
基线 91.80% +3.00
基线：GCN-Transformer
Macro-F1 · RAG-GT（表3-2）
94.67%
基线 91.61% +3.06
Micro-F1 91.80% → 94.80%
检索触发（τ = 0.6）
928 / 11,000
触发比例 8.44%，其余 91.56% 沿用基线预测
图3-1
图3-1 基线与 RAG-GT 在 IoT-23 各类别上的 F1 分数对比

基线 F1 最低的四类（表3-5，%）

类别基线 F1RAG-GT F1提升
C&C-HeartBeat82.6194.01+11.41
C&C-Other84.5191.64+7.13
PortScan-Horizontal75.2081.53+6.33
Benign83.0786.86+3.79

结论

  • 提升集中在困难类别：四类 F1 提升 3.79~11.41 个百分点，高于 Macro-F1 整体提升 3.06
  • 基线 F1 ≥ 98.9% 的五类，变化不超过 0.44 个百分点
  • 差值全部来自 928 条低置信度样本
第三章 · RAG-GT

消融、同协议对照与多种子稳健性

来源：表3-4、表3-6、表3-7、§3.4.5

检索模块消融：阈值 τ（λ = 0.5，表3-4）

基线（无检索）
91.80
触发 0
τ = 0.5
92.92
363（3.30%）
τ = 0.6（默认）
94.80
928（8.44%）
τ = 0.7
95.37
1,371（12.46%）
τ = 0.8
95.70
1,842（16.75%）
Accuracy(%)，条形坐标起点为 90%；右列为触发检索的测试样本数

融合系数 λ（τ = 0.6，表3-4）

λ = 0.3
94.49
928（8.44%）
λ = 0.5（默认）
94.80
928（8.44%）
λ = 0.7
94.76
928（8.44%）

12 组 τ×λ 配置准确率 92.83%~95.70%，均高于基线；τ 越大触发越多、准确率越高。默认 τ = 0.6 并非网格最高值，参数在同一测试集上比较、未另设验证集（§3.4.5）。

多数据集多种子稳健性（5 种子，表3-7）

数据集基线 AccRAG-GT Acc提升 / 显著性
IoT-23（13 类）78.49 ± 4.4682.67 ± 1.93+4.19（p=0.167）
CICIDS2017（12 类）86.76 ± 1.4288.84 ± 1.58+2.09（p=0.115）
合并（10 次运行）82.62 ± 5.5885.76 ± 3.75+3.14（p=0.041）
合并：配对 t 检验 p=0.041；Wilcoxon 符号秩检验 p=0.006；10 次中 9 次为正。单数据集 p>0.05，需更多种子确认。

IoT-23 上 RAG-GT 准确率标准差由 4.46 降为 1.93 个百分点，跨种子更稳定（§3.4.8）。

同协议结构对照（5 种子均值±标准差，表3-6）

方法IoT-23(%)CICIDS2017(%)
TransECA-Net58.73 ± 11.7258.65 ± 9.18
BS-GAT / NE-GConv71.16 / 71.2585.47 / 84.70
SimCLR76.38 ± 5.0386.67 ± 4.02
GCN85.59 ± 2.5689.67 ± 0.86
RAG-GT（本文）88.62 ± 1.2189.67 ± 1.19
在本章划分上按结构要点重新实现，非原文报告数字；IoT-23 最高，CICIDS2017 与 GCN 持平。
第四章 · RAC-ET

少样本检索增强分类 RAC-ET：方法与数据集

来源：图4-1、§4.3、表4-1、表4-2、§4.4.1
图4-1 RAC-ET 模型总体架构
1
2
3
4
图4-1 RAC-ET 模型总体架构（同图1-3）
1

冻结 ET-BERT 编码

载荷字节截断/填充至 L0 = 128，t = b + 1 映射为 token，加 [CLS] 得 T = 129；取 [CLS] 的 768 维表示，骨干全程冻结

2

流特征分支（CICIDS2017）

78 维流统计特征经自监督流编码器（SimCLR 风格，无标签预训练 50 epoch）投影到共享 768 维空间

3

FAISS 样本知识库与检索

L2 归一化后建 IndexFlatIP，内积等价余弦相似度；检索 Top-Kr 近邻（默认 Kr = 1）

4

Cross-Attention 融合 + 分类

Q = hq，K、V = 近邻特征，8 头；残差 + LayerNorm + FFN 精化后接线性分类头；仅训练融合层与分类头

参数效率（表4-2）

3.69%
ET-BERT 骨干132.2M（冻结）
交叉注意力2.36M
FFN2.36M
分类头0.35M
可训练 / 总计5.07M / 137.3M

数据集（表4-1）

数据集类别训练 / 测试
CSTNET-TLS 1.3120约 50,000 / 10,000
IoT-236约 138,000 / 34,000
CICIDS20177约 35,000 / 8,800
  • 前两者为字节载荷，CICIDS2017 为 78 维流统计特征
  • Ks ∈ {1,3,5,10,20}，3 个随机种子（42/123/456）取均值
  • 基线：ET-BERT 全量微调、RF、XGBoost
第四章 · RAC-ET

主要结果：少样本分类

来源：表4-3、表4-4、表4-5、图4-5、图4-8、§4.4.6
CICIDS2017 · 10-shot Acc
81.53%
ET-BERT 70.74% +10.79
IoT-23 · 20-shot Acc
67.20%
ET-BERT 53.92% +13.28
CSTNET-TLS 1.3 · 少样本 Acc
≥ 95%
提升 0.00~0.30 个百分点（表4-4），冻结表示已高度可判别
图4-5
图4-5 IoT-23 上不同 Ks 设置的准确率对比

ΔAcc / ΔMacro-F1（表4-3、表4-5）

KsIoT-23CICIDS2017
1-shot+5.60 / +8.41+1.66 / +2.13
3-shot+3.85 / +8.72+5.77 / +4.88
5-shot+4.84 / +8.83+7.63 / +6.76
10-shot+7.06 / +9.70+10.79 / +9.11
20-shot+13.28 / +13.63+9.09 / +7.17
单位：百分点；左为 ΔAcc，右为 ΔMacro-F1

平均少样本 ΔAcc（图4-8）

CSTNET
+0.16
IoT-23
+6.93
CICIDS2017
+6.99

单位：百分点。基线表示越不稳定，检索增强收益越大（§4.4.2、§4.4.6）

第四章 · RAC-ET

全标注对比、消融与效率

来源：表4-6、表4-7、表4-8、表4-9

CSTNET-TLS 1.3 全标注 Accuracy（表4-6，%）

随机森林 RF
30.10
XGBoost
35.55
ET-BERT 全量微调
88.75
RAC-ET（本文）
91.75
RAC-ET：Accuracy / Micro-F1 +3.00，Macro-F1 91.83（+2.55）

融合模块诊断性消融 · CSTNET 全量（表4-7，Accuracy %）

ET-BERT 基线
88.75
简单 MLP 融合
80.65
−8.10
仅注意力融合
83.40
−5.35
仅 FFN 融合
83.75
−5.00
注意力+FFN（无残差/LN）
75.25
−13.50
完整 RAC-ET
91.75
+3.00

检索规模 Kr 消融 · IoT-23，Ks = 10（表4-8，Accuracy %）

Kr = 1
59.79
Kr = 3
54.19
Kr = 5
50.49
Kr = 10
43.59
Top-1 近邻判别线索最强，更大检索集合引入跨类近邻噪声

与 ET-BERT 全量微调的效率对比（表4-9）

CSTNET 训练时间
约 12 分钟
ET-BERT 约 2.5 小时
降低约 92%
峰值显存
约 8 GB
ET-BERT 约 16 GB
降低 50%
可训练参数
5.07M
ET-BERT 132.2M（100%）
RAC-ET 占 3.69%

推理阶段 FAISS IndexFlatIP 精确检索，默认 Kr = 1，整体推理开销相较 ET-BERT 仅小幅增加（§4.4.4）

第五章 · 系统实现

云鉴（CloudSight）AI 平台设计与实现

来源：图5-1、图5-4、§5.1、§5.2、表5-1、表5-3
图5-1
图5-1 云鉴 AI 平台总体架构（用户层 · 前端展示层 · 接口服务层 · 分析引擎层 · 数据与模型层）

检测链路与实现

  • PCAP 解析：Scapy 按五元组聚合双向流，提取 16 维流特征，相邻流连边构图
  • IoT 检测引擎：部署 RAG-GT 的 GCN-Transformer，输出 11 类概率
  • 专家知识：11 条 JSON 条目，按后验 Top-3 类别匹配展示
  • 加密流量页：读取 RAC-ET 的 VNAT 离线审计结果，平台内不做在线推理
  • 技术栈：React 18 + TypeScript；Flask RESTful API（端口 5000），如 /api/analyze、/api/knowledge、/api/encrypted_result
图5-4
图5-4 平台对示例 PCAP 的 11 类检测概率输出（低置信度演示样本）
03 · 总结

总结与展望

来源：§6.1 本文总结、§6.2 未来展望

RAG-GT · 可解释检测

  • IoT-23 11 类准确率 91.80% → 94.80%
  • Macro-F1 91.61% → 94.67%
  • 检索仅在 8.44% 的低置信度样本上触发
  • 困难类别 F1 提升最高 11.41 个百分点

RAC-ET · 少样本轻量化

  • 仅训练 5.07M（3.69%）参数
  • CICIDS2017 10-shot 70.74% → 81.53%
  • IoT-23 20-shot 53.92% → 67.20%
  • CSTNET 全标注 91.75%；训练约 2.5 小时 → 约 12 分钟

云鉴 AI 平台 · 工程落地

  • 与实现一致的五层架构
  • RAG-GT 部署为 IoT 多分类检测引擎
  • RAC-ET 离线审计结果接入加密流量页
  • 完成从模型研究到可演示系统的闭环验证

未来展望（§6.2）

  • 纳入 QUIC、HTTP/3 等新型加密协议流量与新型攻击家族，拓展适用边界
  • 研究 RAG 触发策略与知识库的自适应优化（元学习 / 强化学习动态触发）
  • 引入时序图神经网络建模动态行为；结合联邦学习实现跨机构知识库协同构建

科研成果

第一作者论文 RAG-GT: A Retrieval-Augmented Graph-Transformer for Malicious Traffic Detection，投稿 MSN 2026（编号 241），同行评审中；对应第三章。

致 谢

衷心感谢导师冯佳音老师从选题立意、方案设计到实验推进与论文撰写的悉心指导；
感谢河北科技师范学院各位任课老师、实验室同门，
感谢 IoT-23、CICIDS2017、CSTNET-TLS 1.3 数据集发布团队与开源社区，感谢家人的支持。

恳请各位老师批评指正
汇报人：杨晨烽 · 指导教师：冯佳音
杨晨烽 · 基于检索增强的恶意流量检测方法研究← → / 空格 翻页 · N 讲稿 · F 全屏 · 点击图片放大1 / 12
讲稿