# 阶段二-B：算法攻防专家 - 学习笔记

## 学习状态
- 开始时间: 2026-03-27 23:59 GMT+8
- 进度: 进行中

## 1. 推荐算法逆向工程

### 推荐算法基础
**主流推荐系统架构：**
- **协同过滤（Collaborative Filtering）：**
  - 用户-用户相似性
  - 物品-物品相似性
  - 矩阵分解（SVD、ALS）

- **基于内容推荐（Content-Based Filtering）：**
  - TF-IDF、词向量
  - 用户画像构建
  - 物品特征提取

- **混合推荐（Hybrid Recommendation）：**
  - 协同过滤 + 内容特征
  - 知识图谱增强推荐

- **深度学习推荐：**
  - 神经协同过滤（Neural CF）
  - 序列模型（RNN、Transformer）
  - 多模态推荐（文本+图像+视频）

### 推荐算法的认知影响
**信息茧房（Information Echo Chamber）：**
- **机制：** 算法持续推荐用户偏好内容
- **效果：** 用户接触的信息范围窄化
- **认知后果：** 确认偏误加强、群体极化加速

**极化放大（Polarization Amplification）：**
- **机制：** 算法偏好高互动内容（负面情绪传播更快）
- **效果：** 中间内容消失，极端内容获得更高可见度
- **认知后果：** 社会极化、敌对叙事传播加速

**过滤气泡（Filter Bubble）：**
- **机制：** 算法基于用户历史过滤信息
- **效果：** 用户看不到不同观点
- **认知后果：** 世界观扭曲、多元性丧失

### 逆向工程方法
**黑盒探测（Black-box Probing）：**
- **推荐请求测试：**
  - 构造不同用户画像，测试推荐结果差异
  - 系统性修改用户特征，观察推荐变化
  - A/B测试识别算法行为模式

- **因果推断：**
  - 干预实验（修改输入，观察输出）
  - 反事实推理（如果用户行为不同，推荐如何变化）
  - 工具变量法（Instrumental Variables）

**白盒分析（White-box Analysis）：**
- **开源系统：**
  - YouTube推荐算法部分开源代码分析
  - 学术界推荐系统实现（RecSys、Surprise）
  - API文档逆向推理

- **技术专利：**
  - Google、Meta、Amazon推荐算法专利
  - 专利中的技术细节与逻辑

**用户行为数据分析：**
- **公开数据集：**
  - MovieLens、Yelp、Amazon Product Reviews
  - 用户评分、点击、浏览行为

- **数据分析方法：**
  - 协同模式识别（用户行为聚类）
  - 时序分析（行为演变模式）
  - 偏好漂移检测（preference drift）

### 推荐算法攻击与防御

**攻击类型：**
1. **虚假评分注入（Shilling Attack）：**
   - 目标：将某物品推向推荐列表
   - 方法：创建虚假用户账户，批量评分
   - 防御：异常检测、声誉系统

2. **用户画像污染（Profile Pollution）：**
   - 目标：污染用户画像，改变推荐结果
   - 方法：模拟用户行为，注入虚假偏好
   - 防御：行为模式识别、鲁棒性设计

3. **模型窃取（Model Extraction）：**
   - 目标：窃取推荐模型参数
   - 方法：查询API，逆向重建模型
   - 防御：查询频率限制、输出噪声注入

**认知战中的应用：**
- **认知操纵：** 通过算法操纵影响群体认知
- **信息茧房强化：** 加速目标群体信息隔离
- **极化放大：** 推动社会分裂

**防御策略：**
- **算法透明度：** 公开算法决策逻辑
- **多样性保证：** 确保推荐结果的多样性
- **用户控制：** 让用户可以调整算法参数

## 2. 认知漏洞扫描器原型

### 认知漏洞定义
**认知漏洞（Cognitive Vulnerability）：**
- 认知系统中可被利用的薄弱点
- 包括：认知偏误、信息茧房、情感触发点

**认知漏洞分类：**
1. **认知偏误漏洞（Cognitive Bias Vulnerabilities）：**
   - 确认偏误（Confirmation Bias）
   - 情感启发式（Affective Heuristic）
   - 可得性启发式（Availability Heuristic）

2. **信息传播漏洞（Information Propagation Vulnerabilities）：**
   - 信息茧房（Information Echo Chambers）
   - 极化放大（Polarization Amplification）
   - 信任崩塌（Trust Erosion）

3. **情感触发漏洞（Emotional Trigger Vulnerabilities）：**
   - 恐惧触发点（Fear Triggers）
   - 愤怒触发点（Anger Triggers）
   - 群体认同漏洞（Group Identity Vulnerabilities）

### 认知漏洞扫描器架构

**核心组件：**
1. **漏洞识别模块：**
   - 认知偏误检测（Cognitive Bias Detection）
   - 情感触发点识别（Emotional Trigger Identification）
   - 信息茧房检测（Echo Chamber Detection）

2. **漏洞评估模块：**
   - 漏洞严重性评分（Severity Scoring）
   - 漏洞利用难度评估（Exploitability Assessment）
   - 漏洞影响范围分析（Impact Analysis）

3. **漏洞报告模块：**
   - 漏洞报告生成（Vulnerability Report）
   - 修复建议（Remediation Recommendations）
   - 漏洞趋势分析（Trend Analysis）

**扫描流程：**
```
目标系统（社交媒体、新闻网站、社区平台）
    ↓
数据采集（用户行为、内容、传播模式）
    ↓
漏洞检测模块
    ├─ 认知偏误检测（确认偏误、可得性启发式）
    ├─ 情感触发点识别（恐惧、愤怒、焦虑热点）
    └─ 信息茧房检测（同质化程度、极化指数）
    ↓
漏洞评估（严重性、可利用性、影响范围）
    ↓
生成报告（漏洞清单、风险评分、修复建议）
```

### 具体检测方法

**认知偏误检测：**
1. **确认偏误检测：**
   - **指标：** 用户接触信息的多样性指数
   - **方法：** 信息源多样性分析（Shannon熵、Simpson指数）
   - **阈值：** 多样性指数<阈值 → 确认偏误漏洞

2. **情感启发式检测：**
   - **指标：** 情感内容在信息流中的占比
   - **方法：** 情感分析（VADER、BERT情感分析）
   - **阈值：** 负面情绪占比>阈值 → 情感启发式漏洞

3. **可得性启发式检测：**
   - **指标：** 近期事件在记忆中的权重
   - **方法：** 时序分析、记忆衰减模型
   - **阈值：** 权重集中度>阈值 → 可得性启发式漏洞

**信息茧房检测：**
1. **同质化检测：**
   - **指标：** 用户社交网络中的同质性指数
   - **方法：** 社交网络聚类分析（Louvain算法）
   - **阈值：** 同质性指数>阈值 → 信息茧房漏洞

2. **极化检测：**
   - **指标：** 意见分布的极化指数
   - **方法：** 意见分布分析、极化度量
   - **阈值：** 极化指数>阈值 → 极化漏洞

**情感触发点识别：**
1. **恐惧触发点识别：**
   - **关键词：** 威胁、危险、攻击、损失
   - **方法：** 关键词+情感分析
   - **输出：** 恐惧触发点清单

2. **群体认同漏洞识别：**
   - **指标：** 群体内聚性与外群体敌意
   - **方法：** 群体网络分析、外群体敌意检测
   - **阈值：** 群体敌意指数>阈值 → 群体认同漏洞

### 漏洞评分系统
**CVSS-like认知漏洞评分：**
- **基础分（Base Score）：**
  - 漏洞类型（认知偏误 vs. 情感触发）
  - 影响范围（个人群体->国家）
  - 漏洞利用难度（容易vs.困难）

- **时域分（Temporal Score）：**
  - 漏洞发现时间
  - 漏洞利用趋势
  - 修复进展

- **环境分（Environmental Score）：**
  - 目标群体的特征
  - 信息环境的复杂度
  - 防御措施的存在性

### 原型实现建议
**技术栈：**
- **数据采集：** API（Twitter API、Reddit API）、Web Scraping
- **情感分析：** transformers（Hugging Face）、VADER、TextBlob
- **网络分析：** NetworkX、igraph
- **可视化：** D3.js、Plotly

**Python示例框架：**
```python
class CognitiveVulnerabilityScanner:
    def __init__(self, target_system):
        self.target = target_system

    def scan(self):
        vulnerabilities = []
        vulnerabilities.extend(self.detect_cognitive_bias())
        vulnerabilities.extend(self.detect_echo_chambers())
        vulnerabilities.extend(self.identify_emotional_triggers())
        return vulnerabilities

    def detect_cognitive_bias(self):
        # 确认偏误、可得性启发式检测
        pass

    def detect_echo_chambers(self):
        # 信息茧房、极化检测
        pass

    def identify_emotional_triggers(self):
        # 恐惧、愤怒触发点识别
        pass

    def assess_vulnerability(self, vuln):
        # 漏洞严重性评估
        pass
```

## 3. Kaggle假新闻检测数据集研究

### 主要数据集

**1. Fake News Detection Dataset (Kaggle)**
- **描述：** 20k条新闻条目（真假新闻各50%）
- **字段：** id, title, author, text, label（1=真实, 0=虚假）
- **来源：** Kaggle竞赛
- **特点：** 数据平衡，适合分类任务

**2. WELFake Dataset**
- **描述：** 72k条新闻（35k真实, 37k虚假）
- **字段：** title, text, label
- **来源：** 从多个真实新闻和假新闻网站爬取
- **特点：** 大数据集，来源多样

**3. ISOT Fake News Dataset**
- **描述：** 数万条新闻（真实+虚假）
- **字段：** title, text, subject, date
- **来源：** Reuters（真实）+多个假新闻网站
- **特点：** 真实新闻来自权威媒体

### 假新闻特征分析
**内容特征（Content-based Features）：**
1. **文本特征：**
   - 词频（TF-IDF）
   - n-grams（unigrams, bigrams, trigrams）
   - 句子长度、词汇多样性
   - 情感极性（VADER、BERT情感分析）

2. **语言风格特征：**
   - 感叹号频率
   - 疑问句频率
   - 大写单词占比
   - 情感词密度

3. **虚假性指标：**
   - 超链接数量（假新闻往往缺乏来源）
   - 引用数量（假新闻引用较少）
   - 数量词使用模式

**元数据特征（Metadata Features）：**
1. **时间特征：**
   - 发布时间（假新闻常在特定时间密集发布）
   - 发布频率

2. **作者特征：**
   - 作者身份验证
   - 作者历史可信度

3. **来源特征：**
   - 域名信誉
   - 历史假新闻记录

**网络特征（Network Features）：**
1. **传播网络：**
   - 传播速度
   - 传播深度
   - 传播广度

2. **转发网络：**
   - 转发用户特征
   - 转发路径长度
   - 协调性转发模式

### 基准模型

**传统机器学习模型：**
- **逻辑回归（Logistic Regression）：**
  - 优点：快速、可解释
  - 缺点：捕获复杂模式有限

- **随机森林（Random Forest）：**
  - 优点：处理非线性、特征重要性
  - 缺点：训练时间较长

- **支持向量机（SVM）：**
  - 优点：高维数据效果好
  - 缺点：参数敏感

**深度学习模型：**
- **CNN（Convolutional Neural Network）：**
  - 应用：文本CNN（1D卷积）
  - 优点：局部模式识别、并行计算
  - 缺点：需要大量数据

- **LSTM（Long Short-Term Memory）：**
  - 应用：序列建模、长距离依赖
  - 优点：捕获时序模式
  - 缺点：训练慢

- **BERT预训练模型：**
  - BERT-base、RoBERTa、DistilBERT
  - 优点：上下文理解强、迁移学习
  - 缺点：计算成本高

**组合模型（Ensemble Models）：**
- **Voting Classifier：** 多模型投票
- **Stacking：** 模型堆叠
- **Bagging：** 随机采样+多数投票

### 模型评估指标
**分类指标：**
- **准确率（Accuracy）：** (TP+TN)/(TP+TN+FP+FN)
- **精确率（Precision）：** TP/(TP+FP)
- **召回率（Recall）：** TP/(TP+FN)
- **F1分数：** 2*(Precision*Recall)/(Precision+Recall)

**不平衡数据指标：**
- **ROC-AUC：** 受试者工作特征曲线下面积
- **PR-AUC：** 精确率-召回率曲线下面积（更适合不平衡数据）
- **混淆矩阵：** 详细的分类错误分析

### 假新闻检测挑战
**1. 概念漂移（Concept Drift）：**
- 假新闻形式不断演进
- 模型需定期更新

**2. 数据不平衡：**
- 真实新闻数量远多于假新闻
- 需要过采样、欠采样或类别权重

**3. 跨域泛化：**
- 在特定领域训练的模型在其他领域效果下降
- 需要领域自适应、迁移学习

**4. 对抗攻击：**
- 假新闻制造者针对性规避检测
- 需要对抗训练、鲁棒性模型

**5. 多模态假新闻：**
- 图文结合的假新闻
- 需要多模态检测

### 认知战中的应用
**假新闻检测在认知防御中的作用：**
1. **自动化威胁识别：**
   - 实时检测敌对叙事传播
   - 及时预警认知攻击

2. **事实核查辅助：**
   - 优先检测高风险内容
   - 提供事实核查目标清单

3. **认知威胁情报：**
   - 假新闻模式识别
   - 敌对行为特征画像

4. **认知影响评估：**
   - 假新闻传播范围量化
   - 认知影响建模

## 学习成果总结

### 已掌握的算法攻防能力
1. **推荐算法逆向工程：**
   - 推荐系统架构（协同过滤、基于内容、深度学习）
   - 推荐算法的认知影响（信息茧房、极化放大）
   - 黑盒/白盒逆向方法
   - 攻击与防御策略

2. **认知漏洞扫描器原型：**
   - 认知漏洞分类（认知偏误、信息传播、情感触发）
   - 扫描器架构（识别-评估-报告）
   - 具体检测方法（偏误检测、茧房检测、情感触发识别）
   - 漏洞评分系统

3. **Kaggle假新闻检测数据集：**
   - 主要数据集（Fake News Detection、WELFake、ISOT）
   - 假新闻特征（内容、元数据、网络）
   - 基准模型（传统ML、深度学习、组合模型）
   - 评估指标与挑战

### 关键技术洞察
1. **算法的认知影响：** 推荐算法不是中立的，它们主动塑造认知环境
2. **认知漏洞的可计算性：** 认知偏误、信息茧房可通过数据分析和机器学习检测
3. **假新闻检测的军备竞赛：** 假新闻制造者与检测者的对抗持续演进
4. **多模态是未来：** 假新闻检测需要从文本扩展到多模态（图文、音视频）

### 实战应用框架
**认知漏洞扫描流程：**
1. 目标系统识别（社交媒体、新闻网站）
2. 数据采集（用户行为、内容、传播）
3. 漏洞检测（偏误、茧房、情感触发）
4. 漏洞评估（严重性、可利用性、影响范围）
5. 修复建议（算法调整、用户教育、系统设计）

**假新闻检测流程：**
1. 实时内容监测（社交媒体、新闻流）
2. 特征提取（内容、元数据、网络）
3. 模型分类（传统ML、深度学习、组合）
4. 可信度评分（多模型集成）
5. 人工复核+事实核查（高优先级）

### 待深入研究问题
1. 如何构建自适应的认知漏洞扫描器（随着威胁演进）？
2. 如何在保护隐私的前提下进行用户行为分析？
3. 如何设计可解释的假新闻检测模型（提供检测理由）？
4. 如何构建跨语言、跨文化的假新闻检测系统？

## 阶段二完成总结

### 已完成模块
✅ 叙事工程专家（叙事网络分析、叙事元件库、文化符号学）
✅ 算法攻防专家（推荐算法逆向、认知漏洞扫描器、假新闻检测）

### 专项突破能力构建完成
- 叙事工程：叙事解构、元件库构建、符号学解码
- 算法攻防：推荐算法逆向、漏洞扫描、假新闻检测

### 下一步计划
- 进入阶段三：实战训练体系