去重 on DefectDojo Documentation

关于去重

Mon, 01 Jan 0001 00:00:00 +0000

DefectDojo 旨在批量导入来自各类工具的报告，并根据报告内容创建一个或多个发现项。在使用 DefectDojo 时，您很可能会定期导入来自同一工具的报告，这意味着重复发现项的出现是很常见的。

这正是去重功能发挥作用的地方，这是一项智能功能，您可以通过设置来自动管理重复的发现项。

DefectDojo 如何处理重复项

首先，您导入测试 1。您的报告中包含一个漏洞，该漏洞被记录为发现项 A。
随后，您导入测试 2，其中包含相同的漏洞。该漏洞将被记录为发现项 B，且发现项 B 会被标记为发现项 A 的重复项。
之后，您又导入了测试 3，其中同样包含该漏洞。该漏洞将被记录为发现项 C，并被标记为发现项 A 的重复项。

通过以这种方式创建并标记重复项，DefectDojo 确保针对“原始”漏洞的所有处理工作都集中在原始发现项页面上，既不会产生独立的上下文，也不会让团队误以为存在多个需要分别处理的漏洞。

启用去重

Mon, 01 Jan 0001 00:00:00 +0000

去重功能可应用于整个产品-范围，也可以更精细地限定到单个测试活动。

产品级去重

导航到系统设置页面：侧边栏中的 Settings > System > ⚙️ System Settings（在仍使用旧版菜单布局的实例中为 Settings > Pro Settings > System Settings）。

**去重与发现项设置（Deduplication and Finding Settings）卡片位于系统设置（System Settings）**页面的顶部。

相似发现项

Mon, 01 Jan 0001 00:00:00 +0000

虽然去重会在导入时自动运行，但相似发现项是位于查看发现项页面上的一个手动交互式工具。它会显示同一资产中与您正在查看的发现项相似的其他发现项，并允许您手动将它们链接为一个重复项集群。

当自动去重未能将您认为应属于同一组的发现项分组在一起时，或当您想探索资产中还有哪些内容与当前漏洞相似时，可以使用此工具。

Where to find it

打开任意发现项即可进入其查看发现项页面。向下滚动至相似发现项面板。标题中的数字表示该资产中与当前发现项的值相匹配的发现项数量。

该面板默认是折叠的。点击面板标题（或右侧的箭头/筛选按钮）即可展开面板并运行查询。

How Findings are matched

打开面板时，DefectDojo 会使用当前发现项的值预填筛选条件，并在同一资产中搜索其他匹配的发现项。用于初始匹配的字段包括：

漏洞 ID（例如 CVE 标识符）
CWE
文件路径
行号
工具唯一 ID
测试类型
资产（及资产类型）

当前发现项始终会从其自身的匹配结果中排除。匹配范围限定在资产内，因此相似发现项不会跨资产进行匹配。如果任一测试活动启用了测试活动级别的去重，则跨越测试活动边界的匹配项将无法被链接（参见下方的操作）。

相似发现项

Mon, 01 Jan 0001 00:00:00 +0000

虽然去重会在导入时自动运行，但**相似发现项（Similar Findings）是发现项详情（View Finding）**页面上的一个手动交互工具。它会显示同一资产中与您正在查看的发现项相似的其他发现项，并允许您手动将它们关联为一个重复项集群。

当自动去重未能将您认为应属于同一组的发现项归为一组时，或者当您想探索资产中还有哪些内容与当前漏洞相似时，可以使用此工具。

在哪里找到它

打开任意一个发现项，滚动到**重复项与相似发现项（Duplicate & Similar Findings）**卡片。它有两个标签页：

重复发现项（Duplicate Findings） – 已经与该发现项关联为重复项的发现项（即自动生成的集群）。
相似发现项（Similar Findings） – 资产中与当前发现项的值匹配、但尚未加入其集群的其他发现项。

选择相似发现项标签页以运行查询。

发现项的匹配方式

DefectDojo 会在同一资产中搜索与当前发现项相似的发现项，依据的是漏洞 ID（例如 CVE 标识符）、CWE、文件路径、行号和工具唯一 ID 等值。当前发现项始终会从其自身的结果中被排除，且匹配永远不会跨资产进行。

避免产生过多重复项

Mon, 01 Jan 0001 00:00:00 +0000

DefectDojo 的优势之一在于其数据模型能够适应许多不同的使用场景和应用方式。随着您逐渐掌握该软件并发现优化工作流程的方法，您的使用方式也可能随之改变。

默认情况下，DefectDojo 不会删除任何已创建的重复发现项。每个发现项都被视为一个独立的漏洞实例。因此在这种情况下，重复发现项的出现可能表明您的工作流程需要进行调整。

什么时候可以接受重复发现项？

重复发现项并不总是意味着存在问题。在许多情况下，保留重复项才是更合适的做法。例如：

如果您的团队使用并报告交互式测试活动。如果您想专门针对单个测试创建一份独立的报告，就会需要知道其中是否出现了此前已经发现过的发现项。
如果您的测试活动在上下文上彼此独立（例如，因为它们覆盖不同的代码仓库），您会希望能够标记出在两处都出现的发现项。

检查冗余的导入

第 1 步：清理过多的重复项

幸运的是，DefectDojo 的去重设置允许您在超过一定阈值后批量删除重复项。此功能让清理过程变得更加简便。要了解更多相关信息，请参阅我们关于发现项去重的文章 <-此处将插入链接。

第 2 步：评估您的测试活动是否存在冗余

清理完重复发现项后，最好回头查看包含这些发现项的产品，看看是否能找到明显的原因。您可能会发现产品中包含的某些测试活动之间存在冗余的上下文。

重复或被重复使用的测试活动

测试活动为特定的测试上下文存储一个或多个测试。该上下文最终由您自行定义，但如果您发现产品中有几个测试活动本应共享同一上下文，请考虑将它们合并为单个测试活动。

去重调优（专业版）

Mon, 01 Jan 0001 00:00:00 +0000

去重调优是 DefectDojo Pro 的一项功能，可让您对发现项的去重方式进行精细控制，从而针对您特定的安全测试工作流程优化重复检测。

去重设置

在 DefectDojo Pro 中，您可以通过以下路径访问去重调优功能： 设置 > 发现项工作流程（在仍使用旧版菜单布局的实例上为 设置 > Pro 设置 > 去重设置）

去重设置页面提供三个关键配置区域：

同工具去重
跨工具去重
重新导入去重

同工具去重

同工具去重默认对所有安全工具解析器启用。这可确保使用同一工具进行连续扫描所产生的发现项能够被正确去重。

去重调优（开源版）

Mon, 01 Jan 0001 00:00:00 +0000

DefectDojo 开源版使用配置文件和环境变量来调整去重设置。

另请参阅：开源版配置，了解环境变量和 local_settings.py 覆盖设置的详细信息。

What you can configure

按解析器设置算法：可选择工具唯一 ID、哈希代码、工具唯一 ID 或哈希代码，或传统算法（仅限开源版）中的一种。
按扫描器设置哈希字段：决定每个解析器中哪些字段参与哈希计算。
允许空 CWE：控制在哈希计算时是否接受缺失/为零的 CWE。
端点纳入考量：当端点未包含在哈希中时，可选择将端点用于去重。
始终包含的字段：无论每个扫描器的设置如何，都会将字段（例如 service）添加到所有哈希中。

Key settings (defaults shown)

所有默认值均在 dojo/settings/settings.dist.py 中定义，可通过环境变量或 local_settings.py 进行覆盖。

全局组件去重（专业版）

Mon, 01 Jan 0001 00:00:00 +0000

全局组件去重是 DefectDojo Pro 的一种算法，它根据发现项所引用的组件名称和版本，在所有产品范围内识别重复的发现项。它适用于软件成分分析（SCA）工具场景：同一个存在漏洞的依赖项（例如 timespan@2.3.0）可能出现在多个产品中，而您希望 DefectDojo 将这些出现情况都视为同一个原始发现项的重复项。

与其他去重算法不同，全局组件匹配并不局限于单个产品或测试活动范围内。导入到产品 B 中的发现项可以被标记为产品 A 中某个较早发现项的重复项，即使这两个产品彼此无关。

全局组件与全局位置的对比： 全局组件仅根据组件名称和版本进行匹配。如果您的实例使用了位置（Locations）数据模型，全局位置去重是更精确的后继方案——它以完整的 Package URL 作为依赖项的键，并且还能在各产品之间对 URL/DAST 发现项进行去重。请参阅该页面的对比表以确定应选择哪种方案。

全局位置去重（专业版）

Mon, 01 Jan 0001 00:00:00 +0000

全局位置去重是 DefectDojo Pro 的一种算法，它纯粹根据共享位置——URL，或依赖项（以其 Package URL 标识）——在所有产品范围内识别重复的发现项。只要两个发现项共享某个已选类型的位置，无论其标题、严重程度、CWE 或漏洞 ID 是否相同，都会被视为重复项——位置本身就是身份标识。

它是全局组件去重在位置感知层面的对应方案，作用于 DefectDojo 的位置数据模型。全局组件仅根据组件名称和版本进行匹配，而全局位置则通过完整的 Package URL匹配同一依赖项，并且根据共享的 URL 进行匹配——因此它能够在各产品之间对 DAST/Web 发现项进行去重，这是全局组件无法做到的。

与作用域受限的算法不同，全局位置匹配并不局限于单个产品或测试活动范围内。导入到产品 B 中的发现项可以被标记为产品 A 中某个较早发现项的重复项，即使这两个产品彼此无关。

位置漂移匹配（专业版）

Mon, 01 Jan 0001 00:00:00 +0000

位置漂移匹配（Location Drift Matching）让重新导入能够将位置发生变化的发现项识别为同一个发现项。如果没有此功能，重新导入会通过包含位置字段的精确身份哈希来匹配发现项——因此任何位置变动都会关闭旧的发现项并创建一个完全相同的新发现项：

提交代码后发现项的行号发生了变化。
重构导致文件被重命名或移动。
Web 应用程序的 URL、端口或主机在两次 DAST 扫描之间发生了变化。
依赖项的版本升级改变了 SCA 工具报告的存在漏洞的软件包版本。

以往，上述每种情况都会产生一个已关闭的发现项加上一个"新"发现项——原发现项上的状态、备注、SLA 时钟、风险接受和 JIRA 关联信息随之丢失，并产生虚假的"新的严重发现项"噪音。启用位置漂移匹配后，同一个发现项会被原地维护：其位置会根据最新扫描更新，历史记录也会得以保留。

位置漂移匹配是 DefectDojo Pro 的功能。该功能默认关闭，需要按安全工具逐个启用。