在模型查看医学图像之前和之后，这些图像会发生哪些变化？

最小-最大值规范化的缺点在于它直接依赖于数据中的最小值和最大值。例如，某些非常亮的像素（可能是由于设备故障或噪声引起的），可能会改变整个数值范围，从而导致图像中大部分数据的分布被压缩到较小的范围内。

Z分数规范化对最小值和最大值的依赖性较低，但极端值仍然可能影响平均值和标准差的结果。

在医学影像处理中，规范化也可以应用于不同的图像或数据集；不过，要让来自不同设备或机构的图像具有可比性，这种操作更准确地应该被称为协调统一。当需要处理多个来源的图像时，这种区分就显得尤为重要了，具体内容将在第10节中进行说明。

6. 注释与标签

这两者都用于描述与图像相关的信息，但它们所代表的含义是不同的。

标签通常用于描述整张图像的内容。

图像 → 肺炎

注释则主要用于指出图像中特定对象的具体位置。

• 点

• 边界框

• 多边形

• 等高线

• 像素级掩膜

例如：

图像 → 肺部掩膜

关键的区别在于位置。

标签只能告诉你图像中有什么，而注释则能同时告诉你有什么以及位于哪里。

创建注释也需要耗费更多的精力。

一个大型数据集中可能包含从放射报告中提取的数百万个图像级标签，但只有其中一小部分会由临床医生生成详细的掩膜。

这种简化方法也有其代价。一份报告可能会诊断出“肺炎”，但这并不一定能准确指出哪些像素属于肺炎区域。这种情况会导致标签信息不准确。

7. 数据集分割

在医学影像研究中，最重要的决策之一就是如何划分数据。

数据的分割通常应该在患者层面进行，而不是在图像层面。

假设一名患者有五张X光片。如果将其中三张用于训练，两张用于测试，那么模型在训练过程中就已经见过该患者的这些影像了。患者特有的特征可能会同时出现在这两组数据中。这就是一种数据泄露现象。

同样的原则也适用于以下情况：

• 同一患者的多次扫描结果

• 同一研究中的多张图像

• 从同一原始扫描中生成的多张图像

目标很简单：测试集应该包含模型在训练过程中未曾见过的患者数据。

因此，不要这样做：

先分割图像再分配患者信息

而应该这样做：

先划分患者群体，再为它们分别分配对应的图像

这种细节对最终结果的影响，有时甚至比改变模型架构还要大。

从模型到预测

8. 分类、检测与分割

以同一张胸部X光片为例，我们可以提出三个不同的问题。

分类

患者是否患有肺炎？

模型会返回一个标签或概率值。

肺炎：0.92

它只能告诉你图像中有什么，而无法指出具体位置。

检测

异常部位在哪里？模型会返回一个边界框。

[x, y, width, height]

它只能告诉你病变大致位于什么位置，而无法描述其确切的形状。

分割

哪些像素属于异常区域呢？

模型会返回一个像素级别的掩码，这样你就能知道病变的形状和位置了。

一个简单的记忆方法：

分类 = 是什么？

检测 = 在哪里？

分割 = 哪些像素属于异常区域？

一般来说，从分类到检测再到分割，所需的标注工作量会逐渐增加。

因此，请选择最能解决你需求的任务。如果你只需要知道某次扫描结果是否异常，那么可能就不需要进行图像分割了。

9. 数据增强

数据增强是通过修改现有图像来创建新的训练样本。

常见的处理方法包括：

• 旋转

• 平移

• 缩放

• 亮度调整

当医学数据集规模较小时，这种方法会非常有用。

但是，医学图像有一个重要的限制：经过处理的图像必须仍然看起来像是真实患者身上可能出现的景象。

例如，在自然图像机器学习中，水平翻转是一种常见的处理方法。

将一张猫的照片水平翻转过来，得到的仍然是一张猫的图片。

但如果你对一张胸部X光片进行水平翻转，心脏的位置就会发生改变，这样就可能生成一张看起来像“右位心”的图像，即心脏位于身体的右侧。

其他类型的数据增强也可能带来问题。例如，过大的亮度调整可能会掩盖一些重要的病变信息；而过度裁剪图像则可能会丢失部分肺部组织。

# 合理的例子：小幅旋转
M = cv2.getRotationMatrix2D((cx, cy), 7, 1.0)
rotated = cv2.warpAffine(
    img,
    M,
    (w, h),
    borderMode=cv2.BORDER_REPLICATE
)

# 对于胸部X光片来说，这种处理方法可能存在问题：
flipped = img[:, ::-1]

10. 后处理

后处理是在模型生成输出结果之后进行的。

分割模型通常会为每个像素提供一个概率值。在应用阈值进行二值化处理后，得到的掩码中可能会包含一些不需要的小区域或孔洞。

例如，该笔记本中原始的掩膜包含以下内容：

• 两个较大的肺部区域

• 十四个不需要的小区域

一个常见的处理步骤就是只保留最大的连通组件。

由于我们预期存在两个肺部，因此可以保留那两个最大的区域；同时也可以填充那些小空洞。

labelled, n = ndimage.label(mask > 0)

sizes = ndimage.sum(
    mask > 0,
    labelled,
    range(1, n + 1)
)

keep = np.isin(
    labelled,
    np.argsort(sizes)[-2:] + 1
)

clean = ndimage.binary_fill_holes(keep)

在这个例子中，经过处理后，连通组件的数量从16个减少到了2个，但只有不到5%的像素发生了变化。

这说明了评估时一个重要的点：即使预测结果的结构发生了显著变化，像素重叠程度的数值也可能几乎保持不变。

对于某些应用来说，连通区域的数量和形状比像素重叠程度的微小变化更为重要。因此，应该选择那些能够反映你真正关心的误差指标来进行评估。

另外，在进行后处理时也要格外小心。如果你的模型在得到理想的结果之前需要经过大量的处理步骤，那么这些处理过程可能会掩盖模型中存在的一些问题。

无论如何，都一定要查看原始的输出结果。

从一家医院到现实世界

11. 统一性处理

假设有两家医院使用不同的扫描设备。

这些设备的图像在以下方面可能存在差异：

• 亮度

• 对比度

• 噪声水平

• 分辨率

• 图像处理方式

如果一个模型主要是在医院A的数据上训练的，那么它可能会学会这些差异，而不是那些与疾病相关的特征。因此，这个模型在医院A的表现可能很好，但在医院B却可能表现不佳。

这时，统一性处理就能起到帮助作用了。

统一性处理的目的是使来自不同设备的数据更具可比性，同时保留那些重要的信息。

一个简单的例子就是直方图匹配。

通过这种技术，可以调整某张图像的像素值分布，使其更接近参考图像的风格。

from skimage.exposure import match_histograms

harmonized = matchHistograms(
    image_from_hospital_b,
    reference_from_hospital_a
)

这种方法有助于解决亮度与对比度方面的差异，但并不能解决所有问题。

如果两台扫描设备的分辨率、噪声特性或图像处理流程不同，仅依靠直方图匹配是远远不够的。

此外，如果在图像采集或后续处理过程中丢失了某些信息，那么任何优化措施也无法神奇地恢复这些数据。

一个有用的经验法则是：

标准化处理可以使数值更加一致。

协调机制则用于解决不同数据源之间的系统性差异。

12. 回顾性研究与前瞻性研究

这一部分主要讨论研究设计的相关内容。

回顾性研究

回顾性研究是利用已有的数据进行的。

例如：

我们从医院档案中收集了4,000张胸部X光片，并用它们来测试我们的模型。

在医学人工智能领域，这种研究方法较为常见，因为它的实施速度较快且成本较低。

然而，这种方法也容易产生偏见。研究人员在决定哪些患者应被纳入研究、使用哪些医院的数据、以及设定什么样的阈值时，都可能无意中影响研究结果。

这些决策有时会使得研究结果看起来更加理想化。

前瞻性研究

在前瞻性研究中，研究人员首先制定研究计划，然后才开始收集数据。

例如：

在收集图像之前，我们会明确研究对象、评估标准以及成功指标。

这种做法可以减少某些偏见的发生，因为重要的决策是在看到研究结果之前就已经做出的。

外部验证

你还会遇到“外部验证”这个术语。

所谓外部验证，就是用与模型开发过程中使用的数据无关的数据来测试该模型。

例如：

医院A → 模型训练
医院A → 内部测试
医院B → 外部验证

一种更严格的验证方法可能是：

医院A + B → 模型开发
医院C → 外部验证

如果一个模型在某家医院的数据上表现良好，但在另一家医院的表现却很差，那很可能是因为该模型掌握了特定医院的特殊规律，而非疾病的普遍特征。

因此，外部验证通常比仅仅从同一数据集中随机抽取部分数据进行验证要更有参考价值。

总结

现在，请看下面这段来自某篇医学影像研究论文的示例：

我们回顾性地收集了来自两家机构的4,120张去标识化的胸部X光片。这些图像被重新采样为512×512像素大小，然后进行了强度标准化处理，并通过直方图匹配实现了不同机构数据之间的协调统一。肺部区域由两位放射科医生手动标注，分割结果则通过最大成分选取算法进行了后期处理。最后，我们在第三家医院的890例病例上对该模型进行了外部验证。

那段文字包含了大量信息，但现在你可以理解其中的内容了：

1. 回顾性收集的数据：研究人员使用了已经存在的图像。

2. 去标识化处理：图像中的识别信息被删除或进行了修改。

3. 数据来源于多个机构：这个数据集来自不止一个来源。

4. 图像尺寸调整为512×512：所有图像都被转换成了统一的尺寸。

5. 强度值进行了标准化处理：像素值被转换为更加统一的数值范围。

6. 数据进行了协调统一：研究人员努力消除两个研究地点之间的系统性差异。

7. 由两位放射科医生手动标注：专家们标注出了肺部区域的具体位置。

8. 后续进行了后处理：模型输出的原始分割结果经过了进一步整理。

9. 在独立数据上进行了外部验证：该模型在另一个地点的独立数据上接受了测试。

最后这一点尤为重要。一个仅在开发时使用的数据集上表现良好的模型，其实并不能很好地反映它在现实世界中的性能。

结论

一篇医学影像研究论文往往只需用短短几句话就能描述整个数据处理流程。

一旦你理解了相关的专业术语，你就可以以不同的方式来解读这些内容。

你不应该仅仅关注模型本身及其准确率，而应该思考以下这些问题：

• 这些图像是从哪里获取的？

• 使用了哪种扫描设备？

• 在训练数据和测试数据中，患者是否被分开处理？

• 识别信息是如何被去除的？

• 图像中是否存在无法清除的文字信息？

• 标签或注释是由谁创建的？

• 进行了哪些预处理步骤？

• 像素值是如何被标准化的？

• 不同医院或使用的扫描设备的数据是否经过了协调统一？

• 该模型是否在独立数据上接受了验证？

• 测试数据是否真正具有独立性？

• 模型在进行预测后的输出结果发生了什么变化？

模型只不过是医学影像处理流程中的一个环节而已。实际上，许多更为重要的问题往往出现在模型甚至还没有看到任何图像之前。