
序一
人工智能(AI)无疑在数字健康转型的过程中扮演着不可或缺的角色,而医学影像正是人工智能展现巨大影响力的主要领域之一。如今,人工智能已与包括磁共振成像(MRI)、计算机断层扫描(CT)和超声(ultrasound)在内的多种医学影像技术紧密结合。通过从大型图像数据库中学习特征,人工智能显著提升了前端图像生成、后端图像处理和生物标志物识别等医学影像关键环节的性能。
《医学影像人工智能》一书为人工智能在医学影像领域的发展奠定了坚实的基础。本书作者是该领域的先驱研究者,采用探究式的教学方法,系统而均衡地梳理了各类医学影像模式下的学习课题。本书不仅指导读者如何编程和实现人工智能模型,并将其应用于医学影像,而且提供了丰富的诊断应用示例,以生动展现人工智能在动脉瘤分割等诊断任务中的临床价值,是该跨学科领域初学者的绝佳入门指南。
当前,人工智能在医学影像领域正不断取得研究突破和进展。通过研读本书,读者将充分把握技术前沿,投身这场空前的技术革命,帮助提升医疗保健服务质量。这对于当今的老龄化社会至关重要。
在此,我要向本书作者致以诚挚祝贺,感谢他们为撰写本书所付出的巨大努力。对所有立志将人工智能应用于医学影像领域的读者而言,本书都是一部必读之作!
博士(PhD),专业工程师(PEng)
国际电气与电子工程师协会会士(FIEEE),加拿大工程院院士(FCAE)
加拿大工程研究院院士(FEIC),美国医学超声学会会士(FAIUM)
加拿大自然科学与工程研究理事会E.W.R. Steacie纪念奖获得者
加拿大滑铁卢大学副校长、教授
序二
人工智能领域正经历着技术迭代的显著变革,从早期以卷积神经网络为主导的研究阶段,逐步演进至当前以通用大模型为核心的发展新阶段。这一技术跃迁不仅推动了科技范式的转换,更在多个应用场景中展现出了重要价值。在医学影像领域,人工智能技术正通过多维度的创新应用,系统性优化疾病筛查、辅助诊断及治疗规划等关键医疗环节。
作为一本专业工具书,本书系统梳理了人工智能在医学影像领域的技术演进路径与应用实践。内容架构覆盖从算法原理到模型部署的全流程知识体系,通过临床场景与算法模型的交叉解析,着重阐释技术转化过程中的关键节点与实践要点。针对医学影像工作者的实际需求,本书提供可操作性技术方案用于提升影像分析效率;对于临床医师群体,则通过机理阐释与案例演示,辅助构建跨学科协作框架下的精准诊疗思维。
本书致力于构建人工智能与医学影像的交叉知识体系,通过系统性技术解析与临床转化路径探讨,为相关从业者提供技术演进方向与应用实践参考。书中内容着重于通过技术应用解决临床实际问题,以促进医学影像人工智能技术的临床转化与价值实现。
陈敏
全国政协委员
中华医学会放射学分会候任主任委员
前言
人工智能(Artificial Intelligence;AI)的兴起正在推动多个领域发生变革,其中医学影像是受影响最为显著的领域之一。本书不仅致力于缩小理论与实际应用之间的差距,还融合了作者在理论研究和工程应用中的丰富经验, 为人工智能技术在医学影像中的应用提供全面指导。
本书旨在满足不同背景读者的需求。对于具备计算机科学和/或机器学习(尤其是计算机视觉AI)背景的读者,本书介绍了医学影像的基础知识,并阐释了人工智能技术在医学影像任务中的应用。对于具有医学背景但缺乏编程或人工智能知识的读者,本书可作为学习人工智能(特别是深度学习)基础知识及其在医学影像中的应用的参考。
您将从本书中获得以下关键收获。
1. 掌握医学影像AI的基础理论:通过对医学影像技术和机器学习核心概念的深入学习,您将建立起对该领域的基本理解,其中包括医学影像的成像原理、影像数据的特点,以及AI如何在这些数据上进行建模和分析。
2. 了解完整的AI项目开发流程:本书系统地介绍了从数据收集和标注到模型训练、验证与部署的全流程内容。通过这些内容,读者将掌握如何设计和实施一个符合实际需求的医学影像AI项目。
3. 培养实际操作能力:借助实际案例(如肺炎分类和动脉瘤分割任务),您将学习如何搭建开发环境、编写代码和训练模型。即使没有编程经验,您也能通过逐步指导,学习基础的模型开发技能。
4. 深入理解模型优化与部署:医学影像AI的最终目标是实现临床应用。本书不仅讨论了模型训练,还深入探讨了模型压缩、量化等优化技术,并结合案例演示如何将优化后的模型高效部署到实际场景中。
5. 紧跟大模型与多模态趋势:随着大模型和多模态技术的兴起,您将通过本书了解这些前沿趋势在医学影像领域的潜力和挑战,做好迎接新技术浪潮的准备。
6. 获取宝贵的数据集和资源信息:通过对多个公开数据集的系统介绍,您将了解如何有效利用这些资源来促进研究与开发。这部分内容将帮助您快速入门,并接触到国际前沿的开源资源和社区。
7. 洞悉医学影像AI面临的实际挑战与应对策略:本书特别关注医学影像AI在现实应用中的实际问题,例如数据稀缺、隐私保护、模型泛化等。通过对这些问题的总结和策略分析,您将更好地理解如何在复杂环境下推动医学影像AI的应用。
本书作为医学影像AI领域初学者的基础参考读物,旨在帮助读者建立对这一领域基本理论的理解,掌握一定的实践技能。在编写过程中,我们力求兼顾不同背景读者的需求,既为入门者提供通俗易懂的内容,也为具备一定基础的读者指引扩展学习的方向。然而,受限于篇幅和内容广度,本书无法全面涵盖医学影像AI的所有方面。在当今信息触手可及的互联网时代,我们希望本书能够成为您探索医学影像AI世界的起点,同时也鼓励大家积极参与相关开源社区建设,通过实践积累更深入的知识。
在本书的编写过程中,我们得到了多位领导、老师的悉心指导,以及同事和同学的无私帮助。在此,特别感谢张泽天、李磊、罗彦、黄梦倩、梁俊、刘佳奇、马炳奇和吴殊,他们在数据整理、技术审校及细节完善等方面付出了大量时间与精力,为本书的完成提供了不可或缺的支持。这些宝贵的帮助和专业指导极大地提升了本书的学术深度与实用价值。此外,我们向所有在本书编写过程中提供支持的朋友和同仁致以最诚挚的感谢,正是他们的默默奉献和鼎力相助,使得本书得以顺利出版并与读者见面。
第1章 医学影像技术基础 \ 001
1.1 医学影像技术概述 \ 002
1.2 磁共振成像 \ 008
1.3 超声成像 \ 010
1.4 X线摄影和计算机断层扫描 \ 012
1.5 DICOM(医学数字成像和通信标准) \ 015
1.5.1 概述 \ 015
1.5.2 DICOM文件格式 \ 016
1.5.3 DICOM网络协议 \ 017
1.5.4 实例 \ 018
1.6 影像存储与传输系统 \ 022
1.6.1 PACS系统的核心功能 \ 023
1.6.2 PACS系统的发展趋势 \ 024
第2章 机器学习基础 \ 027
2.1 医学影像AI涉及的任务 \ 028
2.2 分类 \ 029
2.2.1 分类技术和模型 \ 029
2.2.1.1 支持向量机 (SVM) \ 030
2.2.1.2 深度学习 \ 033
2.2.2 分类在医学影像中的应用 \ 034
2.2.3 挑战和未来方向 \ 035
2.3 物体检测 \ 035
2.3.1 物体检测基础知识 \ 036
2.3.2 物体检测技术 \ 036
2.3.3 物体检测在医学影像中的应用 \ 037
2.3.4 挑战和未来方向 \ 038
2.4 分割 \ 038
2.4.1 医学影像中的分割类型 \ 039
2.4.2 医学影像分割技术 \ 040
2.4.3 分割在医学影像中的应用 \ 041
2.4.4 现存挑战 \ 042
2.5 深度学习和神经网络 \ 043
2.5.1 深度学习的历史 \ 043
2.5.2 人工神经元 \ 050
2.5.3 全连接神经网络 \ 053
2.5.3.1 全连接网络的结构 \ 054
2.5.3.2 用于推理的前向传播 \ 054
2.5.3.3 用于训练的反向传播 \ 056
2.6 卷积神经网络 \ 059
2.6.1 CNN的架构 \ 059
2.6.1.1 卷积层 \ 060
2.6.1.2 激活函数 \ 063
2.6.1.3 池化层 \ 064
2.6.1.4 全连接层 \ 067
2.6.2 CNN的发展过程 \ 070
2.6.3 U-Net \ 077
2.6.3.1 U-Net的架构 \ 077
2.6.3.2 下采样路径(编码器) \ 078
2.6.3.3 上采样路径(解码器) \ 079
2.6.3.4 U-Net的特点 \ 081
2.6.3.5 U-Net的应用 \ 082
2.6.3.6 U-Net的局限性和改进 \ 084
2.6.4 nnU-Net \ 085
2.6.4.1 nnU-Net的提出动机 \ 086
2.6.4.2 nnU-Net的表现 \ 086
2.6.4.3 nnU-Net的架构特点 \ 088
2.6.4.4 nnU-Net的优势 \ 089
2.6.4.5 nnU-Net的局限性 \ 089
2.7 Transformer \ 090
2.7.1 背景及动机 \ 090
2.7.2 模型架构 \ 091
2.7.2.1 编码器-解码器 (Encoder-Decoder) \ 091
2.7.2.2 自注意力机制 \ 093
2.7.2.3 位置编码 (Positional Encoding) \ 096
2.7.3 Vision Transformer \ 097
2.7.4 基于Transformer的分割技术: Segment Anything
Model \ 099
2.7.4.1 动机 \ 099
2.7.4.2 SAM的数学原理 \ 100
2.7.4.3 Medical SAM \ 101
2.7.5 Transformer和CNN的对比 \ 103
第3章 医学影像AI项目流程 \ 105
3.1 概述 \ 106
3.2 数据收集和预处理 \ 108
3.2.1 内部数据和开源数据 \ 108
3.2.2 数据集的范围 \ 110
3.2.3 统一数据格式 \ 111
3.2.4 预处理医学影像数据 \ 112
3.3 数据标注 \ 115
3.3.1 医学影像数据标注 \ 115
3.3.2 标注工具 \ 121
3.3.2.1 多功能平台3D Slicer \ 121
3.3.2.2 医学影像分割平台ITK-SNAP \ 122
3.3.2.3 影禾iResearch标注工具 \ 123
3.3.3 解剖结构标注 \ 124
3.3.4 病变标注 \ 126
3.3.5 医学影像标注的难度 \ 126
3.4 模型选择和架构 \ 127
3.4.1 确定任务 \ 128
3.4.2 分类 \ 129
3.4.3 检测 \ 131
3.4.4 分割 \ 132
3.4.5 配准 \ 133
3.4.6 结论 \ 134
3.5 模型训练和验证 \ 135
3.5.1 训练模型 \ 135
3.5.2 验证模型 \ 141
3.5.2.1 指标验证 \ 141
3.5.2.2 临床验证 \ 142
3.5.3 需关注的问题 \ 143
3.5.4 结论 \ 145
3.6 AI模型在临床工作流程中的应用 \ 145
3.6.1 临床需求评估 \ 146
3.6.2 模型部署和影像科工作流集成 \ 146
3.6.2.1 面临的挑战 \ 147
3.6.2.2 解决方案:整体的AI集成方案 \ 147
3.6.3 培训和支持 \ 148
3.6.4 评估和反馈 \ 148
3.6.5 结论 \ 149
3.7 模型解读 \ 149
3.7.1 挑战 \ 149
3.7.2 增强可解释性的策略 \ 150
3.7.3 培训和继续教育 \ 151
3.7.4 结论 \ 152
3.8 基座模型时代的流程 \ 152
3.8.1 基座模型 \ 152
3.8.2 基座模型驱动的下游任务 \ 153
3.8.3 基座模型面临的挑战 \ 154
3.8.4 结论 \ 155
第4章 医学影像AI任务实践 \ 157
4.1 概述 \ 158
4.2 本地环境搭建 \ 159
4.2.1 安装Conda \ 159
4.2.2 安装Python(通过Conda) \ 160
4.2.3 安装VS Code \ 161
4.3 PyTorch简介 \ 167
4.3.1 tensor \ 167
4.3.1.1 tensor的初始化 \ 168
4.3.1.2 tensor的属性 \ 168
4.3.1.3 tensor的运算 \ 169
4.3.2 Dataset和DataLoader \ 172
4.3.2.1 Dataset \ 172
4.3.2.2 DataLoader \ 176
4.3.3 transforms \ 177
4.3.4 网络模型的搭建 \ 178
4.3.5 模型的训练 \ 182
4.3.6 模型的存储与加载 \ 185
4.4 医学影像分类任务——肺炎 \ 186
4.4.1 概述 \ 186
4.4.2 成像方式 \ 187
4.4.2.1 X线摄影 \ 187
4.4.2.2 CT扫描 \ 187
4.4.3 医学分类任务的AI技术 \ 188
4.4.3.1 相关AI模型 \ 188
4.4.3.2 损失函数——分类任务 \ 189
4.4.4 构建肺炎诊断AI模型 \ 190
4.4.4.1 Python库的加载 \ 191
4.4.4.2 数据准备与加载 \ 194
4.4.4.3 模型选择与搭建 \ 199
4.4.4.4 模型训练与评估 \ 202
4.4.4.5 模型推理 \ 214
4.5 医学影像分割任务——动脉瘤 \ 215
4.5.1 概述 \ 215
4.5.2 成像方式 \ 216
4.5.3 医学分割任务的AI技术 \ 218
4.5.3.1 相关AI模型 \ 218
4.5.3.2 损失函数——分割 \ 219
4.5.4 构建动脉瘤分割AI模型 \ 221
4.5.4.1 Python库的加载 \ 221
4.5.4.2 数据准备与加载 \ 223
4.5.4.3 模型选择与搭建 \ 232
4.5.4.4 模型训练与评估 \ 237
4.5.4.5 模型推理 \ 244
4.5.4.6 讨论 \ 247
第5章 模型推理优化 \ 249
5.1 概述 \ 250
5.2 模型量化 \ 251
5.2.1 基本概念 \ 251
5.2.2 量化技术分类 \ 252
5.3 剪枝 \ 253
5.3.1 基本概念 \ 253
5.3.2 剪枝技术分类 \ 253
5.4 模型部署流程 \ 255
5.4.1 ONNX \ 255
5.4.2 TensorRT \ 257
5.5 模型量化实例 \ 257
5.5.1 概述 \ 257
5.5.2 具体操作 \ 259
5.5.2.1 环境准备 \ 259
5.5.2.2 模型和环境测试 \ 259
5.5.2.3 将编码器量化后导出到TensorRT \ 265
5.5.2.4 测试TensorRT量化版本编码模型 \ 272
5.5.2.5 将prompt_encoder和mask_decoder导出
到ONNX \ 275
5.5.2.6 测试TensorRT量化版本编码模型和ONNX解码
模型 \ 279
第6章 进入大模型时代 \ 283
6.1 概述 \ 284
6.2 基座模型和大模型 \ 286
6.2.1 基本概念 \ 286
6.2.2 基座模型和大模型的区别 \ 287
6.2.3 大模型发展历程 \ 288
6.2.4 基座模型和大模型的应用 \ 289
6.2.5 基座模型与大模型在医学影像领域的潜力 \ 290
6.2.6 自监督学习 \ 291
6.2.6.1 掩码自编码器(MAE) \ 291
6.2.6.2 DINOv2 \ 293
6.2.7 利用基座模型进行下游任务的微调 \ 295
6.2.8 大规模训练的硬件基础 \ 298
6.3 视觉和语言的多模态模型 \ 301
6.3.1 CLIP \ 301
6.3.2 其他多模态模型 \ 304
6.4 医疗分析中的大模型应用 \ 306
6.4.1 基础医疗大模型概述 \ 306
6.4.2 OpenAI ChatGPT \ 308
6.4.3 医学分析的基座模型技术细节 \ 312
6.4.4 医疗大模型介绍 \ 313
6.4.5 医疗大模型案例研究 \ 314
6.4.6 医疗大模型的技术细节与架构设计 \ 316
6.5 先进的医疗应用领域 \ 317
6.5.1 报告生成 \ 317
6.5.2 病理学 \ 319
6.5.3 诊断应用 \ 321
6.5.4 总结 \ 322
第7章 医学影像开源数据集 \ 323
7.1 概述 \ 324
7.2 开源数据集 \ 325
7.2.1 MedMNIST \ 325
7.2.2 MSD(Medical Segmentation Decathlon) \ 326
7.2.3 BraTS \ 327
7.2.4 LUNA16(LUng Nodule Analysis 2016 ) \ 328
7.2.5 NIH Chest X-ray数据集 \ 329
7.2.6 TCIA(The Cancer Imaging Archive) \ 329
7.2.7 TotalSegmentator \ 330
7.2.8 ROCO(Radiology Objects in COntext) \ 332
7.2.9 VQA-Med \ 333
7.2.10 Camelyon17 \ 334
7.2.11 ULS23 \ 334
7.2.12 FLARE \ 335
7.2.13 M3D-Cap \ 336
7.2.14 CT-RATE \ 337
7.2.15 KiTS23 \ 339
7.3 医学影像模型竞赛 \ 340
7.3.1 Kaggle \ 340
7.3.2 MICCAI \ 341
7.3.3 国际生物医学影像研讨会 \ 341
7.3.4 Grand Challenges \ 342
7.4 结论 \ 343
第8章 医学影像人工智能面临的挑战 \ 345
8.1 概述 \ 346
8.2 数据与标注的挑战 \ 346
8.2.1 数据稀缺与不平衡 \ 347
8.2.2 数据质量与异质性 \ 347
8.2.3 数据标注的复杂性 \ 348
8.2.4 隐私保护与数据共享 \ 348
8.3 模型与算法的挑战 \ 350
8.3.1 视觉模型的局限性 \ 350
8.3.2 3D医学影像数据的计算复杂性 \ 351
8.3.3 模型的泛化能力与鲁棒性 \ 353
8.3.4 算法透明性与可解释性 \ 354
8.4 算力与基础设施的挑战 \ 355
8.4.1 计算资源的限制 \ 355
8.4.2 模型训练与部署的效率 \ 357
8.4.3 基础设施与技术支持 \ 357
8.5 临床应用与集成的挑战 \ 358
8.5.1 医学影像AI的临床价值验证 \ 358
8.5.2 与临床工作流程的集成 \ 359
8.5.3 当前相关AI产品的局限性 \ 360
8.6 合规管理与伦理挑战 \ 361
8.6.1 审批与监管 \ 361
8.6.2 隐私保护与数据合规 \ 362
8.6.3 责任和公平性 \ 363
结束语 拥抱医学影像领域人工智能的未来 \ 365
参考文献 \ 367
¥ 20.00
¥ 98.00
¥ 58.00
¥ 60.00
¥ 60.00
¥ 128.00