超声心动图调研
超声心动图是什么
基本原理
超声心动图主要是通过超声波探头发出超声波，超声波在人体组织中传播，遇到不同的组织界面会产生反射波，这些反射波被探头接收后，经过计算机处理，转化为图像显示在屏幕上。由于心脏是一个不断跳动的器官，超声心动图可以实时观察心脏的结构和运动情况。
检查类型
- M 型超声心动图：可以记录心脏各结构随时间变化的运动曲线，主要用于测量心脏各腔室的大小和心功能指标。
- 二维超声心动图：能够提供心脏的二维切面图像，清晰显示心脏的形态、结构和瓣膜的活动情况。
- 多普勒超声心动图：包括彩色多普勒和频谱多普勒。彩色多普勒可以显示心脏内血流的方向和速度，帮助判断是否存在瓣膜反流、狭窄等异常；频谱多普勒可以定量分析血流速度和压力差等参数。
临床应用
- 诊断心脏疾病
- 先天性心脏病：如房间隔缺损、室间隔缺损、动脉导管未闭等，可以明确缺损的位置、大小和分流情况。
- 瓣膜性心脏病：判断瓣膜的形态、结构和功能，诊断瓣膜狭窄、关闭不全等病变。
- 心肌病：如扩张型心肌病、肥厚型心肌病等，可显示心肌的厚度、运动情况和心腔大小的变化。
- 冠心病：可以观察心肌的运动情况，评估心肌缺血和梗死的范围。
- 评估心功能
- 测量心脏的收缩功能和舒张功能指标，如射血分数、左心室短轴缩短率、E/A 比值等，判断心脏的整体功能状态。
- 指导治疗和监测疗效
- 在心脏手术前，超声心动图可以提供详细的心脏结构信息，帮助制定手术方案。
- 术后可以监测心脏的恢复情况，评估手术效果。
- 对于心力衰竭等患者，可定期进行超声心动图检查，调整治疗方案。
优势和局限性
- 优势
- 无创性：无需侵入人体，对患者无创伤。
- 实时性：可以实时观察心脏的动态变化。
- 可重复性：可以多次重复检查，便于观察病情变化。
- 准确性高：对心脏结构和功能的评估较为准确。
- 局限性
- 受操作者技术水平影响：检查结果的准确性与操作者的经验和技术水平有一定关系。
- 对肥胖、肺气肿等患者图像质量可能较差：超声波在这些患者体内的传播会受到影响，导致图像不清晰。
- 不能检测微小血管病变：对于一些微小的冠状动脉病变可能无法检测到。
计算机视觉可以做什么
心脏结构检测与分割
-
心室分割
- 准确分割左心室和右心室，确定其形状和大小。这对于评估心脏功能至关重要，例如通过计算心室容积变化来判断收缩和舒张功能。
- 可以为医生提供定量的指标，如左心室射血分数等，辅助诊断心力衰竭等疾病。
射血分数是指每搏输出量占心室舒张末期容积量的百分比，分数 =（心室舒张末期容积 - 心室收缩末期容积）/ 心室舒张末期容积 ×100%。可以用于评估心脏功能、诊断疾病、指导治疗、预后判断
-
瓣膜分割
- 识别和分割心脏瓣膜，如二尖瓣、三尖瓣、主动脉瓣和肺动脉瓣。有助于检测瓣膜的形态异常、狭窄或关闭不全等病变。
- 为瓣膜修复或置换手术提供术前规划的重要信息。
心脏运动分析
- 心肌运动跟踪
- 跟踪心肌在心动周期中的运动轨迹，分析心肌的收缩和舒张运动模式。可以检测心肌局部运动异常，如心肌缺血或梗死区域的运动减弱或消失。
- 为早期诊断冠心病等心血管疾病提供依据。
- 瓣膜运动分析
- 监测心脏瓣膜的开放和关闭过程，评估瓣膜的运动速度、幅度和协调性。有助于诊断瓣膜功能障碍，如瓣膜脱垂、狭窄或反流等。
疾病诊断与分类
- 先天性心脏病诊断
- 通过分析超声心动图图像中的心脏结构和血流模式，识别先天性心脏病的特征，如房间隔缺损、室间隔缺损、动脉导管未闭等。
- 可以辅助医生进行早期诊断和制定治疗方案。
- 心肌病分类
- 区分不同类型的心肌病，如扩张型心肌病、肥厚型心肌病和限制型心肌病。通过提取图像特征和分析心脏形态、功能参数，实现对心肌病的准确分类。
- 为个性化治疗提供指导。
- 主动脉狭窄程度预测
- 可以对主动脉狭窄进行早期诊断，及时发现潜在的疾病风险。同时，还可以对患者进行长期监测，观察狭窄程度的变化，评估治疗效果。
标志物检测
- 心脏肿瘤诊断
- 超声心动图可以检测出心脏内或心包内的肿瘤，评估其大小、位置以及与周围组织的关系，为临床治疗提供重要信息。
近三年超声心动图论文调研
MICCAI
Light-weight spatio-temporal graphs for segmentation and ejection fraction prediction in cardiac ultrasound
- 摘要
准确和一致的超声心动图参数预测对于心血管疾病的诊断和治疗是非常重要的，特别是，左心室的分割可用于推导心室容积、射血分数 (EF) 和其他相关测量值。 在本文中，我们提出了一种称为 EchoGraphs 的新自动化方法，用于通过检测解剖关键点来预测射血分数和分割左心室。基于图卷积网络 (GCN) 的直接坐标回归模型用于检测关键点。 GCN 可以学习根据每个关键点的局部外观以及所有关键点组合的全局空间和时间结构来表示心脏形状。我们在 EchoNet 基准数据集上评估了我们的 EchoGraphs 模型。与语义分割相比，GCN 显示出准确的分割和稳健性和推理运行时间的改进。EF 与分割同时计算，我们的方法还获得了最先进的射血分数估计。代码链接:https://github.com/guybenyosef/EchoGraphs
- 模型
编码器 在图的输入层，每个节点被分配一个特征表示。从原始图像或视频信息,必须提取 1000 维特征向量才能满足这些输入要求。
为此，可以使用任何 CNN 网络，架构的选择是速度和准确性之间的权衡。每个节点都分配有 CNN 输出，并按照螺旋序列的顺序与相邻节点特征连接。
EchoGraphs - 左心室分割和 EF 预测
单帧分割 图像编码器和图点解码器可用于预测给定单个图像帧的每个关键点 vi 2 V 的像素位置 (x; y) 2 R2，如图 1 上部所示。基于 GCN 配置强制执行的形状约束，输出是沿心肌边界的封闭轮廓，代表左心室的分割
在已知 ED/ES 的情况下进行多帧分割和 EF 预测 要测量 EF，必须分析多个输入帧。我们扩展了上面讨论的单帧方法，以优化 ED 和 ES 帧上的关键点轮廓。该序列的一个关键属性是连续帧之间左心室的形状一致性。采用与之前关于身体姿势估计的工作类似的方法 [24]，ED 处的每个图形节点都连接到 ES 中的相应节点以模拟时间连接。在两个连续帧之间添加这些时间边缘有助于加强预测分割之间的一致性
对于这种方法，R(2+1)D 视频编码器 [22] 用于生成特征向量。该网络将 16 帧序列作为输入，其中第一帧为 ED，最后一帧为 ES。包含中间帧比仅使用 ED 和 ES 的两帧方法效果更好，这表明额外的上下文有助于学习。这种方法需要手动识别 ED 和 ES 帧。编码器的输出用作 EF 回归网络和图解码器的输入。这种方法中的 EF 预测来自关键点和附加到特征向量的 EF 回归器
从未知的 ED/ES 进行多帧分割和 EF 预测如果 ED 和 ES 未知，我们将展示两种可能的方法。首先，上述方法可以组合成一个两阶段解决方案，其中单帧模型首先预测每帧的关键点。这些关键点允许计算心室体积，并且按照 [15] 的方法，可以识别体积的负峰值和正峰值。随后，可以将多帧模型应用于每个峰值对以估计 EF。
在第二种方法中，添加了一个 ED/ES 分类器，该分类器获取编码器输出并预测序列中 ED/ES 帧的出现。分类器输出与来自编码器的特征向量连接作为图形解码器的输入。如果检测到 ED 或 ES 帧，则解码器的输出类似于相应的心室轮廓。在推理过程中，应用滑动窗口方法来处理整个视频，并在整个序列中对 EF 结果取平均值。图 1 底部显示了带有/不带有 ED/ES 分类器的多帧方法。
Reinforcement Learning for Active Modality Selection During Diagnosis(2022)
提出了一个RL框架来获得具有成本效益的政策，该政策顺序地提出要获得的最佳模式以产生诊断。使用超声心动图来做验证，不是想要的
Ensembled Prediction of Rheumatic Heart Disease from Ungated Doppler Echocardiography Acquired in Low-Resource Settings(2022)
在低资源环境下获得的非门控超声心动图综合预测风湿性心脏病
- 摘要
风湿性心脏病（RHD）是儿童的一种常见疾病，急性风湿热会导致心脏瓣膜永久性损伤，从而损害心脏泵血的能力。超声心动图是用于检测RHD的流行诊断工具。然而，这项评估的执行需要熟练医生的工作，这就带来了可及性问题，特别是在临床专家接触有限的低收入国家。本文提出了一种新型的、自动化的、基于深度学习的方法，使用彩色超声心动图剪辑来检测RHD。我们首先通过识别两个采集视图（胸旁和顶面）来均匀化非门控超声心动图的分析，然后在心室收缩期间提取左心房区域。然后，我们应用多视图3D卷积神经网络和多视图Transformer的模型集成来检测RHD。该模型使我们的分析受益于时空信息的包含，并使用注意力机制来识别RHD检测的相关时间帧，从而提高准确检测RHD的能力。使用在低资源环境中591名儿童的护理点采集的2，136个彩色超声心动图剪辑评估了该方法的性能，显示平均准确性为0.78，敏感性为0.81，特异性为0.74。这些结果与专家临床医生进行的RHD检测相似，并且优于最先进的方法。因此，我们的新模型有可能改善与临床专家接触有限的患者的RHD检测。
- 超声心动图均匀化
- 从每个患者收集的大量数据中检索这些视图，我们将每个视频流的第一帧（代表性帧）传递给深度学习分类模型，使用ResNet 50分类
- 分析了视频中的所有帧
- 利用LinkNet 和VGG 16编码器分割左心房
- 风湿性心脏病的检测
开发了多视图3D CNN和Transformer的模型集成，以将空间和时间特征与注意力机制融合用以检测RHD检测
多视图3D卷积神经网络
应用3D CNN从两个视图中提取时空信息，将它们融合在单个端到端网络中（图3）。输入数据是从两个视图之一在心室收缩期间捕获的局部左心房区域创建的，重新采样为64 x 64像素x 3个颜色通道x 16帧。这些大小是根据内存管理确定的。每个输入数据都使用两个具有ReLu激活功能的3 x 3 x 3卷积过滤器处理。每个过滤器后面是一个批规格化层和2 x 2 x 2最大池化，每个维度的步进为2。然后，使用两个完全连接的层将从两个视图中提取的特征连接起来并一起处理，其中包括256个具有ReLu激活功能的单元和2个具有Softmax概率功能的单元。该模型采用批量大小64，使用Adam优化算法最大限度地减少二进制交叉熵损失函数，在350个历元期间学习率为0.0001。
多视图Transformer
包括一个Transformer，以嵌入心室收缩期间帧之间的相关依赖关系，并引起人们对重要时间点的注意（图3）。首先，我们应用了两个在ImageNet数据集上预先训练的DenseNet 121 CNN，以从两个视图中捕获低级特征。DenseNet 121 CNN分析了心室收缩期间的帧，重新采样为16帧，尺寸为64 x 64像素x 3个颜色通道。从两个视图中获得的信息通过Transformer模型进行汇总以进行高级分析，类似于[23]中提出的模型。Transformer模型首先将位置信息嵌入到输入特征中以保留顺序信息。然后，该模型使用自我注意模块学习帧之间的关系，然后是一个前向神经网络，该神经网络由两层组成，带有高斯误差线性单元[29]。每个块的输入和输出之间的RST连接用于直接通过网络传递梯度。在每个块之后，应用一个规范化层来提高可概括性并减少处理时间。Transformer模型编码的特征通过全局最大池化操作进行下采样，并通过Softmax概率函数将其反馈到最后一个完全连接的层以预测RHD。在最后一个完全连接的层之前，我们应用了保持率为0.5的dropout。该模型使用批量大小为10和Adam优化算法（学习率为0.0001）进行训练，以在350个历元内最小化二进制交叉熵损失函数。
3D CNN将心室收缩期间的所有帧作为体积数据来评估RHD，而Transformer则逐帧评估数据。由于两个深度学习模型从不同的角度分析数据，因此我们通过应用最大投票策略将它们的预测分数融合在集成模型中以提高准确性。此外，当可进行多次采集时，正如临床实践中的典型情况，受试者的每个A4 CC/PLAXT视图都有一个以上的视频，其中还可能包括多个心室收缩。
- 实验
使用Keras（版本2.6.0）和TensorFlow（版本2.6.2）实现，并在具有12 GB内存的GeForce GTX TitAN X图形处理器（NVIDIA，圣克拉拉，加利福尼亚州）上进行训练。
- 结论
提出了一种基于自动深度学习的方法来使用非门控多视图彩色超声心动图来检测RHD。首先，我们使用深度学习方法对图像进行均匀化，以减少数据可变性，并将分类器集中在与RHD相关的图像信息上。接下来，我们应用多视图深度学习模型（3D CNN和Transformer）来分析具有注意力机制的帧的时空信息。最后，我们采用整体模型来融合多次心室收缩的预测并获得RHD风险评分。结果表明，我们的方法可以与专家临床医生一样可靠地检测RHD，并且优于检测RHD的最新方法。我们的方法与没有心电图门控的低价手持超声设备兼容，这使得它适用于低资源环境中的RHD筛查。
Multi-frame Attention Network for Left Ventricle Segmentation in 3D Echocardiography(2021)
用于3D超声心动图左心室分割的多帧注意力网络
- 摘要
超声心动图是用于评估患者心血管健康状况的主要成像方式之一。在对超声心动图进行的众多分析中，左心室的分割对于量化射血分数等临床测量至关重要。然而，3D超声心动图中左心室的分割仍然是一项具有挑战性和乏味的任务。本文提出了一种多帧注意力网络来提高3D超声心动图中左心室分割的性能。多帧关注机制允许目标图像之后的图像序列中高度相关的时空特征用于增强分割的性能。51张活体猪3D+时间超声心动图图像上显示的实验结果表明，与其他标准的基于深度学习的医学图像分割模型相比，利用相关时空特征显着提高了左心室分割的性能。
- 模型
图 1 显示了模型输入为目标帧和 4 个参考帧的实例。这允许目标体积帧利用随后的一系列 4 个体积帧来学习时空注意特征。所选系列中的每个体积都将经过具有共享权重的标准编码器架构。对于 5 帧输入，在编码器阶段结束时，将有 5 个特征图，Ft、Ft+1、Ft+2、Ft+3、Ft+4。对应于输入体积的每个特征图的尺寸为 c × w × h × d，其中 c = 通道、w = 宽度、h = 高度和 d = 深度。参考特征图 Ft+1、Ft+2、Ft+3、Ft+4 将分别与目标特征图 Ft 一起使用来计算注意图。
注意力图利用了从目标特征图(蓝色)和参考特征图(黄色)中提取的特征之间的相关性。使用利用矩阵乘法，Ft 和 Ft+i（其中 i = 1, . . . , 4）被重塑为 c × whd 的维度。因此，相关性图的维度为 whd × whd。最后用softmax函数对相关图进行归一化，以计算注意力图
- 实验
使用猪体内 3D 超声心动图数据集评估这个多帧注意方法，该数据集由从 14 头猪身上获取的 51 个 3D+时间体积超声心动图序列组成。每头猪在不同时间点进行成像，对应不同的生理状态，该模型是使用 PyTorch 实现的，并在 GTX 1080 Ti GPU 上进行了实验。模型训练完成后，推理时间约为 20 秒。
- 结论
提出了一种用于 3D 超声心动图左心室分割的多帧注意架构。多帧注意网络成功地利用了给定序列中超声心动图图像体积的时空特征，并提取了目标体积和参考体积之间高度相关的特征，即使在信号强度较低时也能指导心肌边界的位置。我们提出的框架还易于扩展，以包含与参考体积一样多的帧。结果表明，利用图像的时空特性可以增强 3D 左心室分割的性能。未来的工作将扩大我们的验证范围，包括临床 3D 超声心动图数据集，以更稳健地训练我们的模型。此外，我们将使用公共 2D 超声心动图数据集评估注意力的有效性，以了解多帧注意网络对不同数据维度的可行性
Towards Efficient Human-Machine Collaboration: Real-Time Correction Effort Prediction for Ultrasound Data Acquisition (2021)
主要是改善采集方面的工作，所提出的框架提供实时校正工作量预测，以帮助超声医师避免数据采集过程中的分割失败。该方法与分割模型的开发无关，可以扩展到其他应用。令人鼓舞的结果证明了优化数据采集的可行性和好处，不仅可以优化人类视觉，还可以优化机器视觉，并直接预测人类工作量而不是传统的质量指标
CVPR
Reciprocal_Landmark_Detection_and_Tracking_with_Extremely_Few_Annotations
(这篇有点看不懂
具有极少注释的交互式地标检测与跟踪
- 摘要
在超声心动图中定位解剖标志进行二维测量是心脏疾病诊断的常规临床工作流程的一部分，这些标志的自动定位是非常需要的，以改善工作流程并减少观察者之间的差异。考虑到黄金标准标签的稀疏性质，训练机器学习框架以执行这种定位受到阻碍;只有很少百分比的心脏电影系列帧通常被手动标记以供临床使用。在本文中，我们提出了一个新的端到端–端倒数检测和跟踪模型，专门设计用于处理超声心动图标签的稀疏性质。该模型使用跨整个心脏电影序列生成一致的检测和跟踪的标志，并提出了一个对抗性的训练模型，利用这些注释帧的优势，所提出的互惠模型的优越性进行了一系列的实验证明。
- 模型
该模型可以分为三个部分，特征编码器（蓝色），检测头（橙色）和跟踪头（绿色）。特征编码器和检测头结合在一起可以视为类似Unet的模型，其总体结构类似于Unet。在模型训练阶段，RDT模型的输入是从舒张末期帧开始到收缩末期帧结束的回波序列，对于检测分支，输入是整个帧，而对于跟踪分支，输入是来自两个相邻帧的补丁。网络的输出是LVID的两个预测的界标对位置。
共享特征编码器
特征编码器由六个3×3卷积层组成，每个卷积层后面都有一个整流线性单元（ReLU）。第三个卷积层的步幅等于2。由于单个特征编码器足以用于跟踪头，因此我们将这部分编码器与跟踪和检测分支共享。
探测头和焦点损失
与特征编码器结合在一起的检测头可以看作是一个Unet类结构，它由收缩路径和扩张路径组成，收缩路径遵循卷积网络的典型架构，检测头的开始是另外六层用于特征生成，到共享特征编码器有两个类似的下采样步骤，然而，我们还在这两个步骤中将特征通道的数量增加一倍。扩展路径中的每一步都包括对特征图进行上采样，然后进行2×2卷积（“上卷积”）。前两个上采样层将特征通道的数量减半。我们还将每个上采样层的输出与相应裁剪的收缩路径的特征映射。每个3×3卷积之后是一个ReLU。由于应用了填充，整个神经网络中没有裁剪。对于用于分类的最后两个层，第一个是3×3卷积层，第二个是1×1层，用于将每个48分量特征向量映射到所需数量的地标（这里地标的数量为2）.最后一层的输出是一个二维热图，热图的每个位置代表目标地标的概率
跟踪头和周期损失：
由于跟踪过程仅由舒张末期和收缩末期帧监督，因此我们引入周期损失和运动损失来监督跟踪分支。为了对周期过程进行建模，我们以向前的方式迭代地应用跟踪头T：
RDT模型的基本思想是在检测任务和跟踪任务之间建立一种相互学习，因为检测任务主要关注单个帧的空间信息，而跟踪任务考虑连续帧之间的时间相关性。然而，检测到的地标对位置和跟踪的地标对位置被假设为相同。因此，我们希望这两个分支产生差异以优化特征编码器φ和检测/跟踪头
- 训练步骤
-
步骤A.首先，我们训练D、T和φ来正确预测带注释帧的地标对。我们训练网络来最小化应用于带注释帧的三个损失。
-
步骤B.在这一步中，我们针对固定的D和T训练特征编码器φ。通过训练编码器来增加差异，可以生成更多与注释数据不同的未知特征分布。注意，这一步只使用未注释的数据。
-
步骤C.我们训练D和T以最小化具有固定φ的差异。由于此步骤是为了获得均匀和正确的检测/跟踪结果，因此根据经验，对于同一小批量重复此步骤三次。此设置实现了编码器和头之间的折衷该步骤被应用于注释帧和未注释帧两者，以获得针对所有现有特征的检测/跟踪头部的最佳模型权重。
- 结论
本文提出了一种新型的互惠地标检测和跟踪模型。该模型旨在解决超声序列的数据和注释稀缺问题。该模型仅需约2，000个注释帧即可实现可靠的地标检测和跟踪（995个序列）进行训练。对于每个序列，只有两个关键帧被注释。该模型通过一种新的对抗性训练方法进行优化，该方法能更好地利用训练数据的有限信息，与现有方法的比较和结果分析验证了该方法的有效性。
目标如下：
【本周任务】
1、了解超声心动图的相关概念（主要是去了解基于超声心动图有哪些任务可以做，比如分割、射血分数计算、收缩末期和舒张末期左心室容积计算、主动脉狭窄程度预测、标志物检测等）；
2、继续学习mamba模型，主要了解怎么调用，可以参考下面的代码仓；
3、粗粮阅读SegMamba的论文，主要是了解一下医学图像上的分割任务，论文在下面的链接中；
4、调研超声心动图上的分割和标志物检测模型（近三年为主），目标期刊会议：MICCAI、CVPR、AAAI、TMI（期刊）、MIA（期刊）、TIP（期刊）
【目标】
1、认识超声心脏图以及相关任务；
2、了解Mamba模型如何在下游任务使用；
3、为后续实验做准备（在调研的过程中找到一两个可以跟进的工作：①Readme文件清晰；②论文中显卡资源不夸张，那种懂不懂4卡A100的就不考虑了；③使用的数据集包含EchoNet、CAMUS、UIC）