语义分割项目

介绍语义分割

应用场景

会议软件 背景虚化

智能驾驶

医疗影像的分析

卫星影像的分析

什么时候语义分割，什么时候实例分割

• ·如果不存在“实例”概念，只需要每个像素分类，用语义分割
  裂纹、农田遥感、金属金相、血管
  目标大片、尖细分布，轮廓不规则，
• 如果需要区分“实例”，用实例分割
  脑部肿瘤、细胞核、汽车、行人、动物
  ·
• 如果需要目标检测预测框（计数、追踪、流量统计），用实例分
  目标检测本身就是“实例级”，关键点检测可以视为特殊的“实例分割

标注：

使用文本提示，检测、分割、生成一切：https:/github.com/IDEA-Research/Grounded-Segment-Anything

填充-切：https://github.com/geekyutao/.Inpaint-.Anything
追踪一切：https:/github.com/gaomingqi/Track-Anything

Magic Maker:https://openxlab.org.cn/apps/detail/xj/magic-maker

数据集

• 单类别

组织病理切片肾小球：https://www.kaggle.com/datasets/baesiann/glomeruli-hubmap-external-1024x1024

• 多类别

迪拜卫星航拍六类别：https://www.kaggle.com/datasets/humansintheloop/semantic-segmentation-of-aerial-imagery

其它单类别语义分割数据集

乳腺癌：https://www.kaggle.com/datasets/aryashah2k/breast-ultrasound-images-dataset

电子显微镜粒子：https://www.kaggle.com/datasets/batuhanyil/electron-microscopy-particle-segmentation

农作物病虫害叶片：https://www.kaggle.com/datasets/fakhrealam9537/leaf-disease-segmentation-dataset

农作物地块：https://www.kaggle.com/datasets/khlaifiabilel/pastis

洪水航拍区域：https://www.kaggle.com/datasets/faizalkarim/flood-area-segmentation?select=Image

指甲：https://www.kaggle.com/datasets/vpapenko/nails-segmentation

水下场景：https://www.kaggle.com/datasets/ashish2001/semantic-segmentation-of-underwater-imagery-suim

西红柿种子：https://www.kaggle.com/datasets/juanma9901/tomatoseedsdatasetjm

卫星建筑物：https://www.kaggle.com/datasets/hyyyrwang/buildings-dataset

荧光显微镜小鼠脑切片发光神经元-实例分割：https://www.kaggle.com/datasets/nbroad/fluorescent-neuronal-cells

混凝土裂缝：https://www.kaggle.com/datasets/jakubniemiec/concrete-crack-images

核磁共振脑瘤分割：https://www.kaggle.com/datasets/awsaf49/brats2020-training-data

腹部CT肝脏病变分割：https://www.kaggle.com/datasets/andrewmvd/liver-tumor-segmentation

脑部神经胶质瘤核磁共振：https://www.kaggle.com/datasets/mateuszbuda/lgg-mri-segmentation

其它多类别语义分割数据集

高分辨率航拍-多类别：https://www.kaggle.com/datasets/titan15555/uavid-semantic-segmentation-dataset

无人机航拍：https://www.kaggle.com/datasets/bulentsiyah/semantic-drone-dataset

衣物：https://www.kaggle.com/datasets/rajkumarl/people-clothing-segmentation

海洋生物：https://www.kaggle.com/datasets/crowww/a-large-scale-fish-dataset

腿和脚趾：https://www.kaggle.com/datasets/tapakah68/legs-segmentation

无人机航拍：https://www.kaggle.com/datasets/santurini/semantic-segmentation-drone-dataset

其它图像分类数据集

气胸：https://www.kaggle.com/c/siim-acr-pneumothorax-segmentation

更多数据集

Browse the State-of-the-Art in Machine Learning | Papers With Code

图像分割发展趋势
使用Transformer架构
统一语义分割、实例分割、全景分割
视觉大模型(SAM)
多模态+AIGC（文生图、图生图、图像编辑)

评价语义分割模型

标注数据集

Labelme labelme

标注前

1. 标注前，需左上角File开启Save Automatically自动保存
2. 标注前，需左上角File关闭Save With Image Data，不把图像本身保存至标签文件中
3. 应提前把所有图像放到同一个文件夹中，再用labelme打开这个文件夹标注

标注中

1. 应使标注文件保存至图像相同目录下，标注过程中，不要切换图像和标注文件的目录
2. 多段线（polygon）应尽可能精细，紧密贴合物体的真实边缘轮廓。
3. 如果使用AI-Polygon辅助标注，每张图片需先等待SAM分割一切大模型处理几秒钟，才能开始标注。
4. 如果是实例分割标注：标目标检测框时，画物体的外接矩形框。框的两个点，必须分别是左上角和右下角，顺序不能错。
5. 如果是目标检测+关键点检测标注：多段线（polygon）的第一个点必须且只能落入一个框中。见视频教程：https://www.bilibili.com/video/BV19g4y1777q

标注后确认

1. Labelme标注的json文件最后imagePath图像路径，只能是图像名字本身，不能有其它的路径和符号（例如../、\\之类的）

使用这个进行格式转换

TommyZihao/Label2Everything: 常见计算机视觉标注格式相互转换 (github.com)