前言

圖像分割可以分為兩類：語義分割（Semantic Segmentation）和實例分割（Instance Segmentation），前面已經給大家介紹過兩者的區(qū)別，并就如何在labview上實現(xiàn)相關模型的部署也給大家做了講解，今天和大家分享如何使用labview 實現(xiàn)deeplabv3+的語義分割，并就 Pascal VOC2012 (DeepLabv3Plus-MobileNet) 上的分割結果和城市景觀的分割結果（DeepLabv3Plus-MobileNet）給大家做一個分享。

一、什么是deeplabv3+

Deeplabv3+是一個語義分割網絡，使用DeepLabv3作為Encoder模塊，并添加一個簡單且有效的Decoder模塊來獲得更清晰的分割。即網絡主要分為兩個部分：Encoder和Decoder；論文中采用的是Xception作為主干網絡（在代碼中也可以根據需求替換成MobileNet，本文示例中即使用的MobileNet），然后使用了ASPP結構，解決多尺度問題；為了將底層特征與高層特征融合，提高分割邊界準確度，引入Decoder部分。

Encoder-Decoder網絡已經成功應用于許多計算機視覺任務，通常，Encoder-Decoder網絡包含：

逐步減少特征圖并提取更高語義信息的Encoder模塊
逐步恢復空間信息的Decoder模塊

二、LabVIEW調用DeepLabv3+實現(xiàn)圖像語義分割

1、模型獲取及轉換

下載預訓練好的.pth模型文件，下載鏈接：https://share.weiyun.com/qqx78Pv5 ，我們選擇主干網絡為Mobilenet的模型
git上下載開源的整個項目文件，鏈接為：https://github.com/VainF/DeepLabV3Plus-Pytorch
根據requirements.txt 安裝所需要的庫

pip install -r requirements.txt

原項目中使用的模型為.pth，我們將其轉onnx模型，
將best_deeplabv3plus_mobilenet_voc_os16.pth轉化為deeplabv3plus_mobilenet.onnx，具體轉化模型代碼如下：

import network
import numpy as np
import torch
from torch.autograd import Variable
from torchvision import models
import os
import re

dirname, filename = os.path.split(os.path.abspath(__file__))
print(dirname)

def get_pytorch_onnx_model(original_model):
    # define the directory for further converted model save
    onnx_model_path = dirname
    # define the name of further converted model
    onnx_model_name = "deeplabv3plus_mobilenet.onnx"

    # create directory for further converted model
    os.makedirs(onnx_model_path, exist_ok=True)

    # get full path to the converted model
    full_model_path = os.path.join(onnx_model_path, onnx_model_name)

    # generate model input
    generated_input = Variable(
        torch.randn(1, 3, 513, 513)
    )

    # model export into ONNX format
    torch.onnx.export(
        original_model,
        generated_input,
        full_model_path,
        verbose=True,
        input_names=["input"],
        output_names=["output"],
        opset_version=11
    )

    return full_model_path

model = network.modeling.__dict__["deeplabv3plus_mobilenet"](num_classes=21, output_stride=8)
checkpoint = torch.load("best_deeplabv3plus_mobilenet_voc_os16.pth", map_location=torch.device('cpu'))
model.load_state_dict(checkpoint["model_state"])
full_model_path = get_pytorch_onnx_model(model)

將best_deeplabv3plus_mobilenet_cityscapes_os16.pth轉化為deeplabv3plus_mobilenet_cityscapes.onnx，具體轉化模型代碼如下：

import network
import numpy as np
import torch
from torch.autograd import Variable
from torchvision import models
import os
import re


dirname, filename = os.path.split(os.path.abspath(__file__))
print(dirname)

def get_pytorch_onnx_model(original_model):
    # define the directory for further converted model save
    onnx_model_path = dirname
    # define the name of further converted model
    onnx_model_name = "deeplabv3plus_mobilenet_cityscapes.onnx"

    # create directory for further converted model
    os.makedirs(onnx_model_path, exist_ok=True)

    # get full path to the converted model
    full_model_path = os.path.join(onnx_model_path, onnx_model_name)

    # generate model input
    generated_input = Variable(
        torch.randn(1, 3, 513, 513)
    )

    # model export into ONNX format
    torch.onnx.export(
        original_model,
        generated_input,
        full_model_path,
        verbose=True,
        input_names=["input"],
        output_names=["output"],
        opset_version=11
    )

    return full_model_path


model = network.modeling.__dict__["deeplabv3plus_mobilenet"](num_classes=19, output_stride=8)
checkpoint = torch.load("best_deeplabv3plus_mobilenet_cityscapes_os16.pth", map_location=torch.device('cpu'))
model.load_state_dict(checkpoint["model_state"])
full_model_path = get_pytorch_onnx_model(model)