MindSpore实体模型认证

在本文中，大家然后前边的blog再次讲MindSpore在训炼好深度学习的实体模型而且储存成文档以后，怎样载入并应用检测集多方面认证。从检测結果中大家获得的启迪是，深度学习的实体模型的实效性会非常大水平上接到训练集的危害，因而最好可以确保训练集的丰富性。假如检测集的范畴大大的超过了训练集所可以表明的范畴，那麼训炼的結果差值便会非常大。

技术性情况

在前面一篇blog中，大家详细介绍了MindSpore在深度学习全过程中储存和载入实体模型的方式。这类将实体模型储存为静态数据文档的作法，促使我们可以更灵便的应用训炼出去的实体模型，例如用以各种各样数据的认证，或是是迁移学习等情景。

序言

这儿应用的数据和载入的实体模型，都来自于这篇blog。有关MindSpore的自然环境布署，能够参照这几篇blog：CPU版本号安裝、GPU版本号安裝，自然，这两个计划方案都应用了Docker容器化布署的对策，这跟本人程序编写习惯性相关。必须表明的是，在GPU版本号中能够应用CPU版本号的context，可是CPU版本号中不可以应用GPU版本号的context。可是CPU版本号的布署对比于GPU版本号要非常容易许多 ，GPU版本号的布署计划方案对当地Docker自然环境以外也有一些依靠，能看本人要求来开展选择。有关特性难题，实际上不太好说GPU版本号的一定就比CPU版本号的迅速，例如文中中所应用到的实例在CPU上运作的速率就比GPU上运作的速率要快。GPU因为其硬件配置构架的独特性，必须在信息量做到一定水平以后，才可以充分发挥出并行处理的优点，小规模纳税人数据应用CPU就充足了。有一个坑点必须表明的是，MindSpore在CPU和GPU彼此之间的算法和实际操作等兼容模式做的并不是非常好，许多 能够在GPU上边跑的编码，只是转换到CPU版本号去运作得话便会出错。

同范畴数据认证

在这个实例中大家假设早已依照这篇blog中的流程训炼好啦实体模型，并储存变成ckpt文档。前边应用的训练集是一个以下方式的方程组：

\[f(x)=ax^2 b noise,x\in[-1,1] \]

那麼大家最先检测一个同样变量范畴的涵数，做为检测集：

\[f(x)=ax^2 b,x\in[-1,1] \]

由于是检测集，因此 这儿大家临时先除掉了\(noise\)这一项，相匹配的编码以下：

# load_model.py

from mindspore import context
context.set_context(mode=context.GRAPH_MODE, device_target="CPU")
import mindspore.dataset as ds
from mindspore import load_checkpoint, load_param_into_net
from mindspore import nn, Tensor, Model
from mindspore.train.callback import Callback, LossMonitor
import numpy as np

class LinearNet(nn.Cell): # 与训炼实体模型同样
    def __init__(self):
        super(LinearNet, self).__init__()
        self.fc = nn.Dense(1,1,0.02,0.02)

    def construct(self, x):
        x = self.fc(x)
        return x

net = LinearNet()
net.set_train(False)
param_dict = load_checkpoint("CKP-1_200.ckpt") # 实体模型载入
load_param_into_net(net, param_dict) # 将实体模型主要参数载入到互联网中

net_loss = nn.loss.MSELoss()
model = Model(net, net_loss, metrics={"loss"})

def get_data(num, a=2.0, b=3.0): # 与训炼实体模型同样文件格式
    for _ in range(num):
        x = np.random.uniform(-1.0, 1.0)
        z = a * x ** 2   b
        yield np.array([x**2]).astype(np.float32), np.array([z]).astype(np.float32)

def create_dataset(num_data, batch_size=16, repeat_size=1):
    input_data = ds.GeneratorDataset(list(get_data(num_data)), column_names=['x','z'])
    input_data = input_data.batch(batch_size)
    input_data = input_data.repeat(repeat_size)
    return input_data

data_number = 160 # 检测集经营规模一般低于训练集
batch_number = 1
repeat_number = 1

ds_valid = create_dataset(data_number, batch_size=batch_number, repeat_size=repeat_number) # 转化成检测集

acc = model.eval(ds_valid, dataset_sink_mode=False) # 实体模型认证
print (acc)

必须留意的一点是，这儿大家为了更好地认证实体模型的精确性，model的metrics采用了loss这一方式，也有许多 别的方式例如accuracy等能够运用于别的情景。相对性应的docker器皿运行命令以下：

sudo docker run --rm -v /dev/shm:/dev/shm -v /home/dechin/projects/gitlab/dechin/src/mindspore/:/home/ --runtime=nvidia --privileged=true swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0 /bin/bash -c "cd /home && python load_model.py"
[WARNING] DEBUG(1,python):2021-05-18-03:25:53.600.802 [mindspore/ccsrc/debug/debugger/debugger.cc:80] Debugger] Not enabling debugger. Debugger does not support CPU.
{'loss': 0.0029351555945297037}

打印出出去的是一个词典文件格式的loss值，这一值的计算方式为：

\[loss=\frac{\sum_n\left(f(x_i)-net(x_i)\right)^2}{n} \]

测算的結果是差值平方米的均值，这儿在同样范畴内的检测集的损害数值0.0029，或是一个相对性比较好的結果。

不断扩大数据认证

如果我们想营销推广这一范畴，由于我们知道一个初始的实体模型一般全是具备比较好的普遍意义的，可是训炼出去的神经元网络非常大水平上面接到训练集的危害。使我们直接看那样的一个事例：

\[f(x)=ax^2 b,x\in[-10,10] \]

在这个新的检测集生成模型中，大家仅仅把本来的\([-1,1]\)的范畴改为了\([-10,10]\)的范畴。相匹配的编码以下所显示：

# load_model.py

from mindspore import context
context.set_context(mode=context.GRAPH_MODE, device_target="CPU")
import mindspore.dataset as ds
from mindspore import load_checkpoint, load_param_into_net
from mindspore import nn, Tensor, Model
from mindspore.train.callback import Callback, LossMonitor
import numpy as np

class LinearNet(nn.Cell):
    def __init__(self):
        super(LinearNet, self).__init__()
        self.fc = nn.Dense(1,1,0.02,0.02)

    def construct(self, x):
        x = self.fc(x)
        return x

net = LinearNet()
net.set_train(False)
param_dict = load_checkpoint("CKP-1_200.ckpt")
load_param_into_net(net, param_dict)

net_loss = nn.loss.MSELoss()
model = Model(net, net_loss, metrics={"loss"})

def get_data(num, a=2.0, b=3.0):
    for _ in range(num):
        x = np.random.uniform(-10.0, 10.0)
        z = a * x ** 2   b
        yield np.array([x**2]).astype(np.float32), np.array([z]).astype(np.float32)

def create_dataset(num_data, batch_size=16, repeat_size=1):
    input_data = ds.GeneratorDataset(list(get_data(num_data)), column_names=['x','z'])
    input_data = input_data.batch(batch_size)
    input_data = input_data.repeat(repeat_size)
    return input_data

data_number = 160
batch_number = 1
repeat_number = 1

ds_valid = create_dataset(data_number, batch_size=batch_number, repeat_size=repeat_number)

acc = model.eval(ds_valid, dataset_sink_mode=False)
print (acc)

一样的，用docker的方法拉起运作：

sudo docker run --rm -v /dev/shm:/dev/shm -v /home/dechin/projects/gitlab/dechin/src/mindspore/:/home/ --runtime=nvidia --privileged=true swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0 /bin/bash -c "cd /home && python load_model.py"
[WARNING] DEBUG(1,python):2021-05-18-03:26:29.528.892 [mindspore/ccsrc/debug/debugger/debugger.cc:80] Debugger] Not enabling debugger. Debugger does not support CPU.
{'loss': 52.90038294600496}

这时大家见到均值的差值变成了52.9，这一值就较为变大。

汇总概述

在本文中，大家然后前边的blog再次讲MindSpore在训炼好深度学习的实体模型而且储存成文档以后，怎样载入并应用检测集多方面认证。从检测結果中大家获得的启迪是，深度学习的实体模型的实效性会非常大水平上接到训练集的危害，因而最好可以确保训练集的丰富性。假如检测集的范畴大大的超过了训练集所可以表明的范畴，那麼训炼的实体模型差值便会非常大。

版权声明

文中先发连接为：https://www.cnblogs.com/dechinphy/p/valid.html
创作者ID：DechinPhy
大量原著小说文章内容请参照：https://www.cnblogs.com/dechinphy/