pytorch实现梯度下降和反向传播图文详细讲解

import torch import numpy as np from matplotlib import pyplot as plt """ 假设模型为y=w*x+b 我们给出的训练数据是通过y=3*x+1，得到的，其中w=3，b=1 通过训练y=w*x+b观察训练结果是否接近于w=3，b=1 """ # 设置学习率 learning_rate=0.01 #准备数据 x=torch.rand(500,1) #随机生成500个x作为训练数据 y_true=x*3+1 #根据模型得到x对应的y的实际值 #初始化参数 w=torch.rand([1,1],requires_grad=True) #初始化w b=torch.rand(1,requires_grad=True,dtype=torch.float32) #初始化b #通过循环，反向传播，更新参数 for i in range(2000): # 通过模型计算y_predict y_predict=torch.matmul(x,w)+b #根据模型得到预测值 #计算loss loss=(y_true-y_predict).pow(2).mean() #防止梯度累加，每次计算梯度前都将其置为0 if w.grad is not None: w.grad.data.zero_() if b.grad is not None: b.grad.data.zero_() #通过反向传播，记录梯度 loss.backward() #更新参数 w.data=w.data-learning_rate*w.grad b.data=b.data-learning_rate*b.grad # 这里打印部分值看一看变化 if i%50==0: print("w,b,loss:",w.item(),b.item(),loss.item()) #设置图像的大小 plt.figure(figsize=(20,8)) #将真实值用散点表示出来 plt.scatter(x.numpy().reshape(-1),y_true.numpy().reshape(-1)) #将预测值用直线表示出来 y_predict=torch.matmul(x,w)+b plt.plot(x.numpy().reshape(-1),y_predict.detach().numpy().reshape(-1),c="r") #显示图像 plt.show() 

import torch from torch import nn from torch import optim from matplotlib import pyplot as plt import numpy as np # 1.定义数据,给出x x=torch.rand(50,1) # 假定模型为y=w*x+b，根据模型给出真实值y=x*3+0.8 y=x*3+0.8 # print(x) #2.定义模型 class Lr(torch.nn.Module): def __init__(self): super(Lr, self).__init__() self.linear = torch.nn.Linear(1, 1) def forward(self, x): out = self.linear(x) return out # 3.实例化模型、loss、优化器 model=Lr() criterion=nn.MSELoss() # print(list(model.parameters())) optimizer=optim.SGD(model.parameters(),lr=1e-3) # 4.训练模型 for i in range(30000): out=model(x) #获取预测值 loss=criterion(y,out) #计算损失 optimizer.zero_grad() #梯度归零 loss.backward() #计算梯度 optimizer.step() #更新梯度 if (i+1)%100 ==0: print('Epoch[{}/{}],loss:{:.6f}'.format(i,30000,loss.data)) # 5.模型评估 model.eval() #设置模型为评估模式，即预测模式 predict=model(x) predict=predict.data.numpy() plt.scatter(x.data.numpy(),y.data.numpy(),c="r") plt.plot(x.data.numpy(),predict) plt.show()