推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

最小二乘法与梯度下降法

更新时间:2026-07-09 12:43:09 大小:19K 上传用户:江岚查看TA发布的资源 标签:最小二乘法 下载积分:2分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

一、基本概念与问题背景

最小二乘法和梯度下降法是机器学习、数值计算中最基础也最常用的两种优化算法,核心目标都是解决线性回归问题:通过给定的数据集拟合出最优的参数模型,从而实现对未知数据的预测。

简单来说,我们要解决的问题可以抽象为:给定$m$个样本$,,...,,其中每个样本$n$维特征向量,是对应的真实标签,我们假设$y$$x$之间满足线性关系:

 

其中是待求解的参数向量,$X$是增广后的特征矩阵。我们需要找到一组最优的,让预测值和真实值之间的误差尽可能小,误差的衡量通常用均方损失函数

 

这个损失函数的物理意义非常直观:误差的平方和平均,系数是为了后续求导计算方便,不影响最优解的位置。最小二乘法和梯度下降法,就是从这个损失函数出发,用两种完全不同的思路求解最优


部分文件列表

文件名 大小
最小二乘法与梯度下降法.docx 19K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载