• 首页
  • 期刊简介
  • 编委会
  • 投稿指南
  • 收录情况
  • 杂志订阅
  • 联系我们
引用本文:李兴怡,岳 洋.梯度下降算法研究综述[J].软件工程,2020,23(2):1-4.【点击复制】
【打印本页】   【下载PDF全文】   【查看/发表评论】  【下载PDF阅读器】  
←前一篇|后一篇→ 过刊浏览
分享到: 微信 更多
梯度下降算法研究综述
李兴怡,岳 洋
(上海理工大学,上海 200093)
摘 要: 在机器学习领域中,梯度下降算法是一种广泛用于求解线性和非线性模型最优解的迭代算法,它的中心 思想在于通过迭代次数的递增,调整使得损失函数最小化的权重。本文首先概述了基于多元线性模型的梯度下降算法; 其次介绍了梯度下降算法三种框架,使用Python实现了自主停止训练的BGD算法;针对梯度下降算法存在的不足,综 述了近三年算法优化的研究成果。最后,总结了本文的主要研究工作,对梯度下降优化算法的研究趋势进行了展望。
关键词: 机器学习;多元线性模型;梯度下降算法;算法实现;优化算法
中图分类号: TP181    文献标识码: A
Survey of Gradient Descent Algorithm
LI Xingyi,YUE Yang
( University of Shanghai for Science and Technology, Shanghai 200093, China)
Abstract: Gradient descent algorithm is an iteration algorithm which is widely used in figuring out the minimum of linear model and non-linear model in the field of machine learning.Its main idea is to adjust the weights that minimizes the cost function through increasing the number of iterations.First,this paper outlines gradient descent algorithm based on multivariate linear model.Then introduces three kinds of gradient descent variants and accomplishes batch gradient descent algorithms which stops training autonomously by means of Python.This paper also gives an overview of research advances from recent three years of gradient descent optimization algorithms to existing deficiencies.At the end of this paper,the main research findings are summarized and the research tendency of gradient descent optimization algorithms is prospected.
Keywords: machine learning;multivariate linear model;gradient descent algorithm;algorithm implementation; optimization algorithm


版权所有:软件工程杂志社
地址:辽宁省沈阳市浑南区新秀街2号 邮政编码:110179
电话:0411-84767887 传真:0411-84835089 Email:semagazine@neusoft.edu.cn
备案号:辽ICP备17007376号-1
技术支持:北京勤云科技发展有限公司

用微信扫一扫

用微信扫一扫