搜索结果
查询Tags标签： 训练，共有 358条记录-
李宏毅《机器学习》学习笔记5.1
1.Critical Point 的判断和解决 在模型训练过程中，我们可能会遇到模型loss function无法下降的情况，这可能是遇到了critical point。通过Taylor series approximation，我们可以判断某点是否为critical point以及critical point的性质。通过Taylor series approximation…
2021/7/21 23:36:48 人评论 次浏览 -
[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错
[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错 目录[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错0x00 摘要0x01总体思路0x02 抛出异常2.1 示例代码2.2 HorovodInternalError2.3 HostsUpdatedInterrupt2.4 总结0x03 处理异常…
2021/7/21 22:19:07 人评论 次浏览 -
[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错
[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错 目录[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错0x00 摘要0x01总体思路0x02 抛出异常2.1 示例代码2.2 HorovodInternalError2.3 HostsUpdatedInterrupt2.4 总结0x03 处理异常…
2021/7/21 22:19:07 人评论 次浏览 -
Python机器学习 - 机器学习开发流程
获取原始数据拿到的数据不能全部用来训练一个模型。需要划分数据集。分为训练数据（训练、构建模型）和测试数据（在模型检验时使用，用于评估模型是否有效）划分比例：训练集70%、75%、80%数据处理特征工程机器学习算法训练，得到模型模型评估（不合格的话返回到第二步）…
2021/7/19 20:35:45 人评论 次浏览 -
Python机器学习 - 机器学习开发流程
获取原始数据拿到的数据不能全部用来训练一个模型。需要划分数据集。分为训练数据（训练、构建模型）和测试数据（在模型检验时使用，用于评估模型是否有效）划分比例：训练集70%、75%、80%数据处理特征工程机器学习算法训练，得到模型模型评估（不合格的话返回到第二步）…
2021/7/19 20:35:45 人评论 次浏览 -
[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期
[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期 目录[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期0x00 摘要0x01 Worker 是什么1.1 角色1.2 职责1.3 组网机制1.3.1 通信环1.3.2 弹性构建1.3.2.1 Driver …
2021/7/19 20:35:03 人评论 次浏览 -
[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期
[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期 目录[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期0x00 摘要0x01 Worker 是什么1.1 角色1.2 职责1.3 组网机制1.3.1 通信环1.3.2 弹性构建1.3.2.1 Driver …
2021/7/19 20:35:03 人评论 次浏览 -
训练时，训练误差、精度，和验证误差、精度，都保持不变，是个固定值（难受），这是为啥呢？
使用 TensorFlow with Keras，按照《Python 深度学习》（《Deep Learning with Python》）文本和序列处理那章，使用一维卷积Conv1D进行IMBD电影评论情感分类，下面是书里的代码：结果，运行的时候，出现了训练误差和精度、验证误差和精度都保持不变的情况：我惊呆了！训练…
2021/7/17 6:08:11 人评论 次浏览 -
训练时，训练误差、精度，和验证误差、精度，都保持不变，是个固定值（难受），这是为啥呢？
使用 TensorFlow with Keras，按照《Python 深度学习》（《Deep Learning with Python》）文本和序列处理那章，使用一维卷积Conv1D进行IMBD电影评论情感分类，下面是书里的代码：结果，运行的时候，出现了训练误差和精度、验证误差和精度都保持不变的情况：我惊呆了！训练…
2021/7/17 6:08:11 人评论 次浏览 -
李宏毅《机器学习》学习笔记3
误差 模型的误差来源有两个，分别是误差（bias）和方差（variance）。不同复杂程度的模型倾向于不同的误差类型，复杂度较低的模型的方差较小，也就更集中，但是偏差较大，易欠拟合；复杂模型离散程度更大，但偏差小，易过拟合。我们要做的，就是在两种误差中权衡，找出相…
2021/7/17 6:06:54 人评论 次浏览 -
李宏毅《机器学习》学习笔记3
误差 模型的误差来源有两个，分别是误差（bias）和方差（variance）。不同复杂程度的模型倾向于不同的误差类型，复杂度较低的模型的方差较小，也就更集中，但是偏差较大，易欠拟合；复杂模型离散程度更大，但偏差小，易过拟合。我们要做的，就是在两种误差中权衡，找出相…
2021/7/17 6:06:54 人评论 次浏览 -
概述
机器学习致力于如何通过计算手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”的形式出现。 基本术语样本：在数据集合中的每条数据就称为一个样本。 属性/特征：反应样本在某方面的表现或者性质 属性空间/样本空间/输入空间：指的是某一特征下…
2021/7/17 6:05:15 人评论 次浏览 -
概述
机器学习致力于如何通过计算手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”的形式出现。 基本术语样本：在数据集合中的每条数据就称为一个样本。 属性/特征：反应样本在某方面的表现或者性质 属性空间/样本空间/输入空间：指的是某一特征下…
2021/7/17 6:05:15 人评论 次浏览 -
ERNIE3随笔
目录 前言 一、ERNIE结构分析 二、预训练的结构 1.基于字的Pretraining 2.基于结构的Pretraining 3.基于知识的Pretraining三、预训练的流程 1.Pipeline 2.实例 3.综述 四、总结 1.数据处理 2.模型参数前言 预训练模型，百度的ERNIE第三代。相比T5 10billion, GPT 175bill…
2021/7/15 23:38:14 人评论 次浏览 -
ERNIE3随笔
目录 前言 一、ERNIE结构分析 二、预训练的结构 1.基于字的Pretraining 2.基于结构的Pretraining 3.基于知识的Pretraining三、预训练的流程 1.Pipeline 2.实例 3.综述 四、总结 1.数据处理 2.模型参数前言 预训练模型，百度的ERNIE第三代。相比T5 10billion, GPT 175bill…
2021/7/15 23:38:14 人评论 次浏览
