- 主题:误报的数据怎么通过最小训练代价更新参数?
小弟刚学机器学习
搭了网络,用了很多数据进行训练,在实际测试过程中,检测事件,中间有很多误报的原始数据,这部分误报的原始数据怎么在原有的模型参数基础上进行训练? 原来的数据集太大,不想从头开始训练,耗时太长,又怕根据误报数据重新构造的小的训练集明显影响原来的参数。
这种情况怎么整呢?只训练顶层,还是有其他的好方法?
--来自微水木3.5.1
--
FROM 175.0.57.*
我觉得可以保留一定量的旧数据去,跟新数据一块训练。举个例子,在alphago系列里,
为了让网络收敛更好,用的经验回放,experience replay
【 在 toxyz (toxyz) 的大作中提到: 】
: 小弟刚学机器学习
: 搭了网络,用了很多数据进行训练,在实际测试过程中,检测事件,中间有很多误报的
原始数据,这部分误报的原始数据怎么在原有的模型参数基础上进行训练? 原来的数据
集太大,不想从头开始训练,耗时太长,又怕根据误报数据重新构造的小的训练集明显影
响原来的参数。
: 这种情况怎么整呢?只训练顶层,还是有其他的好方法?
: ...................
--
FROM 1.90.254.*
先取一个小的数据集进行训练,而不是一开始就用全集。
如果误报的数据就能影响到你的模型,那么这个模型比较脆弱。
练个强的。
【 在 toxyz (toxyz) 的大作中提到: 】
: 小弟刚学机器学习
: 搭了网络,用了很多数据进行训练,在实际测试过程中,检测事件,中间有很多误报的原始数据,这部分误报的原始数据怎么在原有的模型参数基础上进行训练? 原来的数据集太大,不想从头开始训练,耗时太长,又怕根据误报数据重新构造的小的训练集明显影响原来的参数。
: 这种情况怎么整呢?只训练顶层,还是有其他的好方法?
: ...................
--
FROM 121.207.42.*
倒不是误报影响,现在就是实时测试过程中,正样本发生的几率非常小,抓的不多,而24小时可能会发生很多我们之前数据里面没有的,有些导致误报。所以抓的数据里误报的多,正样本少。实际上自己去测试,正确率还是蛮高的。
【 在 zszqzzzf 的大作中提到: 】
:
: 先取一个小的数据集进行训练,而不是一开始就用全集。
: 如果误报的数据就能影响到你的模型,那么这个模型比较脆弱。
: ...................
--来自微水木3.5.1
--
FROM 117.136.24.*
误报的数据为啥不剔除?
【 在 toxyz 的大作中提到: 】
: 小弟刚学机器学习
: 搭了网络,用了很多数据进行训练,在实际测试过程中,检测事件,中间有很多误报的原始数据,这部分误报的原始数据怎么在原有的模型参数基础上进行训练? 原来的数据集太大,不想从头开始训练,耗时太长,又怕根据误报数据重新构造的小的训练集明显影响原来的参数。
: 这种情况怎么整呢?只训练顶层,还是有其他的好方法?
--
FROM 123.57.159.*
想拿这部分去反馈网络,修正参数;原来的数据集没有这部分数据
【 在 FUTURE0349 的大作中提到: 】
: 误报的数据为啥不剔除?
: 【 在 toxyz 的大作中提到: 】
: : 小弟刚学机器学习
: ...................
--来自微水木3.5.1
--
FROM 117.136.24.*
就是把这个误报的数据标记完放倒到数据集里,但是又不想再用整个数据集训练,只取一部分
【 在 toxyz 的大作中提到: 】
: 想拿这部分去反馈网络,修正参数;原来的数据集没有这部分数据
: 【 在 FUTURE0349 的大作中提到: 】
: : 误报的数据为啥不剔除?
: ...................
--来自微水木3.5.1
--
FROM 117.136.24.*
误报数据,本就不应该作为训练数据的,更不应该作为反馈修正用吧?
【 在 toxyz 的大作中提到: 】
: 就是把这个误报的数据标记完放倒到数据集里,但是又不想再用整个数据集训练,只取一部分
--
FROM 123.57.27.*