- 主题:还是老问题，如何评价一个模型的好坏？让甲方验收通过？
以前就问个这问题，但似乎没有好的答案。现在老板要训练一个二分类的模型（区别有猫叫和无猫叫），我已经训练出13个模型文件了。可是老板还是不满意，说整体感觉不准。问题来了，如何判断一个模型的好坏呢？chatgpt也不是每个问题，都100%回答正确的。大佬，有什么好的解决办法吗？谢谢
--
FROM 120.242.240.*
弄个固定的测试集测试各个模型的准确率和召回率
【 在 feng321 的大作中提到: 】
: 以前就问个这问题，但似乎没有好的答案。现在老板要训练一个二分类的模型（区别有猫叫和无猫叫），我已经训练出13个模型文件了。可是老板还是不满意，说整体感觉不准。问题来了，如何判断一个模型的好坏呢？chatgpt也不是每个问题，都100%回答正确的。大佬，有什么好的解决办
: 法吗？谢谢
--
FROM 101.226.154.*
关键生产环境，模型的输入是不确定的啊。而且有这个测试集，我为什么不能把他加入训练呢？
【 在 johnbird 的大作中提到: 】
: 弄个固定的测试集测试各个模型的准确率和召回率
--
FROM 120.242.240.*
有标准数据集，就用标准数据集。然后与基于同一数据集的其他算法比性能。
如果没有数据集，就自己构造一个数据集，然后与基于你这个数据集的其他算法比性能。
【 在 feng321 的大作中提到: 】
: 以前就问个这问题，但似乎没有好的答案。现在老板要训练一个二分类的模型（区别有猫叫和无猫叫），我已经训练出13个模型文件了。可是老板还是不满意，说整体感觉不准。问题来了，如何判断一个模型的好坏呢？chatgpt也不是每个问题，都100%回答正确的。大佬，有什么好的解决办
: 法吗？谢谢
--
FROM 125.35.5.*
咋觉得你没入门呢。。。
训练集想尽量覆盖生产环境的输入，要不然你的模型咋可能好？
测试集不能用于训练，因为模型会过拟合，导致测出来很好，实际上线后不好
【 在 feng321 的大作中提到: 】
: 关键生产环境，模型的输入是不确定的啊。而且有这个测试集，我为什么不能把他加入训练呢？
--
FROM 115.171.244.*
让你老板找个他满意的模型帮你问问吧。你觉得能问出答案吗？
如果不能，那你应该有自己的答案了。
【 在 feng321 的大作中提到: 】
: 以前就问个这问题，但似乎没有好的答案。现在老板要训练一个二分类的模型（区别有猫叫和无猫叫），我已经训练出13个模型文件了。可是老板还是不满意，说整体感觉不准。问题来了，如何判断一个模型的好坏呢？chatgpt也不是每个问题，都100%回答正确的。大佬，有什么好的解决办法吗？谢谢
--
FROM 114.246.97.*