机器学习建模步骤
1、实际问题抽象成数学问题:这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分类还是回归或者是聚类的问题,如果都不是的话,如果划归为其中的某类问题。
2、获取数据:获取数据包括获取原始数据以及从原始数据中经过特征工程从原始数据中提取训练、测试数据。机器学习比赛中原始数据都是直接提供的,但是实际问题需要自己获得原始数据。“ 数据决定机器学习结果的上限,而算法只是尽可能的逼近这个上限”,可见数据在机器学习中的作用。总的来说数据要有具有“代表性”,对于分类问题,数据偏斜不能过于严重,不同类别的数据数量不要有数个数量级的差距。 对评估数据的量级,样本数量、特征数量,估算训练模型对内存的消耗。如果数据量太大可以考虑减少训练样本、降维或者使用分布式机器学习系统。
3、特征工程:特征工程包括从原始数据zhong8特征构建、特征提取、特征选择、特征工程做的好能发挥原始数据的最大效力,往往能够使得算法的效果和性能得到显著的提升,有时能使简单的模型的效果比复杂的模型效果好。数据挖掘的大部分时间就花在特征工程上面,是机器学习非常基础而又必备的步骤。数据预处理、数据清洗、筛选显著特征、摒弃非显著特征等。训练模型、诊断、调优模型诊断中至关重要的是判断过拟合、欠拟合,常见的方法是绘制学习曲线,交叉验证。通过增加训练的数据量、降低模型复杂度来降低过拟合的风险,提高特征的数量和质量、增加模型复杂来防止欠拟合。诊断后的模型需要进行进一步调优,调优后的新模型需要重新诊断,这是一个反复迭代不断逼近的过程,需要不断的尝试,进而达到最优的状态。
4、模型验证、误差分析:通过测试数据,验证模型的有效性,观察误差样本,分析误差产生的原因,往往能使得我们找到提升算法性能的突破点。误差分析主要是分析出误差来源与数据、特征、算法。
5、模型融合:提升算法的准确度主要方法是模型的前端(特征工程、清洗、预处理、采样)和后端的模型融合。在机器学习比赛中模型融合非常常见,基本都能使得效果有一定的提升。
6、上线运行:这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向,模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况,还包括其运行的速度(时间复杂度)、资源消耗程度(空间复杂度)、稳定性是否可接受。
猜你喜欢
oppor7s的空调遥控在哪
在主菜单中。它的图标是类似遥控器标志的按钮。使用步骤打开手机...联通网上商城的订单怎么取消
取消订单的方法未支付的订单可在订单查询页面取消,已支付或已分...鲍鱼怎么清洗干净
首先最好是购买比较新鲜的鲍鱼,买回来试用清水浸一会儿。然后打...15减8算式怎么分解
减可以这样分解破十法平十法。破十法破十法是小学一年级数学用在...xx的笑容由我来守护是什么梗
有表爱意,表白的意思,可以理解为我喜欢,所以我要保护,让一直...没有高中毕业证可以考导游证吗
国家规定只有高中学历或中专学历以上,才可以报考导游资格考试。...选购短裤要注意什么
短裤不是越短越好虽然短裤显腿长,露腿越多越显腿长,但也要掌握...学生男生美白的方法
首先就是涂防晒霜,不管外面的天气如何防晒也是必须得做到位的,...睡前不洗脸的好处有哪些
晚上不洗脸没有好处!睡前洗脸不仅是讲究卫生的需要,也是防止疾...电脑怎样用键盘快速关机
方法如下按键或者加键弹出开始菜单后,连续按两下键即可快速关机...黄豆怎样清洗
步骤先用平常的凉水洗两遍或以上。再用温水浸泡半小时左右洗两遍...郑州大学在什么位置
郑州大学新校区地址河南省郑州市科学大道号郑州大学南校区地址河...五味子的正确泡水方法
五味子煎煮泡前最好压碎,药效更显着。人参五味子茶人参片克,五...违章交费可以微信吗
违章交费可以微信,在弹出的菜单列表中单击机动车违法查询选项,...三个人打招呼的成语
符合要求的成语只有一个三言两语。解释三两指数量少。三言两语很...