-
机器学习 sklearn数据集
- AI(人工智能)包含机器学习,机器学习包含深度学习
什么是机器学习
- 机器学习是从数据中自动分析获得规律(模型),并利用规律对未知数据进行预测(分类,回归)
机器学习应用场景
- 自然语言处理
- 无人驾驶
- 计算机视觉
- 推荐系统
数据
数据类型
- 离散型数据
- 连续型数据
数据的类型将是机器学习模型不同问题不同处理的依据
可用数据集
- Kaggle网址:https://www.kaggle.com/datasets
- 大数据竞赛平台
- 80万科学家
- 真实数据
- 数据量巨大
- UCI数据集网址: http://archive.ics.uci.edu/ml/
- 收录了360个数据集
- 覆盖科学、生活、经济等领域
- 数据量几十万
- scikit-learn网址:https://scikit-learn.org/stable/datasets
- 数据量较小
- 方便学习
- 阿里天池
常用数据集数据的结构组成
注:有些数据集可以没有目标值
sklearn数据集
数据集划分
- 机器学习一般的数据集会划分为两个部分:
- 训练数据:用于训练,构建模型
- 测试数据:在模型检验时使用,用于评估模型是否有效
- 两部分占比通常是:70%+30% 80%+20% 75%+25%
- sklearn.model_selection.train_test_split(*arrays,**options) 可以对数据集进行自动划分
- 参数介绍:
- x 数据集的特征值
- y 数据集的标签值
- test_size 测试集的大小,一般为 float
- random_state 随机数种子,不同的种子会造成不同的随机 采样结果。相同的种子采样结果相同。
- return 训练集特征值,测试集特征值,训练标签,测试标签
数据集接口介绍
- sklearn.datasets :加载获取流行数据集
- datasets.load_*() : 获取小规模数据集,数据包含在 datasets
- datasets.fetch_*(data_home=None) : 获取大规模数据集,需要从网络上下载,函数的第一个参数是 data_home, 表示数据集下载的目录
- load_*和 fetch_*返回的数据类型 datasets.base.Bunch(字典格式 )
- data:特征数据数组,是 [n_samples * n_features] 的二维 numpy.ndarray 数组
- target:标签数组,是 n_samples 的一维 numpy.ndar
- DESCR:数据描述
- feature_names:特征名,新闻数据,手写数字、回归数据集没有
- target_names:标签名,回归数据集没有
分类数据集
- sklearn.datasets.load_iris() 加载并返回鸢尾花数据集
- sklearn.datasets.load_digits() 加载并返回数字数据集
- sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
- subset: ‘train’或者’test’,‘all’,可选,选择要加载的数据集.
- datasets.clear_data_home(data_home=None) 清除目录下的数据
回归数据集
- sklearn.datasets.load_boston() 加载并返回波士顿房价数据集
- sklearn.datasets.load_diabetes() 加载和返回糖尿病数据集
转换器( Transformer )
- fit是适应数据,但不对数据做改变,transform是对数据做改变;fit_transform是fit和transform的结合
估计器( estimator )
- 在 sklearn 中,估计器(estimator)是一个重要的角色,分类器和回归器都属于 estimator,是一类实现了算法的 API
- 用于分类的估计器:
- sklearn.neighbors k-近邻算法
- sklearn.naive_bayes 朴素贝叶斯
- sklearn.linear_model.LogisticRegression 逻辑回归
- sklearn.tree 决策树与随机森林
- 用于回归的估计器
- sklearn.linear_model.LinearRegression 线性回归
- sklearn.linear_model.Ridge 岭回归
- 估计器的工作流程
-
相关阅读:
使用vba调用vb.net封装的dll,出现453错误
除法类型复合指标异动贡献度计算
Stable-diffusion-webui
【蓝桥杯大赛】简单回忆一下我的蓝桥杯比赛历程
dubbo 2.5.3 升级记录 to 2.7.10
vue项目的创建——总结版
java python+vue校园摄图网的设计与实现
1Panel应用推荐:Uptime Kuma
力扣27.移除元素【顺序表】
vue学习-16vue的history模式与hash模式
-
原文地址:https://blog.csdn.net/weixin_45775970/article/details/125898768