客服QQ被限制登陆,请大家使用网站在线工单系统联系我,暂时只接接待VIP办理、VIP售后
[友情广告]早教+小中初+高中+大学 资源汇总(新课)Prometheus入门与进阶实践(20讲)[广告]--套图街VIP账号 男士宝库网共享--
查看: 18420|回复: 86

[云计算&大数据] Spark 2.x + Python 大数据机器学习实战 价值400

  [复制链接]
  • TA的每日心情
    无聊
    2023-12-29 00:06
  • 签到天数: 2604 天

    连续签到: 172 天

    [LV.Master]伴坛终老

    注册时间
    2012-9-3
    最后登录
    2024-3-29

    1万

    主题

    1万

    帖子

    13万

    积分

    管理员

    2012年到2024年,感谢各位会员朋友的支持!

    Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62

    推广达人宣传达人突出贡献优秀版主荣誉管理论坛元老vip会员

    QQ
    发表于 2021-1-25 00:16:01 | 显示全部楼层 |阅读模式
    价值400 Spark2.x+Python大数据机器学习实战视频教程
    课程介绍:
    机器学习是近二十来年兴起的多领域学科,机器学习算法可从数据中建立模型,并利用模型对未知数据进行预测。机器学习技术不断进步,应用相当广泛,例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。
    为什么近年来机器学习变得如此热门,各大公司都争相投入?因为机器学习需要大量数据进行训练。大数据的兴起带来了大量的数据以及可存储大量数据的分布式存储技术,例如Hadoop HDFS、NoSQL……还有分布式计算可进行大量运算,例如 Spark 基于内存的分布式计算框架/架构,可以大幅提升性能。
    Python是数据分析最常用的语言之一,而Apache Spark是一个开源的强大的分布式查询和处理引擎。本书用详尽的例子介绍了如何使用Python来调用Spark的新特性,如何处理结构化和非结构化的数据,如何使用PySpark中一些基本的可用数据类型,如何生成机器学习模型、操作图像、阅读串流数据以及在云上部署你的模型。
    本课程系统讲解如何在Spark2.0上高效运用Python来处理数据并建立机器学习模型,帮助读者开发并部署高效可拓展的实时Spark解决方案。


    本课程从浅显易懂的“大数据和机器学习”原理说明入手,讲述大数据和机器学习的基本概念,如分析、分类、训练、建模、预测、推荐引擎、二元分类、多元分类、回归分析和Pipeline等;
    为降低学习大数据技术的门槛,提供了丰富的案例实践操作和范例程序编码,展示了如何在单机Windows系统上建立Spark 2.x + Python开发环境;
    适合于学习大数据基础知识的初学者,更适合正在使用机器学习想结合大数据技术的人员;


    课程目录:
    第一章、搭建Spark 2.x+Python开发环境及基本开发入门
    1、快速环境搭建:导入Windows7虚拟机至VMWARE及启动系统和远程桌面连接
    2、快速环境搭建:Windows系统如何安装pyspark模块到Anaconda及启动PyCharm了解Spark MLlib机器学习库源码及走读
    3、快速环境搭建:使用PyCharm开发Spark程序(读取文本数据封装RDD)
    4、PySpark SQL快速开发:结构化海量数据处理框架SparkSQL介绍、DataFrame概述及分析数据两种方式
    5、PySpark SQL快速开发:使用SparkSession读取文本数据分析及CSV格式数据分析(封装DataFrame分布式数据集)
    6、PySpark SQL快速开发:基于Jupyter Notebook读取航空航天数据、使用DSL分析
    7、PySpark SQL快速开发:使用DSL分析航天航空数据及如何将DataFrame转换为Pandas中dataframe

    第二章、Python Spark MLlib 创建推荐引擎(ALS算法篇)
    8、推荐系统几大分类(不同数据、不同算法)概述、以亚马逊和JD为例查看推荐(检索物品后推荐)及推荐系统预测(评分和行为)
    9、协同过滤推荐算法CF核心思想、算法数据(用户对物品的评价)及矩阵分解两种方式(SVD和ALS算法)
    10、CF的两种推荐方式(基于用户推荐和基于物品推荐)、计算用户或物品相似度常见四种方式及Spark MLlib中ALS算法核心(数据封装、算法超参数)
    11、推荐数据集:电影评分数据、通过源码剖析Spark MLlib中协同过滤算法实现类(Rating、ALS和MatrixFactorizationModel)
    12、使用Jupyter Notebook开发电影推荐:读取MovieLens评分数据、组合特征、训练模型、预测评分和为用户或电影进行Top10推荐

    第三章、Python Spark MLlib 创建推荐引擎(深入实践篇)
    13、回顾综述Spark MLlib中支持推荐系统中不同算法(内容推荐Word2Vector、关联规则FP-Growth和协同过滤ALS)
    14、针对电影推荐开发优化:将数据集划分为训练和测试、计算模型评估指标MSE和RMSE值
    15、针对电影推荐开发优化:定义函数封装模型评估(依据传递模型和测试数据集)
    16、针对电影推荐开发优化:使用多层嵌套FOR循环设置不同超参数值训练和评估模型,获取最佳模型
    17、针对电影推荐开发优化:保存加载模型、机器学习简易开发流程和使用PyCharm开发封装模型训练与保存
    18、针对电影推荐开发优化:依据输入用户或物品进行相关推荐(加载离线训练完成的模型)

    第四章、Python Spark MLlib 构建分类模型
    19、综述Spark MLlib中实现常见分类算法库(二分类和多分类)及查看实现源码
    20、监督学习算法数据格式标签向量LabelPoint及Kaggle竞赛StumbleUpon数据集说明(预测网址是否长青或短暂)
    21、构建分类系统之数据调研、数据过滤转换和类别特征提取方式1-of-K详解
    22、构建分类系统之分别定义函数提取类别label和转换类别数据提取特征features
    23、构建分类系统之封装数据、划分数据集、使用决策树分类及二分类评估指标PR和ROC
    24、构建分类系统之使用集成学习算法随机森林RF训练模型和评估性能
    25、构建分类系统之使用梯度提升算法GBT训练模型和评估性能
    26、构建分类系统之分别使用朴素贝叶斯、支持向量机SVM和逻辑回归算法训练模型与预测

    第五章、Python Spark MLlib 构建回归分析
    27、Spark MLlib中回归算法实现库(LR、DT等)、过拟合(L1和L2正则化)和阅读算法库源码
    28、BikeSharing数据集调研、读取数据并编写函数提取特征和标签
    29、构建回归模型之划分数据集、使用决策树回归算法训练模型及定义函数评估模型
    30、构建回归模型之使用随机森林RF和梯度提升GBT回归算法训练模型及评估模型
    31、构建回归模型之使用LinearRegressionWithSGD训练模型及引出要转换类别特征数据问题

    第六章、Spark ML Pipeline 机器学习流程回归分析
    32、回顾复习Spark MLlib中算法(分类、回归和推荐)及基于DataFrame ML几个核心概念剖析
    33、_查看Spark ML机器学习库源码及SparkSession读取电影评分数据封装DataFrame
    34、基于DataFrame 协同过滤算法ALS进行电影推荐模型训练和相关预测
    35、基于DataFrame 决策树回归算法DecisionTreeRegressor训练模型(VectorAssembler特征组合)和评估(RegressionEvaluator)
    36、使用VectorIndexer类别特征转换及使用TrainValidationSplit进行超参数调整获取最佳模型
    37、使用交叉验证CrossValidator方式训练评估模型找到最佳模型
    38、Pipeline管道使用说明、结合共享单车出租预测进行构建Pipeline Model模型和预测


    QQ截图20210125001707.png

    下载地址:
    游客,如果您要查看本帖隐藏内容请回复



    三六五网络学院 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有课程收集于互联网,该帖子作者与三六五网络学院不享有任何版权,如有侵权请联系本站删除
    3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责
    4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    5、三六五网络学院管理员和版主有权不事先通知发贴者而删除本文

    回复

    使用道具 举报

  • TA的每日心情

    昨天 13:01
  • 签到天数: 2310 天

    连续签到: 360 天

    [LV.Master]伴坛终老

    28

    主题

    1万

    帖子

    1万

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    16223
    发表于 2021-1-25 08:00:20 | 显示全部楼层
    每天都来看看
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2022-9-22 14:16
  • 签到天数: 236 天

    连续签到: 1 天

    [LV.7]常住居民III

    2

    主题

    424

    帖子

    852

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    852
    发表于 2021-1-25 08:52:02 | 显示全部楼层
    6666666666666666666
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2023-12-3 20:46
  • 签到天数: 43 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    主题

    85

    帖子

    399

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    399
    发表于 2021-1-25 09:57:45 | 显示全部楼层
    学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习学习
    回复

    使用道具 举报

  • TA的每日心情

    2023-12-27 11:58
  • 签到天数: 316 天

    连续签到: 1 天

    [LV.8]以坛为家I

    0

    主题

    1088

    帖子

    1209

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    1209

    vip会员

    发表于 2021-1-25 15:06:05 | 显示全部楼层
    RE: Spark 2.x + Python 大数据机器学习实战 价值400
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2023-12-27 09:07
  • 签到天数: 627 天

    连续签到: 2 天

    [LV.9]以坛为家II

    12

    主题

    1339

    帖子

    3840

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    3840

    vip会员

    发表于 2021-1-25 16:15:39 | 显示全部楼层
    Spark 2.x + Python 大数据机器学习实战 价值400
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2022-3-9 22:36
  • 签到天数: 35 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    主题

    70

    帖子

    119

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    119
    发表于 2021-1-25 22:40:11 | 显示全部楼层
    哈哈哈哈哈哈
    回复

    使用道具 举报

  • TA的每日心情

    昨天 11:55
  • 签到天数: 2307 天

    连续签到: 154 天

    [LV.Master]伴坛终老

    30

    主题

    1万

    帖子

    1万

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    16199
    发表于 2021-1-26 13:30:30 | 显示全部楼层
    爱了爱了
    回复

    使用道具 举报

  • TA的每日心情

    2023-12-26 15:22
  • 签到天数: 217 天

    连续签到: 1 天

    [LV.7]常住居民III

    3

    主题

    389

    帖子

    2365

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    2365
    发表于 2021-1-26 16:11:01 | 显示全部楼层
    66666666666666666666666666
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2021-2-21 23:02
  • 签到天数: 68 天

    连续签到: 1 天

    [LV.6]常住居民II

    1

    主题

    157

    帖子

    81

    积分

    违规用户(已保留证据)

    积分
    81
    发表于 2021-1-27 01:24:20 | 显示全部楼层
    Spark 2.x + Python 大数据机器学
    回复

    使用道具 举报

    懒得打字嘛,点击右侧快捷回复
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    在线咨询

    商务合作

    客服QQ:1980803031
    点击这里给我发消息
    Copyright;  ©2012-2016  教程论坛  Powered byDiscuz!  技术支持:三六五网络学院