您现在的位置是:LG博客 > 大数据 >

Python大数据开发培训课程

2021-06-10 13:59:5067人已围观

项目四

项目五

项目六

项目七

项目八

今日指数证券大数据项目

python大数据分析与挖掘实战项目

项目截图(部分)

项目背景

实时监控证券市场的市场每日的业务交易;搭建监察预警体系;
交易数据实时采集、实时数据分析、多维分析,即席查询,实时大屏监控展示。

应用技术

Flink、Flume、Kafka、Flink、Hbase、MySQL等

学员掌握技能

高性能处理,流处理计算引擎采用的是Flink,实时处理100万笔/s的交易数据;基于ELK的批业务数据处理,可进行大数据量多维分析

星途车联网大数据项目

大数据挖掘与大数据可视化项目

项目截图(部分)

项目背景

涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务;通过QBOX车辆终端数据收集,并解析为QSP数据、QCS数据、充电数据、HU数据;提供实时计算服务与离线计算服务,并通过API接口以报表和大屏展示分析结果数据。

应用技术

基于Hive、HBase、HDFS数据存储;基于Kafka数据传输;基于Flink全栈数据处理;基于Nginx做反向代理、LSV和Keepalived负载均衡和高可用。

学员掌握技能

系统15分钟内收集的新能源车辆的数据超过千万条,学员可掌握海量数据处理能力。

客快物流大数据项目

python大数据工程师实战项目

项目截图(部分)

项目背景

基于一家大型物流公司研发的智慧物流大数据平台,日订单上千万:围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等;提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观指导意义的解决方案。

应用技术

ClickHouse实时存储;Kudu + Impala准实时分析系统;基于Docker搭建异构数据源;以企业主流的Spark生态圈为核心技术;ELK全文检索;Spring Cloud搭建数据服务等。

学员掌握技能

让学生掌握企业搭建大数据平台的完整过程,从异构数据采集、海量数据存储、计算,部署、数据分析、以及项目的存储、计算调优,学生学习完该项目能够胜任企业大数据各个阶段的开发过程。

知行教育大数据项目

大数据分析项目

项目截图(部分)

项目背景

建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理;项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序;挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。

应用技术

ClouderaManager可视化、自动部署和配置;Git的CodeReview功能;大数据量场景下如何优化配置,拉链表的具体应用,新增数据的抽取和分析,更新数据的抽取和分析,以及hive函数的具体应用等。

学员掌握技能

掌握离线数仓的分层与建模,能够在公司独当一面;从需求、设计、研发、测试到落地上线的完整项目流程。

智数电商大数据项目

电商大数据分析项目

项目截图(部分)

项目背景

分析来自全品类B2B2C电商系统,以电商核心流程为主线进行数据分析,支撑运营;建立基于用户的全面分析体系,从多个维度建立基于用户的运营体系;实时分析用户访问流量、订单、店铺等运营指标。

应用技术

采用可Kettle同步MySQL数据采集方案;JS埋点 + Flume实时用户点击行为数据采集方案;Spark on hive数据仓库解决方案;Apache开源项目Superset可视化方案;Kylin交互式快速数据分析方案;Canal进行MySQL业务数据实时采集方案;Flink对数据进行实时ETL处理解决方案;Flink + Druid实时数仓解决方案;HBase + Phoenix明细数据实时查询方案;开源平台Azkaban调度方案。

千面电商画像大数据项目

电商画像大数据分析项目

项目截图(部分)

-