2024年全国职业院校技能大赛赛题

模块一:平台搭建与运维 (一)任务一:大数据平台搭建 1.子任务一:Hadoop 完全分布式安装配置 本任务需要使用 root 用户完成相关配置，安装 Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下： 1、从Master中的/opt/software目录下将文件hadoop-3.1.3.tar.gz、jdk -8u191-linux-x64.tar.gz 安装 包解压到/opt/module 路径中(若路径不存在，则需新建)， 将 JDK 解压命令复制并粘贴至客户端桌面【Re…

模块二：数据获取与处理 （一）任务一：数据获取与清洗 1．子任务一：数据获取  编写agent文件power.conf，使用Flume采集无人机巡检数据power.txt，数据文件参考数据清洗部分； 目标数据源类型为HDFS 写入位置为hdfs上/source/logs/power/ 答： # Define the agent name   agent.sources = r1   agent.channels = c1   agent.sinks = k1      # Configure t…

模块一：平台搭建与运维 （二）任务二：数据库配置维护  1.子任务一：创建数据库及相关数据表  在 MySQL 数据库中创建“test”数据库，并在“test”数据库中分别创建“stu”、“course”及“score”共3个数据表。各个数据表的表字段格式如下： 将创建“test”数据库、“stu”、“course”及“score”的建表 结 果 图 分别截图复制粘贴至客户端桌面【M1-T2-SUBT1-提交结果 1.docx】中对应的任务序号下。 答： CREATE DATABASE test…

模块一：平台搭建与运维 （一）任务一：大数据平台搭建 1.子任务一：Hadoop 完全分布式安装配置 本任务需要使用 root 用户完成相关配置，安装 Hadoop 需要配置前置环境。命令中要求使用绝对路径，具体要求如下: （1）从 Master 中的/opt/software 目录下将文件hadoop-3.1.3.tar.gz、jdk-8u191-linux-x64.tar.gz 安装 将 JDK 解压命令复制并粘贴至客户端桌面【M1-T1-SUBT1-提 交结果 1.docx】中对应的任务序…

模块二:数据获取与处理 (一)任务一:数据获取与清洗 1.子任务一:数据获取 根据 distribution.csv 文件统计单条数据缺失字段计数的最大值，将结果输出到控制台，输出格式如下： 单条数据缺失字段计数的最大值为*** 将控制台输出截图并粘贴到结果文件中。 2.子任务二：HDFS 文件上传下载 本任务需要使用 Hadoop，HDFS 命令，已安装 Hadoop及需要配置前置环境，具体要求如下： （1）在 master 节点的 hadoop 环境中，使用HDFS命令列出HDFS的文件和目…

模块一:平台搭建与运维 (一)任务一:大数据平台搭建 1.子任务-:Zookeeper 集群安装配置 本任务需要使用 root 用户完成相关配置，具体要求如下 (1)在master 节点将/usr/1oca1/src 目录下的apache-zookeeper-3.5.7-bin.tar.gz包解压到/opt 路径下，将完整命令截图粘贴到对应答题报告中; 答：tar zxf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module…

模块一：平台搭建与运维 任务一:大数据平台搭建 1.子任务一: Hadoop 完全分布式安装配置 本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下： (1)从Master中的/opt/software目录下将文件hadoop3.1.3.tar.gz、jdk-8u191-linux-x64.tar.gz安装包解压到/opt/module路径中(若路径不存在，则需新建)，将JDK解压命令复制并粘贴至客户端桌面【Release\提交结果.d…

一、背景描述 大数据时代背景下，人们生活习惯发生了很多改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。平台可以根据用户的浏览，点击，评论等行为信息数据进行收集和整理。通过大量用户的行为可以对某一个产品进行比较准确客观的评分和评价，或者进行相应的用户画像，将产品推荐给喜欢该产品的用户进行相应的消费。 因数据驱动的大数据时代已经到来，没有大数据，我…

一、背景描述 随着互联网、大数据等技术的高速发展，通用设备制造 业在“中国制造 2025”计划的推动下正向定制化服务转型。传统的设备销售模式正在向销售服务模式转变，这为企业带来了新的机遇和挑战。在这个转型过程中，商业模式的创新变得至关重要。信息化与现代服务的结合成为制造企业转型和管理升级的重要手段。 从管理角度来看，企业需要全局掌握已售出设备的整体运行状况，以提高服务效率、满意度和及时率。同时，企业还需要提升决策效率，降低服务成本。这些挑战可以通过大数据综合开发来解决，通过对设备数据进行采集、存…

一、背景描述 随着中国数字化转型战略的推进，传统通信行业正面临着数字化转型的挑战和机遇；用户对通信服务的需求已经发生了根本性的变化，通信运营商正在通过技术创新和服务升级来满足这些需求；数字化转型涉及到网络建设、数据管理、服务创新等方面，大数据技术成为关键驱动力之一。 为了应对这一转型，我们要求参赛者搭建通信行业大数据分析平台，并利用 Hive 数仓技术和 Spark 计算引擎对通信用户行为数据进行操作和分析；通过这样的平台，可以快速处理和挖掘海量数据，得出有价值的洞察和分析结果。 同时，在展示数…