【深度优先-利用Spark将Kafka数据流写入HDFS】此文章归类为：[ "深度优先", "linq", "spark", "kafka", "大数据" ]。 利用Spark将Kafka数据流写入HDFS

原创 周杰伦 7个月前 阅读: 184 阅读时长: 9分钟

【flume-Flume超级无敌详细讲解】此文章归类为：[ "flume", "大数据" ]。 简介 概述 Flume本身是由Cloudera公司开发的后来贡献给了Apache的一套针对日志进行收集(collecting)、汇聚(aggregating)和传输(moving)的分布式机制。 图-1 Flume图标 Flume本身提供了较为

原创 周杰伦 8个月前 阅读: 180 阅读时长: 9分钟

【面试-大数据开发（Hadoop面试真题-卷二）】此文章归类为：["面试","hadoop","职场和发展","分布式","大数据"]。 大数据开发（Hadoop面试真题） 1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？ 2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的

原创 周杰伦 8个月前 阅读: 234 阅读时长: 9分钟

【hive-数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC】此文章归类为：["hive","flink","flume","hadoop","sqoop"]。 在大数据时代，数据的采集、处理和分析变得尤为重要。业界出现了多种工具来帮助开发者和企业高效地处理数据流和数据集。本文将对比五种流行的数据处理工具：SeaTunnel、DataX、Sqoo

原创 周杰伦 9个月前 阅读: 438 阅读时长: 9分钟

【kafka-【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft】此文章归类为：["kafka","分布式"]。 【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Producer 【Kafka-3.x-教程】-【三】K

原创 周杰伦 10个月前 阅读: 330 阅读时长: 9分钟

【kafka-【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门】此文章归类为：["kafka","分布式"]。 【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Producer 【Kafka-3.x-教程】-【三】Kafka-

原创 周杰伦 10个月前 阅读: 254 阅读时长: 9分钟

【mapreduce-Hadoop之MapReduce 详细教程】此文章归类为：["mapreduce","hadoop","分布式","大数据"]。 MapReduce仅作了解，生产上很少使用该计算程序 1、MapReduce介绍 MapReduce 思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务

原创 周杰伦 10个月前 阅读: 320 阅读时长: 9分钟

【spark-2023_Spark_实验三十：测试Flume到Kafka】此文章归类为：["spark","kafka","flume","分布式","大数据"]。 实验目的：测试Flume采集数据发送到Kafka 实验方法：通过centos7集群测试，将flume采集的数据放到kafka中 实验步骤： 一、 kafka可视化工具介绍 Kafka Tool

原创 周杰伦 11个月前 阅读: 212 阅读时长: 5分钟

【hive-大数据技术12：Hive简介及核心概念】此文章归类为：["hive","数据仓库","hadoop","大数据"]。 前言：2007年，编写Pig虽然比MapReduce编程简单，但是还是要学习。于是Facebook发布了Hive，支持使用SQL语法进行大数据计算，写个Select语句进行数据查询，Hive会将SQL语句转化成MapReduce计算程序。这样，熟悉数据库的数据分析师

原创 周杰伦 11个月前 阅读: 214 阅读时长: 9分钟

【apache-Apache Flume（4）：日志文件监控】此文章归类为：["apache","flume","数据库","大数据"]。 1 案例说明 企业中应用程序部署后会将日志写入到文件中，可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。 2 使用Exec Soucre Exec Source Exec Source通过指定命令监控文件的变

原创 周杰伦 11个月前 阅读: 255 阅读时长: 9分钟