活动
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Hadoop】HDFS+Shell实践（定时上传数据至HDFS）
这篇博客是一个结合HDFS的Shell练习，相对简单。现有需求：每天1:00需要从系统上传一份昨天的日志文件到HDFS，日志文件的格式为access_2023_01_01.log，HDFS目录格式为20230101。这个需求是
【Hadoop】HDFS高可用与高扩展原理分析（HA架构与Federation机制）
文章目录一、HDFS的高可用性（HA架构）二、HDFS的高扩展性（Federation机制）三、HA架构 + Federation机制 一、HDFS的高可用性（HA架构） 为保证HDFS的高可用性，即当NameNode节点机器
Java: Hadoop文件系统的读写操作
所需jar包路径：java代码实例备注： URI的端口号一定要和配置文件中的端口号一致问题：log4j:WARN Please initialize the log4j system properly可参考：log4j:WARN Ple
hadoop启动后 jps 查不到namenode的解决办法（日志报：ulimit -a for user root）
问题：hadoop启动后 jps 查不到namenode start-dfs.sh jps查不到 namenode , 查看日志，报了这个 错误，
11、hadoop环境下的Sequence File的读写与合并
文章目录Hadoop系列文章目录一、Sequence File的读写1、Sequence File的格式1）、未压缩格式2）、基于record压缩格式3）、基于block压缩格式2、Sequence File文件读写1）、pom.xml2
hadoop 的hdfsapi操作
hdfs 的api 相关操作一： hdfs api 操作1.1 读取内容：1.2 读取hdfs的数据1.3: 在hdfs上面的建立文件###1.4: put写入文件1.5 删除文件
hive的关系运算、逻辑预算、数学运算、数值运算、日期函数、条件函数和字符串函数的语法与使用示例详解
Apache Hive 系列文章1、apache-hive-3.1.2简介及部署（三种部署方式-内嵌模式、本地模式和远程模式）及验证详解2、hive相关概念详解--架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、
spark的JdbcRDD的源码修改--创建JdbcRDD时可以不加条件进行查询
在我们使用JdbcRDD时系统默认的参数如下：根据其注释的说明：由上上面的内容可以发现，JdbcRDD中的主构造函数中这几个参数是必不可少的，且没有辅助构造函数可以使用，于是我们在查询时就不得不输入上下界，即必须输入有查询条件的sql，然后
MapReduce 工作流介绍
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件
Apache hdfs日常操作
配置文件修改core-site.xml<configuration> <property>
3、zookeeper的选举----经验证符合事实，网上很多都是错误的
目录Zookeeper系列文章目录一、概念1、Zookeeper节点状态2、事务ID二、集群初始化选举1、每个Server发出一个投票2、 接受来自各个服务器的投票3、处理投票4、统计投票5、改变服务器状态三、集群重新选举1、变更状态2、
大数据中常见的文件存储格式以及hadoop中支持的压缩算法
大数据中常见的文件存储格式以及hadoop中支持的压缩算法
hadoop配置后无法通过主机名：50070访问，只能通过ip:50070访问
hadoop配置后无法通过主机名：50070访问，只能通过ip:50070访问
Hadoop（4）-Python借助pyhdfs对Hadoop的HDFS分布式文件系统的全部操作详细实例演示
Hadoop（4）-Python借助pyhdfs对Hadoop的HDFS分布式文件系统的全部操作详细实例演示
Hive连接时报错user:hadoop is not allowed to impersonate anonymous
Hive连接时报错user:hadoop is not allowed to impersonate anonymous
13、HDFS Snapshot快照
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件
12、HDFS Trash垃圾桶回收介绍与示例
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件
NiFi FileFlow示例和NIFI模板示例
文章目录Apache NiFi系列文章一、FlowFile生成器示例1、GenerateFlowFile解析1）、描述2）、属性配置3）、应用场景2、ReplaceText解析1）、描述2）、属性配置3）、应用场景3、示例1）、创建Gen
20、MapReduce 工作流介绍
文章目录Hadoop系列文章目录一、MapReduce 工作流介绍二、使用示例1、实现2、验证 本文介绍MapReduce 工作流。 本文前提：hadoop环境可用。一、MapReduce 工作流介绍多个MR作业，先后依次执行来计算得出
热门文章
从hadoop2.2，HBase0.96 mapreduce操作
2023-02-16 08:53:34
Apache hdfs日常操作
2023-07-04 07:10:17
SSH免密钥登录 ------Hadoop学习（2）
2023-04-21 03:11:35
日志抽取框架 flume 简介与安装配置
2023-05-15 10:01:56
hive 默认队列修改
2023-05-31 08:48:11
flinkcdc+hudi0.10+hive(自动同步分区+压缩)
2024-09-25 10:14:48
