活动
第11章 hive常见错误及解决方案
第11章 hive常见错误及解决方案
CDH常用优化配置
1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.
数栈技术分享：带你详解数栈FlinkX实时采集原理与使用
一、FlinkX实时采集功能的基本介绍 首先为大家介绍下FlinkX实时模块的分类，如下图所示： 1、实时采集模块(CDC) 1）MySQL Binlog插件 利用阿里开源的Canal组件实时从MySQL中捕获变更数据。 2）Postgr
hive 搭建数据仓库
Beeline连接 !connect jdbc:hive2://ip:port 用户名 hive 密码 hive有的创建的hive数据库可能存在乱码的现象，故本次一并解决。1.修改Mysql中的hive表相关配置修改表字段注解和表注解修改分
有关hive表占用磁盘空间大小的研究
---有关hive表占用磁盘空间大小的研究-----不加【distribute by uuid sort by uuid,servAddtime】-----16.7 Ginsert overwrite table tmp_ods_sony_
Impala自动同步Hive元数据
目 录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 非生产环境测试结果 42.1 impala参数调整前测试
如何使用Hive合并小文件
目前集群存于一个非常不健康的状态，主要问题是小文件太多，单个DataNode的block数量阈值是500,000，而现在单个DataNode的block为2,631,218，约为阈值的5倍，现在所有DataNode都处于黄色不健康状态。 小
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是Map
hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案
Client '1c5c0ae6-d56d-47b3-ae5a-d85fd941b14e_0' timed out waiting for connection from the Remote Spark Driver报
hive on spark参数调整
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项
记录一次hive on saprk执行报错处理的过程
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，
将oracle的csv文件转化为hive的表结构
导出的oracle的数据表结构csv文件python处理代码
第4章 DDL数据定义
创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment]
sqoop 从hive导入mysql 出现：ERROR tool.BaseSqoopTool: Error parsing arguments for export:（问题解决）
sqoop 从hive导入mysql 出现：ERROR tool.BaseSqoopTool: Error parsing arguments for export:（问题解决）
golang读取网络字节并解压zip
前言有些情况我们是不需要写入磁盘，处理完直接释放。
hive 默认队列修改
目录 一、Ambari 修改hive 默认的任务执行队列 1、Ambari 修改hive 配置项 2、Ambari 修改tez 配置项 3、执行h
如何使用StreamSets从MySQL增量更新数据到Hive
如何使用StreamSets从MySQL增量更新数据到Hive标签（空格分隔）： 大数据平台构建一： 编写目的二： 平台所用版本介绍三： 配置步骤四： 测试应用一： 编写目的二： 平台所使用版本三：配置步骤3.1 创建 Pipelines3
hive 表的常用操作
使用load 方式加载数据到Hive 表中，注意分区表加载数据的特殊性如何保存HiveQL 查询结果：保存到表中，保存到本地文件（注意指定列分隔符）常见查询练习，如group by、having、join、sort by、order by
hive 的功能和架构
Hive 能做什么，与mapreduce 相比优势在哪里（相对于开发）为什么说Hive 是Hadoop 的数据仓库，从【数据存储和分析】 方面理解Hive 架构，分为三个部门来理解，画图理解1.Hive 能做什么，与mapreduce 相比
hive2.1.1的安装与配置
1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装一： hive 的简介1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装
热门文章
如何使用Hive合并小文件
2023-06-14 09:13:23
hive视图操作
2023-04-25 10:21:36
【iOS越狱开发】如何将应用打包成.ipa文件
2023-05-10 06:00:56
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
2023-06-14 09:13:14
第4章 DDL数据定义
2023-06-14 09:05:39
hive 默认队列修改
2023-05-31 08:48:11
