hive 开启事务和DML

提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从Hive 0.13开始,加入了...

深入对比 HBase 与阿里云的表格存储服务

随着互联网时代的兴起,NoSQL 类型数据库正日渐成为大数据时代下分布式数据库领域的主力,分布式 NoSQL 数据库中最为著名的莫过于 HBase。谷歌的 Bigtable 于 2016 年推出了兼容 HBase 的接口,而作为国内最早推出...

hadoop HA 集群namenode无法自动切换为active

今天在学习HA自动化配置的时候,按照网上的教程去配置并启动HA即两台namenode后,看到一台为active模式,一台为standby模式,并且文件也可以正常写入。在做测试时,用 kill -9 端口号 杀死active的namenode...

HBase Rowkey 设计指南

文章目录 1 为什么Rowkey这么重要 1.1 RowKey 到底是什么 1.2 RowKey的作用 1.3 Rowkey对查询的影响 1.4 Row...

hadoop上安装hive2.3.2学习总结—hive安装+mysql以及碰到坑点

一、环境准备 hapdoop版本:基于hadoop2.8.1,本教程是基于hadoop2.8.1上安装的hive hive版本:apache-hive-2.3.2-bin.tar.gz 二、安装配置hive+mysql(远程模式) 1、...

Hive的内置服务和hiveserver/hiveserver2的比较

一:Hive的几种内置服务              执行bin/hive --service help &n...

beeline通过HiveServer2访问Hive的配置和操作

1. 前言 作为数据仓库的工具,hive提供了两种ETL运行方式,分别是通过Hive 命令行和beeline客户端; 命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果;相当于胖客户端模式,即客户机中需要安装J...

Hadoop、Hbase、Hive和zookeeper版本匹配关系

Hadoop平台中各个组件的版本匹配非常重要!不是所有组件都下载最新版本就好,版本不匹配和引发各种问题。 Hadoop和Hbase的匹配关系可以查看Hbase官方文档,搜索‘Hadoop version support matrix’...

Spark-Hadoop、Hive、Spark 之间是什么关系

大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或...

分布式集群管理与监控利器 - Minos

Minos简介 minos是小米内部实现并使用的一套分布式部署与监控系统,现在已经开源(https://github.com/XiaoMi/minos.git),主要用来管理并监控Hadoop、HBase以及Zookeeper集群等。在最...