首页
学习
活动
专区
工具
TVP
发布

#hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

使用 docker compose 搭建 hadoop集群 总结

TomoriNao

-- 学习了 docker 之后实践机会较少,通过本次实践练习 dockerfile 的编写,docker compose 的使用,以及一些 linux 命令的...

11711

「EMR 开发指南」之 Kylin 存算分离方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache K...

21921

「EMR 运维指南」之 Kylin 迁移方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache K...

24631

「EMR 运维指南」之 Kerberos 跨域互信配置

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

本文以Cluster-A跨域去访问Cluster-B中的服务为例。配置完成后,Cluster-A在获取到本集群KDC授予的TGT(Ticket Granting...

18820

「EMR 运维指南」之 Kerberos 跨域认证方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

多个开启 kerberos 的 hadoop 集群之间要做通信(跨集群的数据迁移等),因为 Kerberos 原因无法正常进行,本文档说明了多 kerberos...

19140

「EMR 开发指南」之通过 Python 连接 Hive

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveSe...

20551

「EMR 开发指南」之通过 Java 连接 Hivesever2

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveSe...

348121

Hive 跨文件系统存储数据

蕾崽

Hive指定表的存储路径: hive可以在创建表的时候通过location指定表的存储路径,若不指定localtion则文件默认存储在hive-site.xml...

16990

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

HiveServer2 服务默认不启用鉴权功能,这样的话随意输入密码都能连接上,容易造成安全隐患,下面讲解下如何配置Hiveserver2 的 Custom 鉴...

22880

hadoop-3.1.3 cluster setup on linux

esse LL

and then 4 xml files: core, hdfs, mapreduce, yarn

34970

[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

Maynor

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveT...

30620

hadoop使用简介

sofu456

hadoop源码地址:https://gitee.com/CHNnoodle/hadoop.git git clone错误:

8440

0基础学习PyFlink——模拟Hadoop流程

方亮

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多,只要理解其大体流程,然后用python代码模拟主要流程来熟悉其思想。

7530

hadoop记录 - 乐享诚美

司夜

腾讯 · 后端开发 (已认证)

您可以使用 单独停止 NameNode 。 /sbin /hadoop-daemon.sh 停止 namenode命令,然后使用. /sbin/hadoop-...

13030

Hadoop

挽风

??hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves

10510

23 Jul 2018 centos安装hadoop

俊采

如果系统没有安装java,下载相应java版本进行安装,然后设置java相关环境变量即可。

12030

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

chimchim

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.T...

20950

Hadoop和spark基础使用

栖西

map的输入固定是LongWritable和Text,可理解为偏移量和String类型的数据。 核心:map的输出的key和value是reduce的输入的k...

16950

CentOS7下Hadoop伪分布式环境搭建

w4ngzhen

本次试验环境在CentOS7下,所以我们编辑/etc/hostname文件,试验hostname为:hadoop.w4ng,填入其中,重启Linux,可以看到已...

18120

大数据存储与处理技术探索:Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

上进小菜猪

大数据时代带来了数据规模的爆炸性增长,对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术:Hadoop HDFS和Amazon...

24120
领券
http://www.vxiaotou.com