hadoop

腾讯云

开发者社区

文档意见反馈控制台

首页TVP

#hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

使用 docker compose 搭建 hadoop集群总结

TomoriNao 7天前2023-12-02 20:47:15

-- 学习了 docker 之后实践机会较少，通过本次实践练习 dockerfile 的编写，docker compose 的使用，以及一些 linux 命令的...

11711

「EMR 开发指南」之 Kylin 存算分离方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

9天前2023-11-30 08:12:18

在大数据领域，数据量持续增长，数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题，Apache K...

21921

「EMR 运维指南」之 Kylin 迁移方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

11天前2023-11-28 19:07:25

24631

「EMR 运维指南」之 Kerberos 跨域互信配置

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

15天前2023-11-24 16:53:46

本文以Cluster-A跨域去访问Cluster-B中的服务为例。配置完成后，Cluster-A在获取到本集群KDC授予的TGT（Ticket Granting...

18820

「EMR 运维指南」之 Kerberos 跨域认证方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

15天前2023-11-24 16:54:53

多个开启 kerberos 的 hadoop 集群之间要做通信（跨集群的数据迁移等），因为 Kerberos 原因无法正常进行，本文档说明了多 kerberos...

19140

「EMR 开发指南」之通过 Python 连接 Hive

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

17天前2023-11-22 11:24:38

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveSe...

20551

「EMR 开发指南」之通过 Java 连接 Hivesever2

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

18天前2023-11-21 14:33:22

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveSe...

348121

Hive 跨文件系统存储数据

蕾崽 19天前2023-11-20 15:41:16

Hive指定表的存储路径： hive可以在创建表的时候通过location指定表的存储路径，若不指定localtion则文件默认存储在hive-site.xml...

16990

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

19天前2023-11-20 16:06:49

HiveServer2 服务默认不启用鉴权功能，这样的话随意输入密码都能连接上，容易造成安全隐患，下面讲解下如何配置Hiveserver2 的 Custom 鉴...

22880

hadoop-3.1.3 cluster setup on linux

esse LL 2023-11-042023-11-04 19:52:01

and then 4 xml files: core, hdfs, mapreduce, yarn

34970

[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

Maynor 2023-11-022023-11-02 13:02:03

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveT...

30620

hadoop使用简介

sofu456 2023-10-292023-10-29 14:35:49

hadoop源码地址：https://gitee.com/CHNnoodle/hadoop.git git clone错误：

8440

0基础学习PyFlink——模拟Hadoop流程

方亮 2023-10-232023-10-23 11:43:34

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多，只要理解其大体流程，然后用python代码模拟主要流程来熟悉其思想。

7530

hadoop记录 - 乐享诚美

司夜

腾讯 · 后端开发 (已认证)

2023-10-182023-10-18 10:39:29

您可以使用单独停止 NameNode 。 /sbin /hadoop-daemon.sh 停止 namenode命令，然后使用. /sbin/hadoop-...

13030

挽风 2023-10-172023-10-17 15:43:08

??hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves

10510

23 Jul 2018 centos安装hadoop

俊采 2023-10-172023-10-17 10:51:08

如果系统没有安装java，下载相应java版本进行安装，然后设置java相关环境变量即可。

12030

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

chimchim 2023-10-172023-10-17 08:58:46

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.T...

20950

Hadoop和spark基础使用

栖西 2023-10-172023-10-17 08:20:13

map的输入固定是LongWritable和Text，可理解为偏移量和String类型的数据。核心：map的输出的key和value是reduce的输入的k...

16950

CentOS7下Hadoop伪分布式环境搭建

w4ngzhen 2023-10-162023-10-16 21:42:50

本次试验环境在CentOS7下，所以我们编辑/etc/hostname文件，试验hostname为：hadoop.w4ng，填入其中，重启Linux，可以看到已...

18120

大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

上进小菜猪 2023-10-162023-10-16 19:07:57

大数据时代带来了数据规模的爆炸性增长，对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术：Hadoop HDFS和Amazon...

24120

#hadoop

使用 docker compose 搭建 hadoop集群总结

「EMR 开发指南」之 Kylin 存算分离方案

「EMR 运维指南」之 Kylin 迁移方案

「EMR 运维指南」之 Kerberos 跨域互信配置

「EMR 运维指南」之 Kerberos 跨域认证方案

「EMR 开发指南」之通过 Python 连接 Hive

「EMR 开发指南」之通过 Java 连接 Hivesever2

Hive 跨文件系统存储数据

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

hadoop-3.1.3 cluster setup on linux

[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

hadoop使用简介

0基础学习PyFlink——模拟Hadoop流程

hadoop记录 - 乐享诚美

Hadoop

23 Jul 2018 centos安装hadoop

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

Hadoop和spark基础使用

CentOS7下Hadoop伪分布式环境搭建

大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

热门专栏

开源部署

全栈程序员必看

Hadoop实操

大数据成长之路

PPV课数据科学社区

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

#hadoop

使用 docker compose 搭建 hadoop集群 总结

「EMR 开发指南」之 Kylin 存算分离方案

「EMR 运维指南」之 Kylin 迁移方案

「EMR 运维指南」之 Kerberos 跨域互信配置

「EMR 运维指南」之 Kerberos 跨域认证方案

「EMR 开发指南」之通过 Python 连接 Hive

「EMR 开发指南」之通过 Java 连接 Hivesever2

Hive 跨文件系统存储数据

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

hadoop-3.1.3 cluster setup on linux

[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

hadoop使用简介

0基础学习PyFlink——模拟Hadoop流程

hadoop记录 - 乐享诚美

Hadoop

23 Jul 2018 centos安装hadoop

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

Hadoop和spark基础使用

CentOS7下Hadoop伪分布式环境搭建

大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

开源部署

全栈程序员必看

Hadoop实操

大数据成长之路

PPV课数据科学社区

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

使用 docker compose 搭建 hadoop集群总结