emr - 标签 - 腾讯云开发者社区-腾讯云

腾讯云

开发者社区

文档意见反馈控制台

首页TVP

#emr

「EMR 开发指南」之 Oozie 作业调度

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

9天前2023-11-30 18:30:20

本文将使用oozie组件自带的例子，详细介绍如何在oozie workflow上提交一个MapReduce jar。本文以oozie 4.3.1版本为例。

9510

「EMR 开发指南」之 Kylin 存算分离方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

10天前2023-11-30 08:12:18

在大数据领域，数据量持续增长，数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题，Apache K...

21921

「EMR 运维指南」之 Kylin 迁移方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

11天前2023-11-28 19:07:25

24631

「EMR 开发指南」之 Kylin 快速构建 Cube

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

11天前2023-11-28 18:55:43

26010

「EMR 运维指南」之 Kerberos 跨域互信配置

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

15天前2023-11-24 16:53:46

在两个集群在emr-header-1节点上，执行 hostname 命令获取hostname。在emr-header-1节点的/etc/krb5.conf文件中...

18820

「EMR 运维指南」之 Kerberos 跨域认证方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

15天前2023-11-24 16:54:53

多个开启 kerberos 的 hadoop 集群之间要做通信（跨集群的数据迁移等），因为 Kerberos 原因无法正常进行，本文档说明了多 kerberos...

19140

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

19天前2023-11-20 16:06:49

HiveServer2 服务默认不启用鉴权功能，这样的话随意输入密码都能连接上，容易造成安全隐患，下面讲解下如何配置Hiveserver2 的 Custom 鉴...

22880

「EMR 运维指南」之 Impala 关联 Sentry + Hue

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

16天前2023-11-23 12:50:08

在EMR集群带公网master节点部署sentry服务，Impala的GROUP组需要在Impala server节点上进行创建系统组与之关联。

320111

搜狐智能媒体基于腾讯云大数据 EMR 的降本增效之路

腾讯QQ大数据 2023-08-142023-08-14 14:30:57

2022年，搜狐智能媒体完成了迁移腾讯云的弹性计算项目，其中大数据业务整体都迁移了腾讯云，上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果，达...

19740

自建大数据平台迁移腾讯云EMR最佳实践

腾讯QQ大数据 2023-07-262023-07-26 21:36:22

自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

20020

基于cos的hadoop KMS HA部署

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

2023-05-092023-05-09 11:22:51

hadoop 的 kms的元数据是保存在本地的，比如加密的请求打到A，元数据保存在A机器上，如果解密的请求打到B机器上，就会失败。为了解决这个问题，使用cos作...

37480

EMR 实战心得浅谈

深度学习与Python 2023-03-292023-03-29 16:46:31

作者｜吴建阳翁建清策划｜褚杏娟 AWS Elastic MapReduce(以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系...

1.3K10

hive 处理已经存在的小文件方案

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

2023-07-042023-07-04 15:31:19

归档，archive。Hive 具有内置支持，可将现有分区中的文件转换为 Hadoop 存档(HAR)，这样一个曾经由 100 个文件组成的分区只能占用约 3 ...

5.7K60

自建迁移EMR实践案例

腾讯云大数据 2023-03-272023-03-27 11:51:50

2.6K140

基于SSSD同步OpenLDAP账号

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

2023-02-062023-02-06 16:09:17

涉及组件版本为：hdfs-3.2.2,yarn-3.2.2,openldap-2.4.44,spark-3.2.2,krb5-1.15.1

80430

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场内容回顾！

腾讯云大数据 2023-01-182023-01-18 11:40:10

1月10日晚19：00，腾讯云大数据“数智话”技术沙龙第四期《EMR&StarRocks携手共建云端开源大数据生态》直播圆满落幕。本次沙龙围绕腾讯云大数据沉淀...

29350

StarRocks支持元数据加速桶配置（S3协议）

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

2023-01-162023-01-16 11:18:55

注，本次使用腾讯云EMR的?StarRocks-V1.1.0? ，starrocks-2.2.2

1.1K70

腾讯云官方课：EMR数仓全套教程重磅首发

腾讯云开发者 2023-01-092023-01-09 12:40:35

这几天把跨年搞的和人生分水岭似的? 2023年的你有什么不一样了吗？是不是还和去年一样的造型？新姿（知）势（识），学起来腾讯云开发者社区带着干货来了腾讯...

85530

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场，报名中！

腾讯云大数据 2023-01-062023-01-06 11:40:15

1月10日晚19：00，腾讯云大数据“数智话”技术沙龙第四期《EMR&StarRocks携手共建云端开源大数据生态》准时开启线上直播。本次沙龙围绕腾讯云大数据...

34650

hive 分区表添加字段后，字段结果为null

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

2022-12-122022-12-12 21:30:19

由于业务需要，添加了在hive原来的表上增加了新字段（alter table partition_test add columns(ads string); ）...

1.7K20

#emr

「EMR 开发指南」之 Oozie 作业调度

「EMR 开发指南」之 Kylin 存算分离方案

「EMR 运维指南」之 Kylin 迁移方案

「EMR 开发指南」之 Kylin 快速构建 Cube

「EMR 运维指南」之 Kerberos 跨域互信配置

「EMR 运维指南」之 Kerberos 跨域认证方案

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

「EMR 运维指南」之 Impala 关联 Sentry + Hue

搜狐智能媒体基于腾讯云大数据 EMR 的降本增效之路

自建大数据平台迁移腾讯云EMR最佳实践

基于cos的hadoop KMS HA部署

EMR 实战心得浅谈

hive 处理已经存在的小文件方案

自建迁移EMR实践案例

基于SSSD同步OpenLDAP账号

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场内容回顾！

StarRocks支持元数据加速桶配置（S3协议）

腾讯云官方课：EMR数仓全套教程重磅首发

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场，报名中！

hive 分区表添加字段后，字段结果为null

热门专栏

大数据生态

腾讯云大数据与AI专家服务

腾讯云大数据

生物信息与临床医学专栏

深度学习与python

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

#emr

「EMR 开发指南」之 Oozie 作业调度

「EMR 开发指南」之 Kylin 存算分离方案

「EMR 运维指南」之 Kylin 迁移方案

「EMR 开发指南」之 Kylin 快速构建 Cube

「EMR 运维指南」之 Kerberos 跨域互信配置

「EMR 运维指南」之 Kerberos 跨域认证方案

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

「EMR 运维指南」之 Impala 关联 Sentry + Hue

搜狐智能媒体基于腾讯云大数据 EMR 的降本增效之路

自建大数据平台迁移腾讯云EMR最佳实践

基于cos的hadoop KMS HA部署

EMR 实战心得浅谈

hive 处理已经存在的小文件方案

自建迁移EMR实践案例

基于SSSD同步OpenLDAP账号

“数智话”技术沙龙 第四期 | 弹性MapReduce（EMR）专场内容回顾！

StarRocks支持元数据加速桶配置（S3协议）

腾讯云官方课：EMR数仓全套教程重磅首发

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场，报名中！

hive 分区表添加字段后，字段结果为null

大数据生态

腾讯云大数据与AI专家服务

腾讯云大数据

生物信息与临床医学专栏

深度学习与python

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

“数智话”技术沙龙第四期 | 弹性MapReduce（EMR）专场内容回顾！