首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#emr

MNode大揭秘!腾讯云EMR如何实现免运维与计算成本降本超30%

腾讯QQ大数据

当前腾讯云 EMR 集群主要采用 HOST 资源部署, HOST 具备按需使用、易于部署与维护、高度灵活性以及企业自主性强等优势。然而,这要求企业运维人员具备熟...

10610

腾讯云EMR智能洞察:让大数据应用分析更“Easy”

腾讯QQ大数据

随着企业数据规模的不断增长,人工方式分析大数据平台的计算任务、存储和调度性能已经无法满足业务要求。面对每天数以万计的计算任务和海量的存储数据,传统人工分析不仅会...

18610

「EMR 开发指南」之 Hue 配置工作流

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。

18821

【每日精选时刻】一个 url 就把人家网站克隆了?入行15年,我还是觉得编程很难;快速部署FastGPT私人助理

社区好文捕手-煎饼狗子

腾讯 | 内容运营 (已认证)

大家吼,我是你们的朋友煎饼狗子——喜欢在社区发掘有趣的作品和作者。【每日精选时刻】是我为大家精心打造的栏目,在这里,你可以看到煎饼为你携回的来自社区各领域的新鲜...

65972

「EMR 开发指南」之 Oozie 作业调度

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

本文将使用oozie组件自带的例子,详细介绍如何在oozie workflow上提交一个MapReduce jar。 本文以oozie 4.3.1版本为例。

17620

「EMR 开发指南」之 Kylin 存算分离方案

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache K...

37121

「EMR 运维指南」之 Kylin 迁移方案

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache K...

45631

「EMR 开发指南」之 Kylin 快速构建 Cube

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache K...

36110

「EMR 运维指南」之 Kerberos 跨域互信配置

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

在两个集群在emr-header-1节点上,执行 hostname 命令获取hostname。在emr-header-1节点的/etc/krb5.conf文件中...

67830

「EMR 运维指南」之 Kerberos 跨域认证方案

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

多个开启 kerberos 的 hadoop 集群之间要做通信(跨集群的数据迁移等),因为 Kerberos 原因无法正常进行,本文档说明了多 kerberos...

53040

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

HiveServer2 服务默认不启用鉴权功能,这样的话随意输入密码都能连接上,容易造成安全隐患,下面讲解下如何配置Hiveserver2 的 Custom 鉴...

52580

「EMR 运维指南」之 Impala 关联 Sentry + Hue

岳涛

腾讯 | 大数据SRE研发工程师 (已认证)

在EMR集群带公网master节点部署sentry服务,Impala的GROUP组需要在Impala server节点上进行创建系统组与之关联。

597111

搜狐智能媒体基于腾讯云大数据 EMR 的降本增效之路

腾讯QQ大数据

2022年,搜狐智能媒体完成了迁移腾讯云的弹性计算项目,其中大数据业务整体都迁移了腾讯云,上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果,达...

41450

自建大数据平台迁移腾讯云EMR最佳实践

腾讯QQ大数据

自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

45620

基于cos的hadoop KMS HA部署

王旭平

腾讯科技有限公司 | 产品架构工程师 (已认证)

hadoop 的 kms的元数据是保存在本地的,比如加密的请求打到A,元数据保存在A机器上,如果解密的请求打到B机器上,就会失败。为了解决这个问题,使用cos作...

71281

EMR 实战心得浅谈

深度学习与Python

作者|吴建阳 翁建清 策划|褚杏娟 AWS Elastic MapReduce(以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系...

2.2K10

hive 处理已经存在的小文件方案

王旭平

腾讯科技有限公司 | 产品架构工程师 (已认证)

归档,archive。Hive 具有内置支持,可将现有分区中的文件转换为 Hadoop 存档(HAR),这样一个曾经由 100 个文件组成的分区只能占用约 3 ...

8.7K60

自建迁移EMR实践案例

腾讯云大数据

自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

3.7K140

基于SSSD同步OpenLDAP账号

王旭平

腾讯科技有限公司 | 产品架构工程师 (已认证)

涉及组件版本为:hdfs-3.2.2,yarn-3.2.2,openldap-2.4.44,spark-3.2.2,krb5-1.15.1

1.7K30

“数智话”技术沙龙 第四期 | 弹性MapReduce(EMR)专场内容回顾!

腾讯云大数据

1月10日晚19:00,腾讯云大数据“数智话”技术沙龙 第四期《EMR&StarRocks携手共建云端开源大数据生态》直播圆满落幕。本次沙龙围绕腾讯云大数据沉淀...

35750
领券
http://www.vxiaotou.com