首页
学习
活动
专区
工具
TVP
发布
首页标签弹性 MapReduce

#弹性 MapReduce

安全、灵活的云端托管 Hadoop 服务

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

HiveServer2 服务默认不启用鉴权功能,这样的话随意输入密码都能连接上,容易造成安全隐患,下面讲解下如何配置Hiveserver2 的 Custom 鉴...

22880

「EMR 运维指南」之 Impala 关联 Sentry + Hue

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

在EMR集群带公网master节点部署sentry服务,Impala的GROUP组需要在Impala server节点上进行创建系统组与之关联。

320111

【大数据】产品文档捉虫活动

腾讯云文档

为了提升广大用户的文档的使用体验,现推出【大数据】产品文档定向捉虫活动。邀请大家对指定产品文档进行体验,反馈文档问题就有机会获得腾讯云电子代金券、京东储值卡和神...

16510

自建迁移EMR实践案例

腾讯云大数据

自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

2.6K140

Spark SQL报错:org.apache.spark.sql.catalyst.errors.package$TreeNodeException 排查记录

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

在EMR集群上按小时跑的spark sql 任务有时会失败,在driver端的日志中可以看到报错: org.apache.spark.sql.catalyst....

1.9K140

腾讯云大数据技术介绍-数据查询弹性 MapReduce

jerryteng

上一节我们讲到了大数据的存储 : /developer/article/1878422

1.2K50

高吞吐实时事务数仓方案调研 flink kudu+impala hbase等

大鹅

商汤 · 算法 (已认证)

腾讯云数据仓库PostgreSql TDSQL,PingCAP的TiDB,阿里的OceanBase,华为云DWS,都是HTAP的业内常用数仓,可以一站式解决需求...

3.3K84

Oceanus Kudu Sink总结

spiderwu

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为flink写入Kudu实践中的总结。分享给大家~

89430

通过数据组织优化加速基于Apache Iceberg的大规模数据分析

鱼跟猫

数据湖(Data lake)是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算,以避免为了多种计算场景而导致数据...

2.1K140

腾讯云EMR基于YARN针对云原生容器化的优化与实践

腾讯云大数据

导语 |?传统HADOOP生态系统使用YARN管理/调度计算资源,该系统?般具有明显的资源使?周期。实时计算集群资源消耗主要在?天,而数据报表型业务则安排在离线...

1.6K50

【全网最新】如何在本地IDE Run起OpenTSDB源码

garyhwang

有需求了解一下Opentsdb的源码,然后想着能在本地run起来,打些断点和日志来跟一下,然后兴致勃勃去网上找了资料看看能否快速run起来,但是发现所有的博客、...

88960

HBASE BufferedMutator 批量写入使用举例与源码解析

大鹅

商汤 · 算法 (已认证)

BufferedMutator主要用来异步批量的将数据写入一个hbase表,就像Htable一样。通过Connection获取一个实例。

1.8K50

基于Sentry的大数据权限解决方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户...

1.2K210

基于Kerberos+Ldap复合认证的大数据权限

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

关于Kerberos与Ldap两个方案,此处就不再赘述,分别参考我的另外两篇文章:

1.9K220

基于Kerberos认证的大数据权限解决方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Kerberos是由麻省理工(MIT)开发,对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想,其名字也很形象,来源于希腊神话地狱三个脑...

2.1K200

Hive全库数据迁移方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

4.1K211

Impala-查询调优:join 优化

shifeng

本篇章继续Impala查询机制相关的探索和学习,本篇主要讲解join优化器的优化原理和思路。

2.6K30

基于Alluxio优化大数据计算存储分离架构的最佳实践

腾讯云大数据

近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的...

1.5K50

秒级去重:ClickHouse在腾讯海量游戏营销活动分析中的应用

腾讯云大数据

导语 |?腾讯内部每日都需要对海量的游戏营销活动数据做效果分析,而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星,在去重服务...

1.4K50

存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

腾讯云大数据

腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务,支持 Spark、Hbase、Presto、Flink、Dru...

1.3K41
领券
http://www.vxiaotou.com