`

hiveSQL执行详细流程

阅读更多

1、提交sql  交给驱动

2、驱动编译解析相关的字段表信息

3、去metastore查询相关的信息返回字段表信息

4、编译返回信息 发给驱动

5、驱动发送一个执行计划交给执行引擎

6.1、DDLs 对数据库表的操作的直接和metastore交互

create table t1(name string);

6.1、把job交给job tracker 让task tracker执行 返回执行信息

6.2、完成job返回数据信息、找namenode查数据

6.3、namenode交互

select count(1) from t1;

6.1、dfs ops 直接和直接去数据

select * from t1;

7、返回结果信息集

分享到:
评论

相关推荐

    HiveSQL的编译过程

    1、Hive是基于Hadoop的一个数据仓库系统,在...对这一过程的理解不仅帮助我们解决了一些Hive的bug,也有利于我们优化HiveSQL,提升我们对Hive的掌控力,同时有能力去定制一些需要的功能。详细讲解SQL编译为MapReduce之

    大数据开发Spar、Hive入门

    它提供了具体的SQL示例,如创建用户表、加载CSV文件数据、执行各种查询操作(如筛选、统计、分组等),并指出了在实际操作中需要注意的事项,如确保Hive服务启动、连接Hive客户端、修改路径和文件名,以及根据权限和...

    ibis:类似熊猫的延迟表达式系统,具有一流SQL支持

    conda套餐 聚酰亚胺 蔚蓝 覆盖范围 Ibis是一个工具箱,可弥补本地Python环境,远程存储,Hadoop组件(HDFS,Impala,Hive,Spark)和SQL数据库等执行系统之间的差距。 其目标是简化分析工作流程并提高您的生产率。 ...

    大数据之运维.pptx

    Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型,Hive 将用户的HiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。Hive 并非为...

    SparkSQL源码分析之核心流程

    自从去年SparkSubmit2013MichaelArmbrust分享了他的Catalyst,到至今1...前一段时间测试过Shark,并且对SparkSQL也进行了一些测试,但是还是忍不住对SparkSQL一探究竟,就从源代码的角度来看一下SparkSQL的核心执行流程

    Spark Core 笔记02

    目录1.WordCountWordCount 执行流程详解2.统计最受欢迎老师topN1. 方法一:普通方法,不设置分组/分区2. 方法二:设置分组和过滤器3. 方法三:自定义分区器3.根据IP计算归属地 1.WordCount Spark Core入门案例。 //...

    基于Spark+Hive实现用户画像分析系统(含价值度、忠诚度、流失预警、活跃度等分析模型).zip

    通过学习Spark,我了解了其基本概念和核心组件,如RDD(弹性分布式数据集)、Spark SQL、Spark Streaming和MLlib等。我学会了使用Spark编写分布式的数据处理程序,并通过调优技巧提高了程序的性能。在实践过程中,我...

    Spark分布式内存计算框架视频教程

    知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。 课程亮点 1,知识体系完备,阶段学习者都能学有所获。 2,...

    MLSQL编译时权限控制示例详解

    前言 关于mysql的权限简单的理解就是mysql允许你做你全力以内的事情,不可以越界。... 这看起来似乎就是麻烦点,但是在实际操作中,基本是很难执行的,不同的数据源在不同的团队里面,那么整个申请流程可能要天

    云计算第二版

    11.1.2 使用流程 334 11.1.3 体系结构 335 11.1.4 实现技术 335 11.1.5 核心业务 336 11.2 主流开源云计算系统比较 338 11.2.1 开发目的 338 11.2.2 体系结构 339 11.2.3 实现技术 340 11.2.4 核心服务 340 11.3 ...

    大数据架构师的岗位职责.docx

    3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等); 4、了解传统的BI/DW 理论,能结合传统BI***实践设计大数据平台; 5、熟悉...

Global site tag (gtag.js) - Google Analytics