1、sql语句的模块解析
当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：
当我们写sql时，如上图所示，在进行逻辑解析时会把sql分成三个部分，project，datasource，filter模块，当生成执行部分时又把他们称为:result模块、
datasource模块和opertion模块。
那么在关系数据库中，当我们写完一个查询语句进行执行时，发生的过程如下图所示：
整个执行流程是：query -> parse -> bind -> optimize -> execute
1、写完sql查询语句，sql的查询引擎首先把我们的查询语句进行解析，也就是parse过程，解析的过程是把我们写的查询语句进行分割，把project，datasource和filter三个部分解析出来从而形成一个逻辑解析tree，在解析的过程中还会检查我们的sql语法是否有错误，比如缺少指标字段、数据库中不包含这张数据表等。当发现有错误时立即停止解析，并报错。当顺利完成解析时，会进入到bind过程。
2、bind过程，通过单词我们可看出，这个过程是一个绑定的过程。为什么需要绑定过程？这个问题需要我们从软件实现的角度去思考，如果让我们来实现这个sql查询引擎，我们应该怎么做？他们采用的策略是首先把sql查询语句分割，分割不同的部分，再进行解析从而形成逻辑解析tree，然后需要知道我们需要取数据的数据表在哪里，需要哪些字段，执行什么逻辑，这些都保存在数据库的数据字典中，因此bind过程，其实就是把parse过程后形成的逻辑解析tree，与数据库的数据字典绑定的过程。绑定后会形成一个执行tree，从而让程序知道表在哪里，需要什么字段等等
3、完成了bind过程后，数据库查询引擎会提供几个查询执行计划，并且给出了查询执行计划的一些统计信息，既然提供了几个执行计划，那么有比较就有优劣，数据库会根据这些执行计划的统计信息选择一个最优的执行计划，因此这个过程是optimize(优化)过程。
4、选择了一个最优的执行计划，那么就剩下最后一步执行execute,最后执行的过程和我们解析的过程是不一样的，当我们知道执行的顺序，对我们以后写sql以及优化都是有很大的帮助的.执行查询后，他是先执行where部分，然后找到数据源之数据表，最后生成select的部分，我们的最终结果。执行的顺序是：operation->datasource->result
虽然以上部分对sparksql没有什么联系，但是知道这些，对我们理解sparksql还是很有帮助的。
2、sparksql框架的架构
要想对这个框架有一个清晰的认识，首先我们要弄清楚，我们为什么需要sparksql呢？个人建议一般情况下在写sql能够直接解决的问题就不要使用sparksql，如果想刻意使用sparksql，也不一定能够加快开发的进程。使用sparksql是为了解决一般用sql不能解决的复杂逻辑，使用编程语言的优势来解决问题。我们使用sparksql一般的流程如下图：
如上图所示，一般情况下分为两个部分：a、把数据读入到sparksql中，sparksql进行数据处理或者算法实现，然后再把处理后的数据输出到相应的输出源中。
1、同样我们也是从如果让我们开发，我们应该怎么做，需要考虑什么问题来思考这个问题。
a、第一个问题是，数据源有几个，我们可能从哪些数据源读取数据？现在sparksql支持很多的数据源，比如：hive数据仓库、json文件，.txt，以及orc文件，同时现在还支持jdbc从关系数据库中取数据。功能很强大。
b、还一个需要思考的问题是数据类型怎么映射啊？我们知道当我们从一个数据库表中读入数据时，我们定义的表结构的字段的类型和编程语言比如scala中的数据类型映射关系是怎样的一种映射关系？在sparksql中有一种来解决这个问题的方法，来实现数据表中的字段类型到编程语言数据类型的映射关系。这个以后详细介绍，先了解有这个问题就行。
c、数据有了，那么在sparksql中我们应该怎么组织这些数据，需要什么样的数据结构呢，同时我们对这些数据都可以进行什么样的操作？sparksql采用的是dataframe数据结构来组织读入到sparksql中的数据，dataframe数据结构其实和数据库的表结构差不多，数据是按照行来进行存储，同是还有一个schema，就相当于数据库的表结构，记录着每一行数据属于哪个字段。
d、当数据处理完以后，我们需要把数据放入到什么地方，并切以什么样的格式进行对应，这个a和b要解决的问题是相同的。
2、sparksql对于以上问题的实现逻辑也很明确，从上图已经很清楚，主要分为两个阶段，每个阶段都对应一个具体的类来实现。
a、 对于第一个阶段，sparksql中存在两个类来解决这些问题：hivecontext，sqlcontext，同时hivecontext继承了sqlcontext的所有方法，同时又对其进行了扩展。因为我们知道， hive和mysql的查询还是有一定的差别的。hivecontext只是用来处理从hive数据仓库中读入数据的操作，sqlcontext可以处理sparksql能够支持的剩下的所有的数据源。这两个类处理的粒度是限制在对数据的读写上，同时对表级别的操作上，比如，读入数据、缓存表、释放缓存表表、注册表、删除注册的表、返回表的结构等的操作。
b、sparksql处理读入的数据，采用的是dataframe中提供的方法。因为当我们把数据读入到sparksql中，这个数据就是dataframe类型的。同时数据都是按照row进行存储的。其中 dataframe中提供了很多有用的方法。以后会细说。
c、在spark1.6版本以后，又增加了一个类似于dataframe的数据结构dataset，增加此数据结构的目的是dataframe有软肋，他只能处理按照row进行存储的数据，并且只能使用dataframe中提供的方法，我们只能使用一部分rdd提供的操作。实现dataset的目的就是让我们能够像操作rdd一样来操作sparksql中的数据。
d、其中还有一些其他的类，但是现在在sparksql中最主要的就是上面的三个类，其他类以后碰到了会慢慢想清楚。
3、sparksql的hivecontext和sqlcontext的运行原理
hivecontext和sqlcontext与我第一部分讲到的sql语句的模块解析实现的原理其实是一样的，采用了同样的逻辑过程，并且网上有好多讲这一块的，就直接粘贴复制啦！！
sqlcontext总的一个过程如下图所示：
1.sql语句经过sqlparse解析成unresolvedlogicalplan；
2.使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedlogicalplan；
3.使用optimizer对resolvedlogicalplan进行优化，生成optimizedlogicalplan；
4.使用sparkplan将logicalplan转换成physicalplan；
5.使用prepareforexecution()将physicalplan转换成可执行物理计划；
6.使用execute()执行可执行物理计划；
7.生成schemardd。
在整个运行过程中涉及到多个sparksql的组件，如sqlparse、analyzer、optimizer、sparkplan等等
hivecontext总的一个过程如下图所示：
1.sql语句经过hiveql.parsesql解析成unresolved logicalplan，在这个解析过程中对hiveql语句使用getast()获取ast树，然后再进行解析；
2.使用analyzer结合数据hive、源数据metastore（新的catalog）进行绑定，生成resolved logicalplan；
3.使用optimizer对resolved logicalplan进行优化，生成optimized logicalplan，优化前使用了extractpythonudfs(catalog.preinsertioncasts(catalog.createtables(analyzed)))进行预处理；
4.使用hiveplanner将logicalplan转换成physicalplan；
5.使用prepareforexecution()将physicalplan转换成可执行物理计划；
6.使用execute()执行可执行物理计划；
7.执行后，使用map(_.copy)将结果导入schemardd。
到此这篇关于spark sql的整体实现逻辑的文章就介绍到这了,更多相关spark sql实现逻辑内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！