spark sql如何设置hive参数
集群a上的spark能连接集群b上面的hbase吗？
集群a上的spark能连接集群b上面的hbase吗？
Spark SQL就是shark ，也就是SQL on Spark。如果没记错的话，shark的开发利用了hive的API，所以支持读取HBase。而且Spark的数据类型兼容范围大于Hadoop，并且包含了Hadoop所支持的任何数据类型。
hiveonspark和sparkonhive区别？
1、Sparkon Hive
数据源是：hive，Spark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。
spark on hive 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.
*（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息
* （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据
* （3）接下来就可以通过spark sql来操作hive表中的数据
2、Hive on Spark
（数据源是hive本身）Hive 将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时底层以经不是将HQL转换为MapReduce任务，而是跑的Spark任务（即：将HQL转换为Spark任务）。
hive on spark是hive 等的执行引擎变成spark , 不再是mapreduce.
学Python发展如何？零基础如何入门？
学python最重要是有自制力。有自制力的人发展不会很差。
至于入门，网上有很多相应的教程，我当初自学是看哔哩哔哩上python入门教程，600多集的，自己感觉有一点弹幕学真的会更认真。可以先往下看了解到底要往哪方面发展，定了这个后才能说怎么入门。
自学python首先要找到自己的学习目的
我的学习目的特明确，SEO相关的有用的我都学。题主并没有提到以后要涉及的职业发展，那就先介绍一下。大家都是为了学完Python找到工作，但实际上领域不一样，如今学习Python的重点不一样。题主想要知道重点学什么，那要看的是你以后做什么。
看图：
从上图可知python找工作有很多的路径。实际上把这样的路径简化一下可以得到下图。这里有一个重点在于，下图当中的每个发展方向下面有一个对应路线图的一二三四这样的数字。
重点学习内容标注并合适的方法
然后按照下面流程来，找到网络上相应资源就好了，最好找到一家比较全的资源然后跟着学。
Web基础开发
解决的现实问题：
能够使用面向对象的程序设计方法, 基于Linux操作系统开发多任务的网络程序开发。
掌握的核心能力：
1、能够熟练使用Linux操作系统；
2、掌握网络编程相关技术，能够实现网络间数据通信；
3、掌握程序设计开发中多任务实现方式；
4、能够熟练掌握MySQL操作相关技术，熟练编写各种数据库操作SQL语句，并能够进行Python与MySQL之间的数据交互；
5、掌握Python中的re模块的使用，能够实现对字符串进行复杂模式匹配；
6、掌握Web服务器的工作流程，以及Web框架的实现原理。
要点：
Linux命令、网络编程、多任务编程、正则表达式、html与css、JavaScript、jQuery、数据库编程、Python语法进阶、静态Web服务器、mini-Web框架。
Web-Django框架
解决的现实问题：
更上一级能够开发主流Web网站，并掌握常见的技术要点；根据实际问题设计出相应数据库表。
掌握的核心能力：
1、掌握Python Web主流框架-Django的使用；
2、可根据Web框架设计，开发对应的数据库；
3、可根据业务流程图，开发Web网站的前后台业务。
要点：
Django框架、前后端分离模式、VUE进阶-组件式开发、Django REST framwork、统计、权限管理、商品数据管理、日志管理、用户管理、前后端不分离模式、数据库-读写分离、Django高级第三方模块、FastDFS分布式文件系统、Celery异步操作、Vue双向绑定、Docker 入门、Crontab定时任务、页面静态化、在线支付、Nginx uWSGI部署。
Web-Flask框架
解决的现实问题：
高并发全功能的Web网站开发；提升数据处理响应速度，灵活运用缓存。
掌握的核心能力：
1、掌握Python Web主流框架-Flask的使用；
2、掌握常见的性能优化技术；
3、缓存服务器的操作和设计；
4、异步任务的实现。
要点：
Docker 进阶、uWSGI、Nginx进阶、性能优化、Flask框架、路由定义及视图函数、蓝图、SQLAlchemy、Flask-RESTful、手机 APP PC Web前端、MySQL业务数据存储、Redis缓存层、第三方对象存储、RabbitMQ Celery 异步任务、APSchedule定时任务、及时通讯、Elasticsearch 5.6 搜索 自动补全、RPC kafka对接推荐系统与AI系统、supervisor进程管理。
人工智能机器学习编程
解决的现实问题：
利用学习到的科学计算库对收集到的数据进行数据基本处理，使其符合机器学习算法模型；利用学习到的机器学习算法解决部分实际问题。
掌握的核心能力：
1、掌握数据挖掘基础工具使用；
2、掌握机器学习中处理数据方法；
3、理解常见机器学习算法原理。
要点：
人工智能概述、数据可视化matplotlib、科学计算库numpy、科学计算库pandas、Scikit-learn使用、特征工程、k-近邻算法、线性回归、岭回归、逻辑回归、决策树、集成学习(Bagging, Boosting)、k-means、不同模型评估方法介绍、模型选择与调优、模型保存和加载、聚类、分类。
人工智能基于大数据的推荐系统
解决的现实问题：
能够实现推荐系统的算法不同场景应用；能够根据推荐场景业务流完成推荐业务开发。
掌握的核心能力：
1、掌握推荐系统的工作原理和实现流程；
2、掌握推荐系统的算法实现原理以及应用场景；
3、掌握Lambda大数据相关基础；
4、可实现基于大数据框架的推荐系统搭建；
5、能够基于推荐业务流完成系统搭建。
要点：
分布式存储计算案例、数据仓库工具hive、spark-sql、spark sql与hive离线分析、ABTest实验中心、埋点参数设置、推荐服务、缓存服务、实时日志分析、实时召回集、热门与新文章、文章画像构建、用户画像构建、文章用户画像业务实现、离线召回集介绍、排序模型选择介绍、spark mllib讲解、离线模型评价、评估场景需求。
最后更多是实战了，更多偏向于数据分析：
对企业异常数据进行深入分析，对业务风险指标进行跟踪分析及优化；搭建业务监控体系，及时发现、排查业务问题，并能提出有效的解决策略或方案；配合项目计划，负责建模驻场项目，完成数据分析需求及任务；通过大数据算法对数据进行模型的构建、维护、和评估。
掌握的核心能力：
1、熟悉常用数据挖掘算法与模型，熟悉逻辑回归、神经网络、决策树、聚类等建模方法；
2、熟悉Python、Tableau、SPSS、SAS等多种数据分析工具；
3、熟练使用时间序列、聚类分析、逻辑回归、因果分析等统计方法。
要点：
统计学基础、Python编程数据分析、SPSS数据分析、数据化运营，网络游戏市场分析，及电商数据分析，问卷数据分析、CRM、BI理论、数据可视化分析
最后python拓展就是爬虫和自动化测试运维了，
属于拓展项目。也是很重要的接近工作的。
更多是做各种项目进行熟悉和自己优化方法。
解决的现实问题：
自动化爬取浏览器网站数据或App应用数据，对爬取中遇到的反爬措施应用相应的反反爬方案解决处理。
能够针对企业中开发的项目进行自动化测试。
能够搭建部署运行维护Linux环境。
掌握的核心能力：
爬虫：
1. 网页数据爬取；
2. App数据爬取；
3. 反反爬解决方案；
4. MongoDB数据存储。
测试开发：
1. 项目开发流程与测试方法；
2. 自动化测试工具的使用；
3. 接口测试；
4. 性能测试。
运维开发：
1. Linux系统安装使用（CentOS系统）；
2. Linux系统管理与维护；
3. Shell编程；
4. 自动化运维与监控。
要点：
爬虫基础、requests模块、数据提取、Selenium、抓包反爬与反反爬方案、MongoDB数据库、Scrapy爬虫框架、Appium的使用、测试理论基础、项目开发流程、禅道工具使用、Jira工具使用、Web自动化测试（Selenium、Appium、Unittest等使用）、JMeter接口测试、性能测试、CentOS系统安装、Linux系统优化、常用工具使用、Linux文件管理、软件管理、权限管理、日志管理、进程管理、Apache服务器使用、防火墙管理、LVS集群、keepalived使用、Shell编程、Ansible、Nagios监控。
一大堆看着可能前期学都不是很懂，所以去b站上搜吧，小破站是学习的网站，当然黑马程序员官网上也都规划好了，看他们视频一个一个学更好。