当前位置: 首页 > 股票分析 >详情

hive分析股票,hive分析股票数据集

大家好,今天小编关注到一个比较有意思的话题,就是关于hive分析股票的问题,于是小编就整理了2个相关介绍hive分析股票的解答,让我们一起看看吧。

php+mysql开发的网站,如何使用hadoop+hbase+hive,能代替mysql么?

用什么代替什么,主要看你的系统应用场景,不是说非要使用hadoop这些不可。

hive分析股票,hive分析股票数据集

比如你现在网站遇到了瓶劲,一般都是访问量上来了,系统支撑不住了,就想升级优化系统。

但是这个时候,如果换成 hadoop,在你不熟悉hadoop这些大数据应用的情况下,可能系统会引发更多问题和bug出来。

因此,你得保证团队有足够多的技术力量去解决这些hadoop应用的熟悉。

如果只是想优化php+mysql的系统以承受更多的访问量,不如采用以下方案:

1、由一台apache(或nginx)服务器,扩展到多台服务器进行负载均衡,然后注意一下将session保存到公共的memcache服务器进行共享。

2、对于一些访问特大的数据,可以缓存到memcache里面,比读数据库要快得多。

3、对于后端Mysql,可以使用多台mysql集群,具体使用360的一些读写分离控件。或者也可以使用 tidb 这种分布式的兼容mysql的数据库,以响应更大的并发。

大数据与Hadoop之间是什么关系?

可以这样简单地理解:

1、大数据是一个高层次的概念(相当于互联网的概念),而Hadoop只是承载大数据的一个平台框架一种实现方式而已(类似于各种物理电脑网络)。

2、大数据包含的内涵广泛得多,而Hadoop只是其中一部分实现。

我们平常所说的大数据包含:采集、传输、存储、分析、可视化等等;而Hadoop更多是用于提取、存储、分析的一个系统平台而已。

3、实现大数据平台的框架除了Hadoop之外,还有其他更多的平台。

由于Hadoop是一个开源的大数据系统平台,所以你们听得最多。其实,除了Hadoop平台外,还有更多其他的系统平台(比如阿里巴巴的飞天平台)。

所以,大数据不等于Hadoop,大数据与Hadoop也不是包含关系。如果你眼里只有Hadoop的大数据,记得提醒自己,你的眼界太狭窄了哟!

大数据是指无法在一定时间内用常规软件进行捕捉、管理和处理的数据集合,是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化的海量、高增长率和多样化的信息化资产。

Hadoop是一个分布式处理架构,是大数据的一个解决方案,主要用来解决海量数据的存储(HDFS)和海量数据的计算(Mapreduce)。

谢谢邀请!

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

大数据自身的岗位包括大数据平台研发、大数据应用开发、大数据分析、大数据运维等,不同的工作岗位有不同的任务要求。比如大数据平台研发主要从事大数据基础性的开发任务,解决大数据分布式存储和分布式计算机的系统级问题,另外还需要考虑并发、安全、事务等内容。

Hadoop本身就是大数据平台研发人员的工作成果,Hadoop是目前比较常见的大数据支撑性平台,Hadoop平台提供了分布式存储(HDFS)、分布式计算(MapReduce)、任务调度(YARN)、对象存储(Ozone)和组件支撑服务(Common)。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造,对于开发人员来说,只需要关注于具体的服务实现就可以了,系统级功能已经由Hadoop提供了实现。所以,Hadoop是大数据开发人员的重要基础。

随着Hadoop的不断发展,基于Hadoop的大数据生态越发完善,目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来,这些组件极大的丰富了Hadoop自身的应用。随着组件的增多,Hadoop自身也越来越重,因此目前很多大数据工程师更愿意使用Spark,因为Spark更轻,速度也更快一些(基于内存)。

由于Hadoop对硬件的要求并不高,所以很多初学者都是从Hadoop开始学习大数据的,目前很多商用大数据平台也是基于Hadoop的。

作者简介:中国科学院大学计算机专业研究生导师,从事IT行业多年,研究方向包括动态软件体系结构、大数据、人工智能相关领域,有多年的一线研发经验。

欢迎关注作者,欢迎咨询计算机相关问题。

到此,以上就是小编对于hive分析股票的问题就介绍到这了,希望介绍关于hive分析股票的2点解答对大家有用。

相关资讯