第3587页

  • 关于Hadoop你需要知道的几件事情

    关于Hadoop你需要知道的几件事情

    在当今的技术领域,大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度,Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop特别适合大数据处理任务,并且它可以利用其分布式的文件系统...

    adminadmin 2022.11.20 563浏览 0
  • Hadoop无法解决的难题

    Hadoop无法解决的难题

    因为项目的需要,学习使用了Hadoop,和所有过热的技术一样,“大数据”、“海量”这类词语在互联网上满天乱飞。Hadoop是一个非常优秀的分布式编程框架,设计精巧而且目前没有同级别同重量的替代品...

    kavinkavin 2022.11.20 528浏览 0
  • Hadoop关于处理大量小文件的问题和解决方法

    Hadoop关于处理大量小文件的问题和解决方法

    小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。 任...

    kavinkavin 2022.11.20 534浏览 0
  • 优酷土豆应用Spark完善大数据分析案例

    优酷土豆应用Spark完善大数据分析案例

    大数据,一个似乎已经被媒体传播的过于泛滥的词汇,的的确确又在逐渐影响和改变着我们的生活。也许有人认为大数据在中国仍然只是噱头,但在当前中国互联网领域,大数据以及大数据所催生出来的生产力正在潜移默化地推动业务发展,并为广大中国网民提供更加优秀的...

    kingking 2022.11.20 544浏览 0
  • Hadoop部署常用的小脚本

    Hadoop部署常用的小脚本

    最近抛弃非ssh连接的Hadoop集群部署方式了,还是回到了用ssh key 验证的方式上了。这里面就有些麻烦,每台机器都要上传公钥。恰恰我又是个很懒的人,所以写几个小脚本完成,只要在一台机器上面就可以做公钥的分发了。 首先是生成ssh k...

    MoletMolet 2022.11.20 561浏览 0