标签：Hadoop
（总结）Hadoop 2.6报错解决：Could not find the main class: org.apache.hadoop.hdfs.server.namenode.NameNode.
PS：最近一年事情太多，一年多没在博客分享记录了，以后有空还是分享下。 今天测试部署Hadoop 2.6集群，出现一个报错，搜索了下，都说是hadoop配置文件问题，检查了两遍发现没问题，排查怀疑是JDK版本问题，报错的是1.7，后升级安装到1.8后问题解决。 记录一下，报错如下： 解决后： 在 http://www.oracle.com/technet……
Hadoop组件Hbase配置项详解
重读hbase文档，把所有的配置项整理一遍： hbase.tmp.dir：hadoop本地文件系统的临时目录，默认是${hbase.tmp.dir}/hbase，或者直接用绝对路径如/data/hbase； hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hd……
为Hadoop集群选择合适的硬件配置
随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。 在……
腾讯TDW：大型Hadoop集群应用
PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性……
Hadoop组件Hbase配置项详解
重读hbase文档，把所有的配置项整理一遍： hbase.tmp.dir：hadoop本地文件系统的临时目录，默认是${hbase.tmp.dir}/hbase，或者直接用绝对路径如/data/hbase； hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hd……
Hadoop组件Hive配置文件配置项详解
这里列出了hive几乎所有的配置项，很有用，收藏： hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为……
云计算架构Hadoop：从小象变大象的发展历程
由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL（Structured Query Language）出现一样，Hadoop正带来了新一轮的数据革命。如今Hadoop已从初出茅庐的小象变成了行业的巨人，但Hadoop仍需继续完善。 基于Java语言构建的Hadoop框架实际上一种分布式处理大数据平台，其……
百度的Hadoop分布式大数据系统图解：4000节点集群
在 NoSQL 方面，之前了解到百度对 Hadoop 和 hypertable 都有研究，而且 hypertable 方面更是作为其主要赞助商之一，但之前和百度的一些朋友了解到百度内部对 hypertable 倒是使用不多，相反在 Hadoop 方面倒是有比较大的应用实例。下面一篇文章描述了百度内部4000个结点的 Hadoop 集群的一些技术细节。 百度的……
新一代海量数据架构分析：NoHadoop
在经历了长达25年的统治地位后，关系型数据库正面临越来越火的“NoSQL”挑战，而挑战者是以Hadoop为代表的分布式计算开源架构。可以看到，越来越多的消息表明，不管NoSQL是被解释为“No SQL”还是“Not Only SQL”，如果你面临海量数据的挑战，那么你最应该选的海量数据架构是Hadoop。 但是Hadoop就能代表一切吗？答案显然是否定的，……
Hadoop分布式文件系统设计要点与架构
Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它……