标签：集群
为Hadoop集群选择合适的硬件配置
随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。 在……
腾讯TDW：大型Hadoop集群应用
PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性……
CloudStack+XenServer详细部署方案（4）：XenServer集群的安装和配置
本文将根据设计文档, 介绍Rack01机柜计算节点XenServer安装和配置的部署过程。 因非CloudStack内部功能，本文只对XenServer配置流程和结果进行举例说明，具体细节和配置请自行参考XenServer的手册和文档。 机柜规划: Step1. XenServer安装. 安装过程略. 根据设计文档, 安装和配置好三台XenServer服……
百度的Hadoop分布式大数据系统图解：4000节点集群
在 NoSQL 方面，之前了解到百度对 Hadoop 和 hypertable 都有研究，而且 hypertable 方面更是作为其主要赞助商之一，但之前和百度的一些朋友了解到百度内部对 hypertable 倒是使用不多，相反在 Hadoop 方面倒是有比较大的应用实例。下面一篇文章描述了百度内部4000个结点的 Hadoop 集群的一些技术细节。 百度的……
Oracle的三种高可用集群方案
快速浏览了一下Oracle官方的网页以及非官方的ppt，简单了解了一下Oracle提供的高可用方案。 主要有三种： 1. RAC RAC, Real Application Clusters 多个Oracle服务器组成一个共享的Cache，而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。 不过系统内部的多个节点需要高……
Google说：一个Datacenter就是一台计算机
要实现一个典型的可扩展Web应用，有一大部分时间要花在Load balance, High availability, Consistent, Scalability等方面。这些都是有经验可循，但是通常无法简单重用。另外目前成熟的相关的部署经验都是孤立的，比如数据库，存储及文件系统，Web服务器都需要分别考虑。另外还有不少非核心的也经常需要用到，如cache……
大规模集群FTP代理
【目的】 在日常工作中，我们经常需要在某服务器上开FTP(Server)服务。但就是这么简单的事情通常也会变得很复杂，原因如下： 1、需要开通FTP的服务器没有公网IP地址；（即不能直接访问到） 2、这样的服务器很多，可能是成百上千台； 3、所有的FTP账号必须为虚拟账号，不能为本地，而且需要集中存储。 这种情况很多，比如企业中通常需要给开发、测试人员相应的……