ITPub博客

1.SSTable 的大小？取决于刷memtable到磁盘的时间间隔。2.一个SSTable文件用一次从Memtable中写入？SSTable是只读的。3.每个CF对应一个Memtable，当Memtable满足刷新条件后批量刷新数据存储到磁盘上的SSTable中，下一次Memtable需要刷新到一个新的SSTable文件中，这也是保证SSTable中数据是按key的一定顺序排列的。4.几个写时间瓶颈：Memtable到阀值后flush到SSTable；同一个CF的多个SSTable被合并成一个大的SSTable。5.Write ConsistencyLevel的三种选择：ONE:确保写入至少一个借点的commitlog和memtableQUORUM:确保至少写入n/2+1个节点A

hector-v2-client-doc.pdf 读书笔记LoadBalancingPolicy Hector uses the slf4j logging API with the Log4J bridge to provide runtime logging.Hector测试相关的类：EmbeddedServerHelperBaseEmbeddedServerTest创建Keyspace:Cluster cluster = HFactory.getCreateCluster("TestCluster", new CassandraHostConfigurator("localhost:9160"));Keyspace keyspace = HFactory.createKeyspace("Keyspace1",cluster);StringSerializerOrderPreservingPartitionerIndexedSlicesQuery<String, String, Long&g

import static me.prettyprint.cassandra.utils.StringUtils.bytes;import static me.prettyprint.cassandra.utils.StringUtils.string;import org.apache.cassandra.service.Column;import org.apache.cassandra.service.ColumnPath;public class ExampleClient { public static void main(String[] args) throws IllegalStateException, PoolExhaustedException, Exception { CassandraClientPool pool = CassandraClientPoolFactory.INSTANCE.get(); CassandraClient client = pool.borrowClient("localhost", 9160); /

Hadoop基本操作命令 sh bin/start-all.shsh bin/stop-all.shsh bin/hadoop fs -ls /usr/admin/sh bin/hadoop fs -lsr /usr/admin/sh bin/hadoop fs -mkdir /usr/admin/dirsh bin/hadoop fs -rm /usr/admin/filesh bin/hadoop fs -rmr /usr/admin/sh bin/hadoop fs -put /home/admin/sfile /user/admin/tdir/sh bin/hadoop fs -get /home/admin/fileone /home/admin/fileone-bksh bin/hadoop fs -cat /home/admin/filesh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs] sh bin/hadoop job -kill job_201005310937_00

package com.alibaba.dw.thrift.client; import java.io.IOException;import java.io.UnsupportedEncodingException; import org.apache.cassandra.config.DatabaseDescriptor;import org.apache.cassandra.db.Column;import org.apache.cassandra.db.ColumnFamily;import org.apache.cassandra.db.RowMutation;import org.apache.cassandra.db.filter.QueryPath;import org.apache.cassandra.io.util.DataOutputBuffer;import java.net.InetAddress; import org.apache.cassandra.net.Message;import org.apache.cassandra.net.Messaging

占座[@more@]

tar -zxvf cassandra-$version.tar.gzmv cassandra-$version /opt/obs/cassandrasudo mkdir -p /var/log/cassandrasudo mkdir -p /var/lib/cassandraecho 'alias PATH=$PATH:/opt/obs/cassandra/bin' >>~/.bashrc#################################　1.有些命令的路径没有在PATH环境变量中，可以用echo $PATH命令查询得知，添加路径到PATH环境变量的方法如下：　　(如添加/sbin到PATH环境变量中)　　（1）如果只想在本次开机过程中临时性的添加修改，下次开机就无效的话，可以：　　输入export PATH=$PATH:/sbin　　（2）如果只给当

1.SSTable 的大小？2.一个SSTable文件用一次从Memtable中写入？3.每个CF对应一个Memtable，当Memtable满足刷新条件后批量刷新数据存储到磁盘上的SSTable中，下一次Memtable需要刷新到一个新的SSTable文件中，这也是保证SSTable中数据是按key的一定顺序排列的。4.几个写时间瓶颈：Memtable到阀值后flush到SSTable；同一个CF的多个SSTable被合并成一个大的SSTable。5.Write ConsistencyLevel的三种选择：ONE:确保写入至少一个借点的commitlog和memtableQUORUM:确保至少写入n/2+1个节点ALL:确保写入n个节点,有单点失效问题。--?一个节点失效，

xcat 配置管理工具使用perl写的curl http请求发送接受工具，s3curl.pl是用perl封装的脚本命令--需要熟悉perl脚本命令s3实现用了java了写cassendra数据库也是用java写的--需要熟悉java的APIs3-api阅读笔记DELETE /myobject HTTP/1.1Date:26 NOV 2011 10：24：32Host：mybucket.s3.amazon.coms3_aws_acl：content_type:Authorization:Each request that uses Amazon DevPay require two x-amz-security-token heads:one for the product tokenone for the user token All objects including all object versions and Delete Markers in the

xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具，允许使用者通过一个单点控制和管理一个集群系统。xCAT 最先是为 IBM xSeries 系列 Linux Cluster 做的第三方软件。它在简化集群管理的同时，还使集群能够方便地实现快速扩展，从而提高了系统管理员的工作效率。值得一提的是，xCAT 软件包基本上全部由一系列有用的 perl 脚本构成，所以使用者修改代码后不需要重新再编译和安装，而是可以很方便地根据自己的需求直接修改脚本来定制出自己需要的 xCAT 软件。[@more@]

Chef is an open source systems integration framework built to bring the benefits of configuration management to your entire infrastructure. You write source code to describe how you want each part of your infrastructure to be built, then apply those descriptions to your servers. The result is a fully automated infrastructure: when a new server comes on line, the only thing you have to do is tell Chef what role it should play in your architecture.[@more@]

Amazon Simple Storage Service -Console User Guide 读书笔记--相关章节1.working with BucketsCreating a BucketBrowsing the Objects in Your BucketManaging Bucket LoggingManaging Bucket Website ConfigurationEditing Bucket PermissionsEnable RRS Lost Object NotificationDeleting a Bucket2.Working with ObjectsUplaoding Objects into Amazon S3Editing Object PermissionsEditing the Metadata of an ObjectOpeing an ObjectDownloading an OjbectCopying an ObjectDeleting an Object3.Working with FoldersCreating a Fo

http://shlomoswidler.com/2009/12/read-after-write-consistency-in-amazon.html#comments[@more@]

这周大部分时间在看文档，amazon S3 developer guide 和api，全部是英文的文档，而且看完了马上要基于这些API进行开发，内容很多，任务很重，鸭梨很大，不过几个月没这么高密度的学习新知识了，虽然累但是感觉比较充实，有收获，狭隘点讲这也是一种投资啊，o(∩_∩)o 哈哈。 目前对于云计算开发这块是紧跟amazon步伐来做，基本上是基于其使用的协议和API来开发，因为跟的比较紧，加上云计算有很多实践都是最新提出来的，所以有很多不确定性，比如amazon发布的API经常会更新，如果要跟它一致，也就要对变更有很快的响应速度。[@more

1、能学到服务器方面的知识（服务器的配置、服务器的管理、服务器的安全策略）2、能学到网站方面的知识（网站的配置、权限的分配、网站故障解决、网站的管理与运行）3、能学到服务器和电脑硬件的知识（服务器的选购、服务器的硬件识别、各种厂家的服务器性能识别）4、能学到网络环境的知识（网络流量的监控与管理、网络环境的部署与实施、交换机与路由器的配置）5、能学到关于数据库的知识（MYSQL的安装配置、ACCESS数据库的知识、SQL数据库的知识，包括数据库的备份和还原）6、能学到关于服务器的安全知识（应对网站的攻击、识别非法链接

数据中心建设常用名次解释：VLAN 虚拟局域网LACP Link Aggregation Control Protocol 链路聚合控制协议STP SPanning Tree ProtocolRSTP Rapid Spanning Tree ProtocolMSTP Multiple Spanning Tree Protocol 多生成树协议VRRP Vitrtual Router Redundancy ProtocolSPAN Switched Port Analyzer 端口镜像RSPAN Remote SPAN 远程端口镜像BPDU Bridge Protocol Data Unit 桥接协议数据单元 SAE System architecture evolution 系统架构演进HSPA 高速分组接入UP User Plane 用户平面RNC 无线网络控制器GPRS 通用分组无线业务GTP GPRS隧道协

LTE的核心网技术之核心网和基站之间的接口协议:主要是S1接口，主要协议是36.410、36.411、36.412、36.413、36.414 参考网页：http://www.3gpp.org/ftp/Specs/http://www.3gpp.org/Specification-NumberingTS 36.410 Evolved Universal Terrestrial Radio Access Network (E-UTRAN); S1 general aspects and principles .TS 36.411 Evolved Universal Terrestrial Radio Access Network (E-UTRAN); S1 layer 1 .TS 36.412 Evolved Universal Terrestrial Radio Access Network (E-UTRAN); S1 signalling transport .TS 36.413 Evolved Univ

TD-LTE即TD-SCDMA Long Term Evolution，宣传是是指TD-SCDMA的长期演进 。 实际上没有关系。TD-LTE是TDD版本的LTE的技术，FDDLTE的技术是FDD版本的LTE技术。TDD和FDD的差别就是TD采用的是不对称频 率是用时间进行双工的，而FDD是采用一对频率来进行双工。 TD-SCDMA是CDMA技术，TD-LTE是OFDM技术，不能对接。 [@more@]

IOT(Interoperability Test，互操作测试)是多厂商运营环境形成的技术基础。只有完成Iu接口的IOT，才能保证不同厂家的无线接入网与核心网互联互通，也只有完成Uu接口 的IOT，才能保证每一款手机与无线接入系统之间的互联互通。从世界上已经完成的3G设备选型中可以看出，有一个非常明显的趋势就是，同一运营商大多选择 二至三家厂商的设备，来组建自己的3G网络，形成多厂商设备的运营环境。所以，不同厂商之间的IOT(互操作测试)对3G时代就显得格外重要。IOT已经 被摆在非常重要的战略地位，为此，信息产业部也特意组织所有参加信息产业

移动网络在未来发展和演进上殊途同归，4G时代WCDMA和CDMA2000两大阵营将走向共同的IMS＋SAE＋LTE架构。CDMA发展组织(CDG)已正式放弃由3GPP2主导的另一4G候选技术，即超移动宽带(UMB)， 1.LTE(Long Term Evolution) LTE被称之为演进的UTRA和UTRAN（Evolved UTRA and UTRAN）的研究项目。 LTE使用与WiMAX及UMB相同的基本技术：OFDM(Orthogonal Frequency division Multiplexing)和MIMO。 LTE版本8标准于2008年底基本完成。新版本规定，在20MHz带宽情况下，下行链路采用OFDM，峰值速率可高达326Mbit/s。上行链路采用 单载波频分多