ITPub博客

http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1602318&tag=1[@more@]

Hadoop基本操作命令 sh bin/start-all.shsh bin/stop-all.shsh bin/hadoop fs -ls /usr/admin/sh bin/hadoop fs -lsr /usr/admin/sh bin/hadoop fs -mkdir /usr/admin/dirsh bin/hadoop fs -rm /usr/admin/filesh bin/hadoop fs -rmr /usr/admin/sh bin/hadoop fs -put /home/admin/sfile /user/admin/tdir/sh bin/hadoop fs -get /home/admin/fileone /home/admin/fileone-bksh bin/hadoop fs -cat /home/admin/filesh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs] sh bin/hadoop job -kill job_201005310937_00

xcat 配置管理工具使用perl写的curl http请求发送接受工具，s3curl.pl是用perl封装的脚本命令--需要熟悉perl脚本命令s3实现用了java了写cassendra数据库也是用java写的--需要熟悉java的APIs3-api阅读笔记DELETE /myobject HTTP/1.1Date:26 NOV 2011 10：24：32Host：mybucket.s3.amazon.coms3_aws_acl：content_type:Authorization:Each request that uses Amazon DevPay require two x-amz-security-token heads:one for the product tokenone for the user token All objects including all object versions and Delete Markers in the

xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具，允许使用者通过一个单点控制和管理一个集群系统。xCAT 最先是为 IBM xSeries 系列 Linux Cluster 做的第三方软件。它在简化集群管理的同时，还使集群能够方便地实现快速扩展，从而提高了系统管理员的工作效率。值得一提的是，xCAT 软件包基本上全部由一系列有用的 perl 脚本构成，所以使用者修改代码后不需要重新再编译和安装，而是可以很方便地根据自己的需求直接修改脚本来定制出自己需要的 xCAT 软件。[@more@]

Chef is an open source systems integration framework built to bring the benefits of configuration management to your entire infrastructure. You write source code to describe how you want each part of your infrastructure to be built, then apply those descriptions to your servers. The result is a fully automated infrastructure: when a new server comes on line, the only thing you have to do is tell Chef what role it should play in your architecture.[@more@]

Amazon Simple Storage Service -Console User Guide 读书笔记--相关章节1.working with BucketsCreating a BucketBrowsing the Objects in Your BucketManaging Bucket LoggingManaging Bucket Website ConfigurationEditing Bucket PermissionsEnable RRS Lost Object NotificationDeleting a Bucket2.Working with ObjectsUplaoding Objects into Amazon S3Editing Object PermissionsEditing the Metadata of an ObjectOpeing an ObjectDownloading an OjbectCopying an ObjectDeleting an Object3.Working with FoldersCreating a Fo

http://shlomoswidler.com/2009/12/read-after-write-consistency-in-amazon.html#comments[@more@]

这周大部分时间在看文档，amazon S3 developer guide 和api，全部是英文的文档，而且看完了马上要基于这些API进行开发，内容很多，任务很重，鸭梨很大，不过几个月没这么高密度的学习新知识了，虽然累但是感觉比较充实，有收获，狭隘点讲这也是一种投资啊，o(∩_∩)o 哈哈。 目前对于云计算开发这块是紧跟amazon步伐来做，基本上是基于其使用的协议和API来开发，因为跟的比较紧，加上云计算有很多实践都是最新提出来的，所以有很多不确定性，比如amazon发布的API经常会更新，如果要跟它一致，也就要对变更有很快的响应速度。[@more

1、能学到服务器方面的知识（服务器的配置、服务器的管理、服务器的安全策略）2、能学到网站方面的知识（网站的配置、权限的分配、网站故障解决、网站的管理与运行）3、能学到服务器和电脑硬件的知识（服务器的选购、服务器的硬件识别、各种厂家的服务器性能识别）4、能学到网络环境的知识（网络流量的监控与管理、网络环境的部署与实施、交换机与路由器的配置）5、能学到关于数据库的知识（MYSQL的安装配置、ACCESS数据库的知识、SQL数据库的知识，包括数据库的备份和还原）6、能学到关于服务器的安全知识（应对网站的攻击、识别非法链接

移动的云计算技术架构:云计算应用层-->中国移动内部的新型IT支撑系统-->IDC,mSpaces,email等互联网应用云计算能力层-->数据挖掘工具库:挖掘应用的算法工具-->云存储中间件:提供海量对象存储能力-->搜索引擎:提供基本的搜索引擎能力云计算平台层-->MapReduce:MapReduce并行程序框架-->HugeTable:结构化数据存储-->HyperDFS:海量数据的分布式文件系统-->CloudMaster:云计算平台系统管理虚拟化资源层-->构建在海量同质化的PC与不可靠硬盘上-->使用开源的Xen提供计算资源的虚拟化-->运行于开源的Linux系统

你能想到的需要了解的云计算相关的问题:云平台建设理论:1.云计算和网格计算是什么关系,怎样描述他们的关系?2.云计算是产品还是服务?3.云计算的架构?包好哪些基础结构?4.云计算是如何演变而来的?5.云计算平台建设所涵盖的领域和范围?处理器,存储,网络,相关的软件6.云平台上应用开发与普通服务器客户端模式,单机模式的软件开发有什么区别?7.云平台的管理模式,分散管理,集中管理,各自发挥的作用?8.如何让用户相信基于云平台应用的安全性?类比一下VPD(虚拟专用数据库),VPN(虚拟专用网络),VMWARE(虚拟机技术),VLAN(虚拟局域网)等虚拟化技术的安