关于自动化运维的心得：
近日，经整理自动化运维脚本发现，python在运维工具的选择上比shell有着更大的优势，有很多的运维模块集成在Python中可以直接进行调用，如针对系统的OS模块和针对oracle的cx_oracle模块，以及无需配置直接调用web界面的模块等等，目前用到的磁盘容量超标检测脚本及数据库表空间超标检测脚本均由py脚本实现，并通过py调用的web页面进行展现。除此之外，还可以自己编写需要的模块，如实现对OGG的监控，Python虽然没有现成模块，但通过对现有模块的架构的改动，即可实现对OGG各项指标的监控，而且官方也不停更新着各种更新的模块。由于Python是一门开发语言，因而可以更好的实现其代码的一致性。然而由于python在中国起步的比较晚，因此在学习成本上比shell更大，但是相信在自动化运维上，后期Python的使用会远远超过shell。自己在整理自动脚本运维的同时也发现，一个好的运维工程师其实也是开发的一种，不仅要懂得技术原理，在懂得技术原理的基础上能够通过shell或Python这样的脚本语言或是开发语言开发出一个程序或是脚本来简化自己的工作强度才是最重要的。




关于大数据：
最近参加了某互联网公司举办的技术分享会，发现了目前用于决策支持的关于大数据应用的几种产品：Hadoop、Spark、Elasticsearch。
通过技术分享会的内容分析一下目前关于数据分析产品的使用情况和优缺点：
1、Hadoop，目前最普遍的大数据架构方案，良好的扩展，高效的处理，但是有查询慢和不够实时的缺点。
2、spark,在Hadoop的基础上更近一层，性能，服务器资源消耗方面完胜Hadoop。经测试发现，spark处理100TB数据量只用了23min，是hadoop的1/3,却只用了Hadoop1/10的机器资源。spark的优势不仅在性能上，而是提供了一站式的解决方案，spark框架为批处理（spark core），交互式（spark sql），流式（spark stremaing），机器学习（MLib），图计算（graphX）提供了一个统一的数据处理平台，这相对于使用hadoop有很大优势。被称为未来的大数据产品的主流。
3、elasticsearch，是一个分布式搜索服务器，主要用于海量数据的搜索，支持索引，目前在互联网上被广泛用于日志分析平台中对海量日志的检索。




关于性能优化：
我发现很多ETL过程中或是手工执行insert语句的时候会用到apped的hint，这么做虽然会加快插入速度，却是以牺牲存储空间和查询性能为代价的，因为apped的方式是直接从当前HWM（高水位线）出插入数据，然后抬高HWM，这样就会造成在新的HWM下有大量未使用的空块，对查询性能和存储都是很致命的，所以在apped插入数据之后一定要对表进行shrink操作。