-
浅析HDFS分布式存储有哪些优势特点
浅析HDFS分布式存储有哪些优势特点近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。那么分布式存储的种类有哪些呢？分布式存储包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等，但其中架构无外乎于三种：A、中
-
互联网技术在我国各个领域均发挥着重要作用
互联网+”模式在农村经济中的运用，改变了以往农业的运作方式，同时也促进了大众生活方式的转变，间接影响了人们的消费方式。
-
多实例数据库一个用PSU（转载）
背景： 现在Oracle 11gR2 扩展补丁最新已经到20200714了，今天给生产系统打了几个系统补丁，有很多设备上是一台服务器创建了十几个数据库，这样涉及到后面跑脚本和启停数据库是一件非常麻烦的事，特写这篇博客在这里记录今天的完整处理过程。 单库操作步骤： 1.解压替换OPatch123456 cd psu cd $ORACLE_HOME/
-
filecoin连续推迟上线，HDFS或抢跑硬盘挖矿市场
相比于高调的明星项目filecoin，同样采用POC（存储即挖矿）项目的HDFS则显得过分的低调，只有少数研究分布式存储的技术极客才对这项目有所耳闻。但是HDFS的实际进程却比filecoin要顺利很多，目前HDFS已经进入收尾的阶段，预计在filecoin之前提前上线主网成为全球首个真正意义上的分布式存储网络。
-
HDFS主要解决什么问题，与IPFS有什么不同？
HDFS主要解决什么问题，与IPFS有什么不同？ 近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。
-
2020年多云环境的优势与劣势
行业专家和分析师指出，越来越多的企业如今为其业务发展采用了多个公共云基础设施。调研机构IDG公司在6月初发布了其第8个云计算年度调查报告，根据调查数据对IT环境、多云和IT预算进行了细分。这个报告还探讨了使用多个公共云平台的优势与劣势。报告中发现：(1)超过一半(55%)的受访者表示已经使用多个公共云：34%的受访者使用两个公共云，10%的受访者使用三个公共云，11%的受访者使用三个以上公共云。(
-
Hadoop大数据存算分离下，如何解决新旧存储共存？
在传统的Apache Hadoop集群系统中，计算和存储资源是紧密耦合的，HDFS为大数据存储带来便利的同时，也面临着一些挑战：当存储空间或计算资源不足时，只能同时对两者进行扩容。假设用户对存储资源的需求远大于对计算资源的需求，那么同时扩容计算和存储后，新扩容的计算资源就被浪费了，反之，存储资源被浪费。这导致扩容的经济效率较低，额外增加成本。而独立扩展的计算和存储则更加灵活，同时可显著降低成本。现
-
跟Kafka学技术系列之时间轮
kafka是一个分布式消息中间件，其高可用高吞吐的特点是大数据领域首选的消息中间件，Kafka是分布式消息队列的顺序读写文件分段组织串联起来思想的鼻祖，包括RocketMq这些消息队列都是借鉴了Kafka早期的架构和设计思路改造而来，所以在架构设计层面，Kafka有非常多值得借鉴的地方。
-
大数据十年：Cloudera向左，Palantir向右
如今，两家公司高下已分。
-
想了解大数据的鼻祖Hadoop技术栈，这里有一份优质书单推荐！
如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Hadoop、Spark、MapReduce、NoSQL、离线计算、实时计算、实时推送等等一大串名称。程序猿们就
-
想了解大数据的鼻祖Hadoop技术栈，这里有一份优质书单推荐！
-
好程序员大数据培训分享：Hadoop集群同步
好程序员大数据培训分享：Hadoop集群同步，给大家带来的技术分享是——Hadoop集群同步。一、同步方式 选择一个机器，作为时间服务器(这里选择hadoop01)，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。二、所需工具 时间同步服务器有两个：ntpd和ntpdatp。虽然使用二者都能达到时间同步的目的，但是使用之前得弄清楚一个问题，ntpd与ntpdate在
-
好程序员分享大数据入门教程：Hadoop和spark的性能比较
好程序员分享大数据入门教程：Hadoop和spark的性能比较，大数据课程，一门看似很专业实际很复杂的学科，备受追捧。因为大数据的就业前景真的很诱惑人，单单是就业薪资就能让人趋之若鹜。今天大数据讲师给大家分享的技术知识是大数据入门课程之Hadoop和spark的性能比较。 曾经看过一个非常有趣的比喻，Hadoop是一家大型包工队，可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce
-
好程序员大数据培训分享HDFS读流程
好程序员大数据培训分享HDFS读流程1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)
-
HDFS的机架感知策略
HDFS采用机架感知策略来改进数据的可靠性、可用性和网络宽度的利用率。
-
hadoop 将文件上传到指定的datanode 查看文件所在的块
package hgs.dfsclient.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.Path; import org.apache.hado
-
HDFS的体系结构
分布式文件系统HDFS是一种分布式文件系统，设计用于在商用硬件上运行，它与现有的分布式文件系统有许多相似之处。但是，与其他的分布式文件系统也有着很大的差异，HDFS旨在具有高容错、部署在低成本应将、提供对应用数据的高吞吐量访问。适用于具有大型数据集的应用程序。
-
Hadoop KMS配置(HDFS透明加密)
hdfs透明加密处于数据库加密层和文件系统加密层之间。能有效地防止对文件系统的攻击，因为他的存储都是加密的。 对于每个用户可以有不同的加密区。
-
HDFS分布式文件系统
分布式文件系统（Hadoop Distributed File System）是Hadoop核心子项目，为Hadoop提供了一个综合性的文件系统抽象，并且只会实现了多类文件系统的接口。HDFS基于流式数据访问、存储和处理超大文件。
-
好程序员大数据培训分享SQL优化方案精解十则
好程序员大数据培训分享SQL优化方案精解十则：一、避免进行null判断。应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，这里最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库。备注、描述、评论之类的可以设置为 NULL，最好不要使用NULL。不要错误的认为NULL 不需要空间，如char(100) 型，在字段建立时，空间
