根据IDC在2018年底的预测显示，由于大数据、AI、物联网、5G等因素的驱动，全球的数据量在2025年将高达175ZB（1ZB=1024EB，1EB=1024PB)。在中国市场，由于AI技术在安防等领域的大规模落地与应用，IDC预计，中国将在2025年成为拥有数据量最大的地区，甚至超过整个EMEA（欧洲+中东+非洲），其中绝大部分数据是非结构化数据。
海量数据时代来临，但在这上空飘着一朵乌云——那就是海量小文件的存储问题。
海量小文件是怎么产生的？
海量小文件：业内通常将大小在1MB以内的文件称为小文件，百万级数量及以上称为海量，由此量化定义海量小文件。
首先我们来看一下海量小文件是怎么产生的？
人工智能、物联网、智慧金融、智能安防、传感器网络、科学实验等应用的发展产生了大量数据，这些数据种类繁多，大小不一。不仅包括海量的大文件（大于1MB），也包括海量的小文件（小于1MB）。特别是小文件的数量将达到千万级、亿级甚至十亿、百亿级。
在智能安防领域有很多典型的海量小文件场景，人脸识别就是其中之一。人脸识别的基础原理，就是通过将摄像机拍摄的图片与视图库进行比较，如果匹配则命中。对于一个大型城市来说，摄像机抓拍的图片数量会达到百亿级规模。在对这些原始数据进行分析应用的过程中就会涉及到对百亿级规模的海量小文件的处理。
类似的还有智慧金融，这也是一个会产生海量小文件的场景。金融业务不仅有大量原始 文件 通过扫描形成图片和描述信息文件，还有电子合同、签名数据、人脸识别数据等。金融的影像数据一般单个文件大小为几KB至几百KB不等，文件数量达到数亿至数十亿级规模，并且逐年增长，需要做长期的保存。
海量小文件，存储大烦恼
海量小文件体量庞大，但目前的文件系统包括本地文件系统、分布式文件系统都是匹配大文件场景的。从细节来说，如对元数据的管理、数据布局、缓存管理等的实现策略都侧重于大文件，导致在海量小文件情况下，存储处理性能极差。（比如日常的文件拷贝，如果拷贝一个大文件的电影到移动硬盘，拷贝的速度能达到100MB/S，但是如果拷贝的是超过上万个小图片，拷贝速度可能不到5MB/s）
因此，海量小文件存储问题一直被认为是工业界和学术界的难题，是海量数据时代上空飘着的那朵乌云。如前面所讲的智能安防、智慧金融的存储架构方案设计，就需要重点考虑到存储系统对于海量小文件的处理性能难题。
具体来说，导致海量小文件处理性能差的原因主要有如下三点：
元数据管理低效的问题
讲这个问题之前，我们先认识一下元数据。在存储系统中，数据分为两部分进行存储：一部分是真实数据；另一部分是描述这份数据的元数据，比如文件系统中文件的文件名、文件大小、执行权限等。元数据有着明显特点，那就是数量多，而且容量小。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69994801/viewspace-2757119/ ，如需转载，请注明出处，否则将追究法律责任。
