ITPub博客

首页 > 大数据 > 数据挖掘 > 百亿级别小文件传输慢,如何解决?

百亿级别小文件传输慢,如何解决?

原创 数据挖掘 作者:Raysync镭速 时间:2020-08-11 18:20:09 0 删除 编辑

生活中,互联网社交、音频视频、电商、科学实验等各种应用在不断地生产着千万级、亿级甚至百亿级的海量小文件。对于海量小文件的理解,通常我们由量化来定义,把大小在1MB以内的文件称为小文件,百万级数量及以上称为海量小文件,LOSF(lots of samll file)。

小文件传输的难点

海量小文件的传输与大文件传输有很大差异,传输大文件的性能消耗和瓶颈归结是在带宽上,而海量小文件的传输则不一样。由于海量小文件传输需要频繁打开/关闭文件句柄,但是文件打开后需要读取和写入的内容却极少,故海量小文件的传输瓶颈在IO性能上。


海量小文件传输是科技界公认的难题,众多技术人员一直为之努力,以下为镭速传输——企业级大文件传输的头部品牌给出的两个解题思路。


海量小文件传输解决方案突破点


I/O读写优化技术

I/O输入/输出(Input/Output) ,镭速传输利用的是优异的I/O读写优化技术(可靠、可操作、可升级),支持高达5000个/秒的读写能力,针对海量小文件提供高效支持,提供海量文件高速传输支持服务。


高速传输协议

镭速传输拥有自主研发的raysync高速传输协议,突破传统FTP,HTTP的传输缺陷,能将现有传输效率进行高效提升,达到传统数据传输效率100倍以上,确保海量小文件数据高频,极速传输。


本文来源于:镭速传输https://www.raysync.cn/news/post-id-437,镭速(Raysync)大文件传输软件,高速传输系统,提供ftp传输加速服务,企业级大文件传输协议,解决大数据传输,跨境传输,跨国大文件传输慢的问题,帮助企业提高传输效率。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69925049/viewspace-2710960/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-05-22

  • 博文量
    220
  • 访问量
    111199