前段时间有个应用有这样的要求，对于每条记录128字节的数据要求每秒写入8000以上，于是花了些时间在这方面研究。
服务器：linux 9
oracle 9i
pIII+2GMEM+SCSI
网络： 100BASE-T
客户机: java 1.4
测试数据：每条长度128字节
前段时间有个应用有这样的要求，对于每条记录128字节的数据要求每秒写入8000以上，于是花了些时间在这方面研究，做了一个轻量级（功能方面）的持久层。作了最好值、平均值、最差值的测试，分别是18000条/s,9900条/s,2090条/s。
很容易想到的就是oracle 的copy命令，但是对于应用程序来讲显然是很不方便。下面是关于大批量数据写入的思路和注意事项：
1、不是写的频率越高写的速度就越快。写的频率与数据库服务器，硬件环境，网络环境均有关系。
2、不是与数据库联接越多就写的越快。
3、需要用到块写入。
4、不是一次写的块容量越大就越快。
5、需要一个缓冲区，来整形写入流量。
6、需要一种机制处理负载过大的情况。
7、当出现拥塞的时候需用优先级机制来保证重要的数据进行处理。
对于目前的研究结果仍然有它的局限性：
1、没有会话处理机制
2、性能的调整需要相当丰富的经验
3、对于不同的数据库需要另写优化模块
4、只支持本地部署
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/10292594/viewspace-210619/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
