用JAVA如何实现每天1亿条记录的数据存储,数据库方面怎么设计
目录
用JAVA如何实现每天1亿条记录的数据存储,数据库方面怎么设计?
一天秒数:606024=86,400秒
每天写入数据量:100,000,000条
平均每秒写入数据量:100,000,000/86,400=1157.5条
峰值每秒估算写入数:1157.5*10=11575条
因此建议从以下几个层面处理
1、数据库服务器磁盘采用高速SSD磁盘
2、数据库采用2个节点的集群方式部署,每个集群节点3台服务器,1主2备,主数据库为写数据库,备数据库为读数据,采用读写分离,单集群节点内主备库数据实时同步,集群节点主库数据实时同步
3、数据表设计采用分区、分表方式设计表结构
4、数据写入采用单事务批量写入的方法新增数据
5、在关键字段建立索引,提高查询效率
6、第一次查询后将数据缓存到redis中,方便下次查询