[求助]每天100000条数据,该如何实现保存与查询
如题,每天产生100000条数据,每条数据包含:序号、日期时间、值1、值2、值3、值4请教大家如何保存这些数据,如何实现快速查询, 数据库啊! 2楼真相 2楼真相 2楼真相 自古真相出二楼! 自古真相出二楼 这么大的数据量,楼主用什么开发的 我只能想到安防类的有这么大的数据量,其他的不了解,这种一般都有数据库来处理啊 每天10万条.一年3650万条.够多的了. 标题没有交待清楚是什么架构。如果是联网实时传给服务器,可以用SQL。如果是本地用SD卡,可以用sqlite。记住最好每天一个库。否则写坏了整个文件丢失。 一心2013 发表于 2014-12-7 21:00
我只能想到安防类的有这么大的数据量,其他的不了解,这种一般都有数据库来处理啊 ...
生产的产品数据 Edesigner. 发表于 2014-12-7 21:49
标题没有交待清楚是什么架构。如果是联网实时传给服务器,可以用SQL。如果是本地用SD卡,可以用sqlite。记 ...
局域网内的几台电脑能提交、访问即可,请指教。 数据库,mysql或者mssql,每月一个表,不要都放在一个表里 sqlite 不知道你要做什么样的查询,保存到带日志的数据库系统估计会有很多后期维护的问题,保存到不带日志的数据库完整性也是问题。所以要看应用要求 如果需要保存相当长时间的数据,那么可能得用个windows2003 server+Oracle当服务器,其它局域网的电脑装XP或win7当成客户机,典型的简单C/S结构。用sql server数据量特别多的时候查询有点慢,不过也可以试试。
有网页说每天做成一个库,不知道在Oracle或sql server中怎么实现。 要存到哪里? 这么大的数据量,{:shocked:} 100000/8/3600 = 3.47如果是几条生产线同时开,且工作时间大于8小时,这个数据量不算大。
用 sqlsever 或者Oracle 数据库都可以。采用CS 构架。客户端读取条码后,获取检测数据,然后直接扔给服务器,服务器再存起来。
可以一个月建一张表,或者多个月建一张表。单张表几百万的数据,查询起来还是非常快的。更何况查询不是经常性的。 假如用记忆IC存不太可能,不然就用MMC或SD,在不然就用远端存在电脑端,快速查询不用数据库的话,速度就取决你的程式功力。 sqlsever2000就很轻松{:lol:} hyz_avr 发表于 2014-12-7 21:06
每天10万条.一年3650万条.够多的了.
一个表有千万级别的数据量在oracle里面算是小的表了 dawanpi 发表于 2014-12-9 12:37
一个表有千万级别的数据量在oracle里面算是小的表了
是的,但是仍然建议分几个表.比如按月. 使用数据库是肯定的
1、分表存储
2、根据时间建好索引,不然查询和排序很慢。 vmalloc 发表于 2014-12-9 14:17
使用数据库是肯定的
1、分表存储
2、根据时间建好索引,不然查询和排序很慢。 ...
产品编码中含有时间信息,计划按月分表存储。
软件方面现在还不知道选择哪个好 数据库轻松搞定,而且这个数据量并不算大,免费且开源的PostgreSQL,MySQL都可以。 mssql完全可以。现在我在使用每天367200条记录。完全没有问题,查询用记录日期坐index。 这是在搞什么产品呀,这么大的数据量? mq-life 发表于 2014-12-9 17:24
产品编码中含有时间信息,计划按月分表存储。
软件方面现在还不知道选择哪个好 ...
要看你的业务了
如果你的数据关系性比较复杂,而查询也比较频繁。那你可以考虑关系型数据库,如MYSQL,MSSQL,ORCALE等,然后在加上读缓存,比如memcached之类的,查询那是很快的。
如果你的数据没什么复杂关系,那你可以考虑一下nosql。
楼主需求不完整,仅仅看目前这点说明,可以试试mongodb。
vmalloc 发表于 2014-12-10 09:24
要看你的业务了
如果你的数据关系性比较复杂,而查询也比较频繁。那你可以考虑关系型数据库,如MYSQL,MSS ...
关系简单,每条数据对应一个序号,序号有重复,相同序号的时间肯定不会重复。 topzjm 发表于 2014-12-10 07:44
mssql完全可以。现在我在使用每天367200条记录。完全没有问题,查询用记录日期坐index。 ...
这个是收费的吧 fghfguytu 发表于 2014-12-10 08:18
这是在搞什么产品呀,这么大的数据量?
楼上不是有网友算了吗,一秒出3.7个产品,几条线同时开工,一秒出3.7个产品也很容易的的。 MySql, MSSql, SqlLite,FoxPro, Foxbase, Dbase....
好像混进了不正常的东西 mq-life 发表于 2014-12-10 17:27
关系简单,每条数据对应一个序号,序号有重复,相同序号的时间肯定不会重复。 ...
试试mongodb
另外mysql是完全免费的
现在叫做mariadb,是mysql的分支 vmalloc 发表于 2014-12-10 18:23
试试mongodb
另外mysql是完全免费的
现在叫做mariadb,是mysql的分支
多谢各位,计划使用python+mongodb,这几天才明白数据库是咋回事,原来应用程序还得自己写 firebird, interbase 不错,大家的数据库,上位机搞得很好呀
页:
[1]