[求助]每天100000条数据，该如何实现保存与查询

mq-life · 发表于 2014-12-7 19:26:26

如题，每天产生100000条数据，每条数据包含：序号、日期时间、值1、值2、值3、值4
请教大家如何保存这些数据，如何实现快速查询，

babysnail · 发表于 2014-12-7 19:37:28

数据库啊！

gwnpeter · 发表于 2014-12-7 20:06:04

2楼真相

GunGun · 发表于 2014-12-7 20:13:08

2楼真相

xydang · 发表于 2014-12-7 20:20:51

2楼真相

bjj9217 · 发表于 2014-12-7 20:22:53

自古真相出二楼！

hackdj · 发表于 2014-12-7 20:37:54

自古真相出二楼

yanghuanchun · 发表于 2014-12-7 20:39:32

这么大的数据量，楼主用什么开发的

一心2013 · 发表于 2014-12-7 21:00:16

我只能想到安防类的有这么大的数据量，其他的不了解，这种一般都有数据库来处理啊

hyz_avr · 发表于 2014-12-7 21:06:20

每天10万条.一年3650万条.够多的了.

Edesigner. · 发表于 2014-12-7 21:49:03

标题没有交待清楚是什么架构。如果是联网实时传给服务器，可以用SQL。如果是本地用SD卡，可以用sqlite。记住最好每天一个库。否则写坏了整个文件丢失。

mq-life · 发表于 2014-12-9 07:52:46

一心2013 发表于 2014-12-7 21:00
我只能想到安防类的有这么大的数据量，其他的不了解，这种一般都有数据库来处理啊 ...

生产的产品数据

mq-life · 发表于 2014-12-9 07:54:01

Edesigner. 发表于 2014-12-7 21:49
标题没有交待清楚是什么架构。如果是联网实时传给服务器，可以用SQL。如果是本地用SD卡，可以用sqlite。记 ...

局域网内的几台电脑能提交、访问即可，请指教。

hxdma · 发表于 2014-12-9 08:10:57

数据库，mysql或者mssql，每月一个表，不要都放在一个表里

nydxsydt0 · 发表于 2014-12-9 08:13:21

sqlite

uid81 · 发表于 2014-12-9 08:13:47

不知道你要做什么样的查询，保存到带日志的数据库系统估计会有很多后期维护的问题，保存到不带日志的数据库完整性也是问题。所以要看应用要求

sunjianmax232 · 发表于 2014-12-9 08:16:36

如果需要保存相当长时间的数据，那么可能得用个windows2003 server+Oracle当服务器，其它局域网的电脑装XP或win7当成客户机，典型的简单C/S结构。用sql server数据量特别多的时候查询有点慢，不过也可以试试。
有网页说每天做成一个库，不知道在Oracle或sql server中怎么实现。

wt3333 · 发表于 2014-12-9 08:17:58

要存到哪里?

gfy200866 · 发表于 2014-12-9 08:23:58

这么大的数据量，

mcu_lover · 发表于 2014-12-9 08:40:10

100000/8/3600 = 3.47 如果是几条生产线同时开，且工作时间大于8小时，这个数据量不算大。
用 sqlsever 或者Oracle 数据库都可以。采用CS 构架。客户端读取条码后，获取检测数据，然后直接扔给服务器，服务器再存起来。
可以一个月建一张表，或者多个月建一张表。单张表几百万的数据，查询起来还是非常快的。更何况查询不是经常性的。

peecehood · 发表于 2014-12-9 09:03:17

假如用记忆IC存不太可能，不然就用MMC或SD，在不然就用远端存在电脑端，快速查询不用数据库的话，速度就取决你的程式功力。

vc9181 · 发表于 2014-12-9 11:24:43

sqlsever2000就很轻松

dawanpi · 发表于 2014-12-9 12:37:01

hyz_avr 发表于 2014-12-7 21:06
每天10万条.一年3650万条.够多的了.

一个表有千万级别的数据量在oracle里面算是小的表了

hyz_avr · 发表于 2014-12-9 13:20:33

dawanpi 发表于 2014-12-9 12:37
一个表有千万级别的数据量在oracle里面算是小的表了

是的,但是仍然建议分几个表.比如按月.

vmalloc · 发表于 2014-12-9 14:17:20

使用数据库是肯定的
1、分表存储
2、根据时间建好索引，不然查询和排序很慢。

mq-life · 发表于 2014-12-9 17:24:02

vmalloc 发表于 2014-12-9 14:17
使用数据库是肯定的
1、分表存储
2、根据时间建好索引，不然查询和排序很慢。 ...

产品编码中含有时间信息，计划按月分表存储。
软件方面现在还不知道选择哪个好

zhaomzs · 发表于 2014-12-10 06:56:36

数据库轻松搞定，而且这个数据量并不算大，免费且开源的PostgreSQL，MySQL都可以。

topzjm · 发表于 2014-12-10 07:44:46

mssql完全可以。现在我在使用每天367200条记录。完全没有问题，查询用记录日期坐index。

fghfguytu · 发表于 2014-12-10 08:18:26

这是在搞什么产品呀，这么大的数据量?

vmalloc · 发表于 2014-12-10 09:24:23

mq-life 发表于 2014-12-9 17:24
产品编码中含有时间信息，计划按月分表存储。
软件方面现在还不知道选择哪个好 ...

要看你的业务了
如果你的数据关系性比较复杂，而查询也比较频繁。那你可以考虑关系型数据库，如MYSQL,MSSQL,ORCALE等，然后在加上读缓存，比如memcached之类的，查询那是很快的。
如果你的数据没什么复杂关系，那你可以考虑一下nosql。
楼主需求不完整，仅仅看目前这点说明，可以试试mongodb。

mq-life · 发表于 2014-12-10 17:27:40

vmalloc 发表于 2014-12-10 09:24
要看你的业务了
如果你的数据关系性比较复杂，而查询也比较频繁。那你可以考虑关系型数据库，如MYSQL,MSS ...

关系简单，每条数据对应一个序号，序号有重复，相同序号的时间肯定不会重复。

mq-life · 发表于 2014-12-10 17:29:02

topzjm 发表于 2014-12-10 07:44
mssql完全可以。现在我在使用每天367200条记录。完全没有问题，查询用记录日期坐index。 ...

这个是收费的吧

mq-life · 发表于 2014-12-10 17:31:06

fghfguytu 发表于 2014-12-10 08:18
这是在搞什么产品呀，这么大的数据量?

楼上不是有网友算了吗，一秒出3.7个产品，几条线同时开工，一秒出3.7个产品也很容易的的。

cddxhy · 发表于 2014-12-10 18:18:36

MySql, MSSql, SqlLite,FoxPro, Foxbase, Dbase....
好像混进了不正常的东西

vmalloc · 发表于 2014-12-10 18:23:32

mq-life 发表于 2014-12-10 17:27
关系简单，每条数据对应一个序号，序号有重复，相同序号的时间肯定不会重复。 ...

试试mongodb
另外mysql是完全免费的
现在叫做mariadb，是mysql的分支

mq-life · 发表于 2014-12-10 20:52:51

vmalloc 发表于 2014-12-10 18:23
试试mongodb
另外mysql是完全免费的
现在叫做mariadb，是mysql的分支

多谢各位，计划使用python+mongodb，这几天才明白数据库是咋回事，原来应用程序还得自己写

wh9602 · 发表于 2014-12-11 11:44:46

firebird, interbase

wwkkww · 发表于 2014-12-13 20:52:31

不错，大家的数据库，上位机搞得很好呀

[求助]每天100000条数据，该如何实现保存与查询

阿莫论坛20周年了！感谢大家的支持与爱护！！

浏览过的版块