请问500MB左右的csv数据（示波器导出），用什么数据分析软件？

grj0719 · 发表于 2022-2-18 08:45:43

虚拟示波器picoScope导出的数据，请问大家这种情况一般用什么软件分析呢？
总共10M行。

Excel - 不支持，处理慢。支持1M行。
SciDAVis - 开源，初试一下，似乎也不支持。
Origin - 没有授权，不知道。
Matlab - 没有授权，让公司买，都会抖三抖。
数据类软件 - 不知道，但是估计对公式之类的工具支持不友好。
Python / R - 不会，听说还可以，关键是不花钱。

需求：
可以导入；
能绘制图表，如果能图形能漂亮一些就更好了；
可以做一些计算，比如平均值，滤波算法。

请教各位的经验！

grj0719 · 发表于 2022-2-18 08:54:10

转知乎上的一篇，但是我和他的需求有所不同。
https://www.zhihu.com/question/23367513

prow · 发表于 2022-2-18 09:03:55

你又不发论文，matlab用着呗

prow · 发表于 2022-2-18 09:06:17

另外，excel支持10M行的数据啊。csv格式我记得没有限制，xls最多65535行，xlsx也没有限制。以前用过csv和xlsx格式的十几万行数据

grj0719 · 发表于 2022-2-18 09:15:53

prow 发表于 2022-2-18 09:06
另外，excel支持10M行的数据啊。csv格式我记得没有限制，xls最多65535行，xlsx也没有限制。以前用过csv和xl ...
(引用自4楼)

xls是这个行数限制，xlsx大概是1M行，
https://support.microsoft.com/en ... e-8e27-269d656771c3

Total number of rows and columns on a worksheet. 1,048,576 rows by 16,384 columns ...

gmyu · 发表于 2022-2-18 09:22:38

python用第三方的库和vba没啥区别，花一两天学学有必要。

爱晴海玩偶 · 发表于 2022-2-18 09:24:16

Python处理吧，几G数据都可以搞

aammoo · 发表于 2022-2-18 10:05:06

试试octave，跟matlab差不多
https://www.gnu.org/software/octave/index

wangjiati · 发表于 2022-2-18 10:14:04

导入数据库，再用PowerBI

wudicgi · 发表于 2022-2-18 10:19:26

临时用用，在公司可以把 matlab 装在一个断网的虚拟机里
matlab 处理数据和画图都方便一些

对 python 比较熟的话可以用 python, 好像有还不错的 plot 库

huangqi412 · 发表于 2022-2-18 14:47:55

CSV就是分隔文本，能读字符串的都能处理。表格处理软件都限制了行数的，但是编程是不会限制的。要么分隔成多个文件用图表软件处理，要么编程处理吧。

huangqi412 · 发表于 2022-2-18 14:53:11

编程关键是要省力的图形表达能力，PY和matlab都不错。切割多个文件再用EXCEL处理后拼合也是方便的。具体看你实际需求，别说只是拉个曲线看看，或者把示波器当逻辑仪用？

tomzbj · 发表于 2022-2-18 16:25:41

就python吧, 学个两三天就行了, 也不用全学会, 从10行里抽一行出来, 保存了再用excel处理不就行了. origin也好用, 不比excel复杂多少, 网上有绿色版下载.

vea_zhang · 发表于 2022-2-19 03:56:31

elasticsearch

simplorer · 发表于 2022-2-19 08:05:50

python吧，去年我有一批周立功CAN分析仪的数据需要分析，抽取异常的点。
边学边用，大概3 4天实现了这个功能。
python语法啥的到现在我也不会，只是实现了功能。

tangnyzl · 发表于 2022-2-19 10:11:55

测试了 ,xls打开很慢

Andrewz · 发表于 2022-2-19 11:34:36

本帖最后由 Andrewz 于 2022-2-19 11:36 编辑

给你两行python代码.轻松实现csv导入dataframe:
import pandas as pd
df=pd.read_csv(file_path,header=0,index_col=None,na_values=['NA'])

一行代码,实现数据修改:
df.iat[1,2]="呵呵"

一行代码保存csv:
df.to_csv(file_path)

注意:file_path是包含.csv的完整路径.如:r"D:\你好，python很开放.csv"

剩下的什么lambda,re,matplotlib就看自己造化了...

as_920 · 发表于 2022-2-19 18:13:44

厂家提供的分析软件

qwe2231695 · 发表于 2022-2-19 19:06:20

学一下python吧，每天2-3小时，1周搞定，用得着的

hugohehuan · 发表于 2022-2-19 19:11:13

我用的Octave，和Matlab兼容
就是速度很慢，100万行的csv导入要40秒左右

gsq19920418 · 发表于 2022-2-21 14:33:35

Octave吧！！！

grj0719 · 发表于 2022-2-25 08:38:32

Andrewz 发表于 2022-2-19 11:34
给你两行python代码.轻松实现csv导入dataframe:
import pandas as pd
df=pd.read_csv(file_path,header=0,i ...
(引用自17楼)

谢谢！对python再次心动！

grj0719 · 发表于 2022-2-25 08:39:07

谢谢各位！不一一回复了。

请问500MB左右的csv数据（示波器导出），用什么数据分析软件？

本帖子中包含更多资源

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源