奇葩老板，三天之内要一个爬虫程序，怕是要丢饭碗了。...

dianzichina · 发表于 2017-6-27 22:50:41

说是要对某一网站进行关键字搜爬，爬到的信息全进XLS文档，晕了。。。。

求个现成的原码我改改也中啊。。。。

FireHe · 发表于 2017-6-27 22:52:55

大型网站还是小型网站？静态还是动态？

如果要编程实现，就用python，很多范例参考

如果要歪门邪道，是静态小型网站的话，可以用离线下载工具，然后用搜索工具遍历

dianzichina · 发表于 2017-6-27 23:09:02

FireHe 发表于 2017-6-27 22:52
大型网站还是小型网站？静态还是动态？

如果要编程实现，就用python，很多范例参考

大哥，不要开玩笑好不？要不您给个PYTHON例程一用，急着上焱了。。。。。谢谢先

FireHe · 发表于 2017-6-27 23:20:26

dianzichina 发表于 2017-6-27 23:09
大哥，不要开玩笑好不？要不您给个PYTHON例程一用，急着上焱了。。。。。谢谢先 ...

这个东西没有完全现成可以用的。都是根据实际需求调整的。
三天时间够了，学一学，google一下就差不多了

dianzichina · 发表于 2017-6-27 23:31:44

FireHe 发表于 2017-6-27 23:20
这个东西没有完全现成可以用的。都是根据实际需求调整的。
三天时间够了，学一学，google一下就差不多了 ...

你给个样本我改改也行啊，对一个大型的网站进行爬搜。。。。

semonpic · 发表于 2017-6-27 23:39:35

python 入门就是爬虫。自己去搜索搜索

solisgood · 发表于 2017-6-27 23:52:38

https://item.jd.com/11963485.html
用Python写网络爬虫
全面剖析爬虫技术的实现原理利用Python的强大功能从任意网站爬取数据
[澳] 理查德·劳森（Richard Lawson）著；李斌译
累计评价
2.6万+
京东价：
￥37.40 [8.4折] [定价：￥45.00] (降价通知)
促销信息：
满额返券购买自营图书满59元返文具180元东券详情 >>

柯铭凯 · 发表于 2017-6-28 00:25:30

楼主爬完没？》成功幸存可以抽空惠泽下苍生？

armok · 发表于 2017-6-28 01:42:46

提示: 作者被禁止或删除内容自动屏蔽

zxq6 · 发表于 2017-6-28 08:19:04

楼主河南的？

Xplain · 发表于 2017-6-28 08:26:27

楼主，还有两天

weiwei4 · 发表于 2017-6-28 08:31:59

莫大推荐的火车头数据采集器搜了下,好像很强大的样子

jianbo513 · 发表于 2017-6-28 09:13:31

Python3.X 爬虫实战（并发爬取）
http://blog.csdn.net/yanbober/article/details/73368769
可以参考下！

racede · 发表于 2017-6-28 09:15:53

不开玩笑用Python 3天还真差不多

liwey · 发表于 2017-6-28 09:16:07

单个网站解决方案太多了，实在不行，直接外包吧

3goodboy · 发表于 2017-6-28 09:36:23

有爬虫框架的，改一下规则就行了

mlhorizon · 发表于 2017-6-28 09:46:10

固定的网站，三天现写真的都够，那么多开源的，挑个自己熟悉的语言。
老大说的采集器也是个路子。

Excellence · 发表于 2017-6-28 13:43:27

第一念头想到的也是python

armok · 发表于 2017-6-28 13:47:32

提示: 作者被禁止或删除内容自动屏蔽

maoxue121225 · 发表于 2017-6-28 14:23:49

加班弄吧，别有啥怨言。

why1220 · 发表于 2017-6-28 16:18:15

ySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，有界面配置也就三个小时就可以开爬了

dianzichina · 发表于 2017-6-28 18:03:59

zxq6 发表于 2017-6-28 08:19
楼主河南的？

是的。来郑州了可以找我玩。

dianzichina · 发表于 2017-6-28 18:05:10

armok 发表于 2017-6-28 13:47
楼主不用折腾了。

我说的火车头，是权威的推荐，没有比它更好的。

谢谢，老板要的是自己的代码程序，不是找现成的爬虫工具。

yuyu87 · 发表于 2017-6-28 20:39:17

外包啊，发个网址我看看，

armok · 发表于 2017-6-28 21:04:11

提示: 作者被禁止或删除内容自动屏蔽

adda · 发表于 2017-6-29 18:06:32

armok 发表于 2017-6-28 21:04
你以为火车头只是一个工具？

你需要自己编写捕捉表达式的。

火车头是国内的最好的采集软件了

Ray______ · 发表于 2017-6-30 03:32:56

:)没想到路过这个帖子也有如此收货，感谢楼上的

xizi · 发表于 2017-6-30 07:46:29

搜到了“火车采集器”，不明觉厉。

yansw · 发表于 2017-6-30 08:18:26

armok 发表于 2017-6-28 13:47
楼主不用折腾了。

我说的火车头，是权威的推荐，没有比它更好的。

火车头采集确实好用
一年前我用火车头直接把宜家家居所有的商品信息每天导出一次，关注哪些产品销量比较好。

大东城主 · 发表于 2017-6-30 08:33:16

看看最后的结果

ayumi8 · 发表于 2017-6-30 08:57:09

楼主已经三天了结果怎么样了来关注下进度

xiaoliang8071 · 发表于 2017-6-30 15:02:58

三天了坐等楼主消息

gujiamao_love · 发表于 2017-6-30 15:05:18

yansw 发表于 2017-6-30 08:18
火车头采集确实好用
一年前我用火车头直接把宜家家居所有的商品信息每天导出一次，关注哪些产品销量比较 ...

大神，如何做这个功能？？

huangqi412 · 发表于 2017-6-30 17:24:46

网上有现成的可以做二次开发

chinazhaoyl · 发表于 2017-6-30 17:32:35

楼主正在工作中，大家稍安勿躁

yansw · 发表于 2017-6-30 18:49:08

gujiamao_love 发表于 2017-6-30 15:05
大神，如何做这个功能？？

宜家家居网站可以实时显示当前库存，只要每台早晨宜家家居上班前把所有产品的库存量先跑一遍保存，然后晚上下班后再跑一遍，做个差就知道每天的销售量了。

有些货物会突然增加库存，一般就是进货了，不过每次进货量都很大，能明显看出来。

我爱大秦 · 发表于 2017-7-1 05:28:03

楼主爬出来了吗？

gracialee · 发表于 2017-7-1 06:41:28

huangqi412 发表于 2017-6-30 17:24
网上有现成的可以做二次开发

留个种呗？

DevLabs · 发表于 2017-7-1 10:14:12

import scrapy
or
import requests
祝好运, 不过我没玩过哈哈

wiser803 · 发表于 2017-7-1 18:19:48

爬进容易爬出难吧.......

ddcour · 发表于 2017-11-11 09:22:30

多谢楼上各位！

biqi · 发表于 2017-11-18 09:31:04

长知识了。

szy494468597 · 发表于 2019-9-25 22:43:28

涨知识了，查查火车头去

thorn · 发表于 2019-9-25 22:47:48

这么老的帖子
不过还是长见识了

另外，现在满天飞的python教程，一般都是拿爬虫开始练手的

ponder2077 · 发表于 2019-9-26 06:33:11

长见识了

qtechzdh · 发表于 2019-9-26 09:10:29

一天学会从1024遍历小姐姐

atonghua · 发表于 2019-9-26 09:47:14

qtechzdh 发表于 2019-9-26 09:10
一天学会从1024遍历小姐姐

这个是极好的

ttoto · 发表于 2019-9-26 11:07:27

你叫这个老板给钱外包就好了。如果部肯给的话，还是尽快离职为妙。

1181zjf · 发表于 2019-9-26 12:14:13

lz离职了吗？

ldj7501 · 发表于 2019-9-26 16:42:23

楼主什么情况的？

xylx1219 · 发表于 2019-9-26 17:39:50

http://www.houyicaiji.com/

后羿采集器，楼主没辞职的话可以了解一下

小黑人嘿嘿 · 发表于 2020-2-10 19:56:12

瞅瞅

奇葩老板，三天之内要一个爬虫程序，怕是要丢饭碗了。...

阿莫论坛20周年了！感谢大家的支持与爱护！！