dianzichina 发表于 2017-6-27 22:50:41

奇葩老板，三天之内要一个爬虫程序，怕是要丢饭碗了。...

说是要对某一网站进行关键字搜爬，爬到的信息全进XLS文档，晕了。。。。

求个现成的原码我改改也中啊。。。。

FireHe 发表于 2017-6-27 22:52:55

{:lol:}大型网站还是小型网站？静态还是动态？

如果要编程实现，就用python，很多范例参考

如果要歪门邪道，是静态小型网站的话，可以用离线下载工具，然后用搜索工具遍历{:lol:}

dianzichina 发表于 2017-6-27 23:09:02

FireHe 发表于 2017-6-27 22:52
大型网站还是小型网站？静态还是动态？

如果要编程实现，就用python，很多范例参考


大哥，不要开玩笑好不？要不您给个PYTHON例程一用，急着上焱了。。。。。谢谢先

FireHe 发表于 2017-6-27 23:20:26

dianzichina 发表于 2017-6-27 23:09
大哥，不要开玩笑好不？要不您给个PYTHON例程一用，急着上焱了。。。。。谢谢先 ...

这个东西没有完全现成可以用的。都是根据实际需求调整的。
三天时间够了，学一学，google一下就差不多了

dianzichina 发表于 2017-6-27 23:31:44

FireHe 发表于 2017-6-27 23:20
这个东西没有完全现成可以用的。都是根据实际需求调整的。
三天时间够了，学一学，google一下就差不多了 ...

你给个样本我改改也行啊，对一个大型的网站进行爬搜。。。。

semonpic 发表于 2017-6-27 23:39:35

python 入门就是爬虫。自己去搜索搜索

solisgood 发表于 2017-6-27 23:52:38

https://item.jd.com/11963485.html
用Python写网络爬虫
全面剖析爬虫技术的实现原理 利用Python的强大功能从任意网站爬取数据
[澳] 理查德·劳森（Richard Lawson） 著；李斌 译
累计评价
2.6万+
京 东 价：
￥37.40 [定价：￥45.00] (降价通知)
促销信息：
满额返券购买自营图书满59元返文具180元东券 详情 >>

柯铭凯 发表于 2017-6-28 00:25:30

楼主爬完没？》成功幸存可以抽空惠泽下苍生？

armok 发表于 2017-6-28 01:42:46

zxq6 发表于 2017-6-28 08:19:04

楼主河南的？

Xplain 发表于 2017-6-28 08:26:27

楼主，还有两天

weiwei4 发表于 2017-6-28 08:31:59

莫大推荐的火车头数据采集器搜了下,好像很强大的样子

jianbo513 发表于 2017-6-28 09:13:31

Python3.X 爬虫实战（并发爬取）
http://blog.csdn.net/yanbober/article/details/73368769
可以参考下！

racede 发表于 2017-6-28 09:15:53

不开玩笑 用Python 3天还真差不多

liwey 发表于 2017-6-28 09:16:07

单个网站解决方案太多了，实在不行，直接外包吧

3goodboy 发表于 2017-6-28 09:36:23

有爬虫框架的，改一下规则就行了

mlhorizon 发表于 2017-6-28 09:46:10

固定的网站，三天现写真的都够，那么多开源的，挑个自己熟悉的语言。
老大说的采集器也是个路子。

Excellence 发表于 2017-6-28 13:43:27

第一念头想到的也是python

armok 发表于 2017-6-28 13:47:32

maoxue121225 发表于 2017-6-28 14:23:49

加班弄吧，别有啥怨言。

why1220 发表于 2017-6-28 16:18:15

ySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，有界面配置也就三个小时就可以开爬了

dianzichina 发表于 2017-6-28 18:03:59

zxq6 发表于 2017-6-28 08:19
楼主河南的？

是的。来郑州了可以找我玩。

dianzichina 发表于 2017-6-28 18:05:10

armok 发表于 2017-6-28 13:47
楼主不用折腾了。

我说的火车头，是权威的推荐，没有比它更好的。


谢谢，老板要的是自己的代码程序，不是找现成的爬虫工具。

yuyu87 发表于 2017-6-28 20:39:17

外包啊，发个网址我看看，

armok 发表于 2017-6-28 21:04:11

adda 发表于 2017-6-29 18:06:32

armok 发表于 2017-6-28 21:04
你以为火车头只是一个工具？

你需要自己编写捕捉表达式的。


火车头是国内的最好的采集软件了

Ray______ 发表于 2017-6-30 03:32:56

:)没想到路过这个帖子也有如此收货，感谢楼上的

xizi 发表于 2017-6-30 07:46:29

搜到了“火车采集器”，不明觉厉。

yansw 发表于 2017-6-30 08:18:26

armok 发表于 2017-6-28 13:47
楼主不用折腾了。

我说的火车头，是权威的推荐，没有比它更好的。


火车头采集确实好用
一年前我用火车头直接把宜家家居所有的商品信息每天导出一次，关注哪些产品销量比较好。

大东城主 发表于 2017-6-30 08:33:16

看看最后的结果

ayumi8 发表于 2017-6-30 08:57:09

楼主 已经 三天了结果怎么样了    来关注下进度

xiaoliang8071 发表于 2017-6-30 15:02:58

三天了 坐等楼主消息

gujiamao_love 发表于 2017-6-30 15:05:18

yansw 发表于 2017-6-30 08:18
火车头采集确实好用
一年前我用火车头直接把宜家家居所有的商品信息每天导出一次，关注哪些产品销量比较 ...

大神，如何做这个功能？？

huangqi412 发表于 2017-6-30 17:24:46

网上有现成的可以做二次开发

chinazhaoyl 发表于 2017-6-30 17:32:35

楼主正在工作中，大家稍安勿躁

yansw 发表于 2017-6-30 18:49:08

gujiamao_love 发表于 2017-6-30 15:05
大神，如何做这个功能？？

宜家家居网站可以实时显示当前库存，只要每台早晨宜家家居上班前把所有产品的库存量先跑一遍保存，然后晚上下班后再跑一遍，做个差就知道每天的销售量了。

有些货物会突然增加库存，一般就是进货了，不过每次进货量都很大，能明显看出来。

我爱大秦 发表于 2017-7-1 05:28:03

楼主爬出来了吗？

gracialee 发表于 2017-7-1 06:41:28

huangqi412 发表于 2017-6-30 17:24
网上有现成的可以做二次开发

留个种呗？

DevLabs 发表于 2017-7-1 10:14:12

import scrapy
or
import requests
祝好运, 不过我没玩过哈哈

wiser803 发表于 2017-7-1 18:19:48

爬进容易爬出难吧....... {:lol:}

ddcour 发表于 2017-11-11 09:22:30

多谢楼上各位！

biqi 发表于 2017-11-18 09:31:04

长知识了。{:shy:}

szy494468597 发表于 2019-9-25 22:43:28

涨知识了，查查火车头去

thorn 发表于 2019-9-25 22:47:48

这么老的帖子
不过还是长见识了

另外，现在满天飞的python教程，一般都是拿爬虫开始练手的

ponder2077 发表于 2019-9-26 06:33:11

长见识了

qtechzdh 发表于 2019-9-26 09:10:29

一天学会从1024遍历小姐姐

atonghua 发表于 2019-9-26 09:47:14

qtechzdh 发表于 2019-9-26 09:10
一天学会从1024遍历小姐姐

这个是极好的

ttoto 发表于 2019-9-26 11:07:27

你叫这个老板给钱外包就好了。如果部肯给的话，还是尽快离职为妙。

1181zjf 发表于 2019-9-26 12:14:13

lz离职了吗？

ldj7501 发表于 2019-9-26 16:42:23

楼主什么情况的？

xylx1219 发表于 2019-9-26 17:39:50

http://www.houyicaiji.com/

后羿采集器，楼主没辞职的话可以了解一下

小黑人嘿嘿 发表于 2020-2-10 19:56:12

瞅瞅               
页: [1]
查看完整版本: 奇葩老板，三天之内要一个爬虫程序，怕是要丢饭碗了。...