某个网站发布了新的网页,互联网搜索引擎是怎样知道的?
全球那么多的网站,他一个一个扫描?而且如果有新的站点加入他又是怎样知道域名?知道域名了,有新的网页发布他又是如何知道?另外谷歌不是已经退出了大陆吗?怎么还能搜索到?谁来科普一下具体的原理?谷歌更聪明,多少个帖子,多少位作者都识别出来了。 爬虫。。。。 glacier1 发表于 2020-6-24 09:32
爬虫。。。。
说说原理,好让以后有需要的网友也能从这里得到认识。 楼主你通过非法定信道连接国际互联网,赶紧改正。 vtte 发表于 2020-6-24 09:44
楼主你通过非法定信道连接国际互联网,赶紧改正。
我让不在大陆的朋友帮我搜索后截图给我的。 爬虫,除非网页没有其他外链。不然爬虫就可以从其他链接爬到这个网页。但是没链接的网页给谁看呢,只有知道URL才能打开。 shawn_bu 发表于 2020-6-24 10:09
爬虫,除非网页没有其他外链。不然爬虫就可以从其他链接爬到这个网页。但是没链接的网页给谁看呢,只有知道 ...
你忘了暗网了? wye11083 发表于 2020-6-24 10:13
你忘了暗网了?
没研究过暗网,暗网是啥? 新网站可以ping搜索引擎提醒它索引,旧网站基本上更新频繁就索引快 搜索引擎的爬虫会根据网站的评级,自动定时过来搜集新的url 爬虫,巨大的爬虫收集页面。
页:
[1]