我们正在努力解决下载的瓶颈问题，欢迎网友自荐来东莞协助我们也请其它网友耐心等待

armok · 发表于 2011-4-28 09:18:06

提示: 作者被禁止或删除内容自动屏蔽

阿莫论坛20周年了！感谢大家的支持与爱护！！

曾经有一段真挚的爱情摆在我的面前，我没有珍惜，现在想起来，还好我没有珍惜……

skynet · 发表于 2011-4-28 09:29:30

噢噢耶耶,传说中的ISO阿,据说严打之后涨价了,哈哈哈,人肉也涨价了.....

USACH · 发表于 2011-4-28 09:29:47

这个需要顶。

linghu2 · 发表于 2011-4-28 09:30:59

回复【楼主位】armok 阿莫

东莞标准的ISO
-----------------------------------------------------------------------

好东东

可惜不懂服务器,否则请假去解决!

dmxfeng · 发表于 2011-4-28 09:32:21

东莞标准的ISO
我是看到这个才留言的

sfq2008 · 发表于 2011-4-28 09:34:37

我有个朋友是东莞理工计算机毕业的,听说是偏internet方面，听说现也是做这方面的工作，他人也在东莞，我帮你问问看。

sfq2008 · 发表于 2011-4-28 09:36:09

粪呀，打完几个字就变好几楼了

xinzhi1986 · 发表于 2011-4-28 09:49:01

ISO～诱人了～

winmcu · 发表于 2011-4-28 09:58:24

顶ISO

zhanji007 · 发表于 2011-4-28 10:09:31

谁能解释下ISO？？？
我敢肯定不是体系标准！

aleyn · 发表于 2011-4-28 10:11:48

被ISO吸进来了。。。

liuliuset · 发表于 2011-4-28 10:20:03

完全是好奇ISO才进来的。。。

roy2002 · 发表于 2011-4-28 10:20:05

ISO,ISO哦

fancier · 发表于 2011-4-28 10:22:26

找个双线路的机房做服务器托管不就可以了
难道跟服务器系统及此论坛的数据库及存储方式有关
选择适合的服务器系统及数据库方式对速度很有关系的

format · 发表于 2011-4-28 10:28:19

好像能下，速度不是很快的说

只会修电脑的路过了

aleyn · 发表于 2011-4-28 10:28:51

既要解决盗链问题，又要解决同一网络出口问题（特别是校内或网吧或公司），有点难度。
如果能加入MAC控制的话，估计会好一些。

miminzhang · 发表于 2011-4-28 10:30:13

如果加入验证下载，是不是可以限制恶意的动作？

yangyh75 · 发表于 2011-4-28 10:34:41

ISO——估计权威解释会被网管掉，只能猜。

FREEMIND · 发表于 2011-4-28 10:36:43

现在ISO是799，899，999了要不就是1299的

涨得比房价还快

dmxfeng · 发表于 2011-4-28 10:39:24

上次莫老板有上传过让大家学习的 iso 看后热血沸腾。

yyccaa · 发表于 2011-4-28 10:56:54

一般就是加防盗链和限制单个ip的并发连接个数之类手段吧，可能还要对一些抓站点的蜘蛛的user-agent进行屏蔽。

igbh · 发表于 2011-4-28 10:59:51

随便说一下，不是高手，说的不好请见谅。
论坛的附件下载，好像是不限进程数量和单进程速度的，个人认为大量带宽就是这样被盗链浪费的。

jiaowoxiaolu · 发表于 2011-4-28 11:01:09

ISO···噢耶！！呀咩爹！！

jrcsh · 发表于 2011-4-28 11:09:50

看能不能限制每IP 只能"连续"下载一小时或40分钟之后踢IP 在过个一小时或40分钟在解除

开发备用储存空间把流量分流出去比如利用 QQ的中转站或其它的弟三方存储空间来用于下载文件的分流

badman1111 · 发表于 2011-4-28 11:29:25

个人认为还是主要解决盗链的问题为主。下载既然能支持5000人同时在线应该已经不是问题了。主要是由于盗链导致的。

jpchen · 发表于 2011-4-28 11:42:17

建议针对附件下载服务器做如下处理：

1、用程序将附件(超过一定大小的，比如1M，或者是全部文件)转成BT种子，然后将真正的附件地址去掉，只提供BT种子，需下载的网友用迅雷或BT下载。种子转换可以在上传文件时直接进行，或者每天定时进行。

2、每个IP限定线程数，比如2个、5个。

现在BT和迅雷已经很普及了，即使有人没安装，安装一个也是很方便的，用BT方式来减轻服务器负担应该是比较好的，否则带宽费用真是不得了。

madara · 发表于 2011-4-28 11:50:04

下载服务器做下验证，只要是几秒~几分钟之前没有访问过WEB服务器的连接一律BAN。
并且，每IP要做连接数限制，两三个即可；每连接要做下载速度限制，三两百K的小文件可以不限制。

lvyi913 · 发表于 2011-4-28 11:57:10

帮顶！但是不歪楼，哈哈！

acekeen · 发表于 2011-4-28 11:57:48

其实要确定是带宽问题还是服务器的io瓶颈，如果是带宽问题，可以在附件服务器上再安装一个nginx作代理，限制盗链以及每ip的连接数、每连接的下载速度限制。如果是io问题，就需要通过服务器集群，并加上缓存来解决了。当然，cdn也是一种解决办法

tangfree · 发表于 2011-4-28 12:29:32

下载功能只有登录的用户才可以使用。这样也可以限制一部分的恶意下载，验证码一类的就算了，每次输都很火大，实在是看不懂啊，靠猜的。

mjele · 发表于 2011-4-28 12:31:47

帮顶。

谁要是解决了下载瓶颈，那就是给广大网友造福了。

在此先表示感谢。

XA144F · 发表于 2011-4-28 12:34:00

回复【30楼】tangfree
下载功能只有登录的用户才可以使用。这样也可以限制一部分的恶意下载，验证码一类的就算了，每次输都很火大，实在是看不懂啊，靠猜的。
-----------------------------------------------------------------------

这样就变味了……

但总是矛盾啊！

gzhuli · 发表于 2011-4-28 12:40:28

或许我可以帮下忙，不过带宽优化不是一两天能解决问题的，需要一段时间的持续观察和调整，现场处理估计不太现实，现场了解情况倒是需要的。

ITOP · 发表于 2011-4-28 12:45:12

高手出现了，我是抱着学习的态度进来的！

armok · 发表于 2011-4-28 12:51:18

提示: 作者被禁止或删除内容自动屏蔽

reynold520 · 发表于 2011-4-28 12:53:34

咕唧霖真是神人！各个方面都懂！

armok · 发表于 2011-4-28 12:57:04

提示: 作者被禁止或删除内容自动屏蔽

armok · 发表于 2011-4-28 13:00:33

提示: 作者被禁止或删除内容自动屏蔽

gzhuli · 发表于 2011-4-28 13:12:03

回复【35楼】armok 阿莫
我的想法是：
1. 每个ip要限制下载的总带宽
2. 每个ip要限制总的线程数。
但又不能干扰一些学校、大单位共用同一ip上我们网站。大家有什么好思路？

-----------------------------------------------------------------------

1. 区分会员和非会员下载服务器
2. 会员登录后根据用户帐号生成会员服务器下载链接，按用户帐号限制并发连接和带宽
3. 非会员用户分配到非会员服务器，按IP限制并发连接和带宽
4. 架设电驴服务器，对超过一定容量的附件，在一定时限之后（例如3个月）自动转换成电驴资源，由网站的服务器供源，不再提供HTTP下载链接。（这个比较复杂，需要一定的开发量，可视情况实施）

在大量资源长期保源方面，电驴比BT有优势，只要服务器保持供源，虽然可能要排队等很久，但是只要有耐心就一定能下载完。

adcr · 发表于 2011-4-28 13:12:11

回复【37楼】armok 阿莫
回复【29楼】acekeen
其实要确定是带宽问题还是服务器的io瓶颈，如果是带宽问题，可以在附件服务器上再安装一个nginx作代理，限制盗链以及每ip的连接数、每连接的下载速度限制。如果是io问题，就需要通过服务器集群，并加上缓存来解决了。当然，cdn也是一种解决办法
-----------------------------------------------------------------------
我们使用的是比较强悍的dell专业服务器，每台服务器有8个至强内核的，机型算是比较新的，主力机的内存是16g的，硬件应该没有问题。

-----------------------------------------------------------------------

限制每个IP连接数绝对不是好主意，需要的人，例如北方用户为了提高速度不得不用多线程工具。再加上学校、大单位共用同一IP的问题。
个人认为只能是识别用户名的办法。对于用户来说都下载资料了就不该再吝啬一个用户名了。所以谈不上影响什么。我们发贴不也得用户名吧。
然后可以根据用户名分析下载行为就像发贴一样确定哪些是恶意的哪些是正常的。

armok · 发表于 2011-4-28 13:13:20

提示: 作者被禁止或删除内容自动屏蔽

armok · 发表于 2011-4-28 13:33:46

提示: 作者被禁止或删除内容自动屏蔽

dogg · 发表于 2011-4-28 13:38:07

大部分带宽是被盗链的情况下，增加验证码校验和同时使用动态下载链接地址可以解决，大部分网盘都这样干

brat · 发表于 2011-4-28 13:56:29

下载百度文库的时候一般能到200K左右的速度
在网站下载能到几十K就已经不错了

对网络流量不是很懂，支持阿莫

另，最近发广告的有点多，比如42楼呵呵

wangrong · 发表于 2011-4-28 13:59:21

最近确实不能下载，很郁闷

amity · 发表于 2011-4-28 17:53:08

只允许登录了的网友下载,支持。

armok · 发表于 2011-4-28 17:56:08

提示: 作者被禁止或删除内容自动屏蔽

guowei681 · 发表于 2011-4-28 19:50:16

回复【20楼】FREEMIND

(原文件名:照片 012.jpg)

-----------------------------------------------------------------------

传说中的东莞ISO

wy2000 · 发表于 2011-4-28 20:02:46

如果采用登录才能下载的话。建议那些只登陆10次以内的暂时不允许下载！这些都是载完就再也不回来的人，对网站一点贡献都没有的。

huangdog · 发表于 2011-4-28 20:05:09

虽然去考了网络工程师，但服务器还是生疏很多~

sfq2008 · 发表于 2011-4-28 20:26:06

下载快了好多，有100多Ｋ，最多有185Ｋ
应该是盗链呀

yyccaa · 发表于 2011-4-28 20:36:28

象u115这样的网盘网站的方案会不会比较好，动态链接生成，且有有效时间，但支持断点续传，超时后可以再次点击，产生新链接后可断点续传，并且针对该动态链接地址的并发限制。

jrcsh · 发表于 2011-4-28 20:43:21

回复【27楼】madara
下载服务器做下验证，只要是几秒~几分钟之前没有访问过web服务器的连接一律ban。
并且，每ip要做连接数限制，两三个即可；每连接要做下载速度限制，三两百k的小文件可以不限制。
-----------------------------------------------------------------------

下载服务器做下验证，只要是几秒~几分钟之前没有访问过web服务器的连接一律ban。

非常好只要这1条就可以搞定大多数盗链的

cuit4017 · 发表于 2011-4-28 21:44:20

帮不上忙哎。。。。

AWEN2000 · 发表于 2011-4-28 22:23:10

验证码

大家下载麻烦些，但可以剔除大部分的盗链

不过验证码不要太难辨认

jlhgold · 发表于 2011-4-28 22:43:38

阿莫为什么不加入校验下载？我个人觉得如果是真的需要资源不是恶意盗链的话在乎那几秒的校验码填写吗？

fanwt · 发表于 2011-4-28 22:46:56

ISO是厉害，帮助解决问题的人远比围观ISO的多，呵呵，我是其中之一

icetea · 发表于 2011-4-29 01:54:06

http://blog.s135.com/index.php

zhuanzhuan · 发表于 2011-4-29 08:05:43

不考虑使用CDN技术么？

liangtao · 发表于 2011-4-29 09:06:01

我有个朋友是CIW大师级，我把这帖子转发给他看看他有没有兴趣。

wzp · 发表于 2011-4-29 09:18:07

觉得可以考虑每次生成页面的时候针对下载链接增加一个验证码，可通过URL把验证码加在里面
下载一次之后，就删除该验证码，那样每个下载链接只能使用一次。

另外把下载文件不要放在和JSP相同的目录，放在WEB-INF下面，下载的时候通过一个下载页面读取要下载的文件，并生成文件流发送到客户端

应能起到一定作用

menglongfc · 发表于 2011-4-29 09:26:13

iso2011标准，是啥子东西哦？

xday2001 · 发表于 2011-4-29 12:19:18

猜想一下，会不会是迅雷一类软件的原因？

另外，投入巨资搞传统下载服务器，在我看来是效率低下的一种选择，因为显然P2P是更优秀的技术。所以阿莫老大是不是也考虑一下往这方面发展？

当然，P2P的下载方式肯定要稍微复杂一些，但它是缓解服务器压力最好的方法

loutianming · 发表于 2011-4-29 12:36:43

要做大！搞几个镜像服务器吧！并发起来快，比单在东莞要快和可靠！
限制是必须的！注_册和推行自愿缴费用户优先！

90999 · 发表于 2011-4-29 13:30:02

我提议大文件由115和文件服务器（限制IP + 限速 + ID验证）。主力由115提供，文件服务器只是作为候补而已。

坛友可以直接上传到115或论坛，然后通知后台网管来合并处理。

1ongquan · 发表于 2011-4-29 21:35:05

好长时间没顺利下载大文件了,验证码可以是维持几十秒的下载权限,每个附件都要验证有些帖子的下载就麻烦得难以接受

sdram · 发表于 2011-4-29 22:17:14

有时分开正常下载和盗链下载会很难，就像这个帖子里有多少是关于下载的？有多少是关于ISO的？不如先登录再下载，技术上不难，用户使用也不难。

neutronlmk · 发表于 2011-4-29 22:22:08

登录用户自由下载，未登录用户下载前须输入验证码。

jing43 · 发表于 2011-4-29 22:33:31

帮不上忙，帮顶

tfdsensor · 发表于 2011-4-29 22:37:48

回复【56楼】AWEN2000
验证码
大家下载麻烦些，但可以剔除大部分的盗链
不过验证码不要太难辨认

-----------------------------------------------------------------------
类似验证码就可以了，区分是人是狗还是机器人在下载，显示个二极管问问这是个啥，显示个骨头图片问问是否爱吃
我就不信会有人做图像识别来实施盗链

vivalite · 发表于 2011-4-29 23:05:09

我觉得应该和那些专业文件下载服务商合作，如115，利用他们现有为下载优化过的服务器也许比自己买服务器和带宽便宜些。(他们海量批发带宽的网站会拿到更低的价，运营成本会比较低)

vivalite · 发表于 2011-4-29 23:11:41

过去我帮天空软件站做过防盗链系统，他们的盗链比OURDRV更严重很多倍。像他们那种非登录纯下载模式的网站反盗链作用很有限，和各地电信合作增加下载镜像服务器是传统下载站的唯一办法。

douyuyu · 发表于 2011-4-30 01:08:45

回复【楼主位】armok 阿莫
-----------------------------------------------------------------------
在论坛潜水几年。ourdev的确是国内少有的资料完整性和实用性很高的网站。
站在用户角度来说，网站体积大的资料下载的确体验不好，因为速度只有30k/s。（没有任何抱怨的意思。）
现在在出差，宾馆的网络不好，可能是联通电信跨网的原因，然后想到了一个可以缓解附件下载压力的方法。
如果阿莫可以把帖子附件资料打包（非整体压缩，这样可以下载种子里的单个文件）然后放在服务器上（类似于电子报之类半年合集的精华光盘，当然好资料才可以入选的。呵呵），然后在网站上发布BT种子。做种的时候做限速处理。

这个方法估计行得通。理由如下：
1。因为是精华资料，所以下载用户肯定很多，资源持续性和速度应该可以保障（这个资料包最好足够大，这样因为一时半会下不完，在线用户才会多）
2。上传服务器因为限速，负荷基本定死，不会有太大负担。
3。用户浏览帖子时时可以看到附件大小的，先去翻翻种子里有没有，如果bt够快的话，估计用户也会乐意，这样就可以抛开从网站直接下载构成的带宽压力了。

大体思路不知是否可行。

这让做面临的版权问题。说实话和大多数人一样，注_册时我也没看注_册时的协议。不知道如此发布是不是会牵扯版权问题。

只是发个思路。网站用户受益，网站也可以降低下载压力。不知道大家意见怎样？

douyuyu · 发表于 2011-4-30 01:15:27

资料附件是否可发布到精华种子中，最好可以让资料作者或资料发布者确认。

kingbbc · 发表于 2011-5-3 15:42:35

ISO是什么东东，莫非东莞的特色服务被写入服务标准了，与国际接轨了！！

albert_w · 发表于 2011-5-3 18:53:12

是否可以考虑把大附件分离出来P2P或者网盘，大附件通常为非原创性质的资源，具有一定的可替代性。
保留本地的小附件，小附件多为原创，本地保存比较安全。

另外就是限制任务数和线程数，服务器正常状态，即使另存为也能获得较大速度，而10线程肯定不能获得10倍速度，倒是加重服务器负担了。

然后guest用户搞验证码＋动态链接

如能事先分析出来主要资源消耗在哪里，就好对症下药。盗链能从http请求头看出来吧。
盗链？guest用户？小文件？大文件？多任务？多线程？

thomasming · 发表于 2011-5-5 10:17:33

回复【77楼】kingbbc
iso是什么东东，莫非东莞的特色服务被写入服务标准了，与国际接轨了！！
-----------------------------------------------------------------------

ISO0769：2011 版正式推行中。。。。

ijlc1314 · 发表于 2011-5-5 11:26:37

一点不懂这方面的，帮顶！

XA144F · 发表于 2011-5-5 15:14:52

回复【81楼】thomasming
回复【77楼】kingbbc
iso是什么东东，莫非东莞的特色服务被写入服务标准了，与国际接轨了！！
-----------------------------------------------------------------------
iso0769：2011 版正式推行中。。。。
-----------------------------------------------------------------------

iso0769-01:2011  Six service standards-part 01:Definition,Classify And Names
SIX服务标准规范-第一部分：SIX服务的定义、分类和名称

iso0769-02:2011  Six service standards-part 02：Movement Strength And Length of Time
SIX服务标准规范-第二部分：动作强度和持续时间

iso0769-02:2011  Six service standards-part 03：Feedback Procedure
SIX服务标准规范-第三部分：反馈程序

iso0769-02:2011  Six service standards-part 04：Disease Prophylaxis
SIX服务标准规范-第四部分：疾病预防

……………………………………
iso0769-02:2011  Six service standards-part 99：Escape policy
SIX服务标准规范-第九十九部分：逃跑策略

gzhuli · 发表于 2011-5-5 16:50:30

回复【83楼】XA144F
-----------------------------------------------------------------------

没有发音标准吗？

XA144F · 发表于 2011-5-5 17:18:25

回复【84楼】gzhuli 咕唧霖
回复【83楼】xa144f
-----------------------------------------------------------------------
没有发音标准吗？
-----------------------------------------------------------------------

iso0769-02:2011 Six service standards-part 05：Voice Standards
SIX服务标准规范-第五部分：发音标准

heihu20001 · 发表于 2011-5-16 01:12:26

能不能架设PT服务器，会员之间传送，服务器的压力不会很大，有条件的会员可以长期做种（我可以）

我们正在努力解决下载的瓶颈问题，欢迎网友自荐来东莞协助我们 也请其它网友耐心等待

阿莫论坛20周年了！感谢大家的支持与爱护！！

浏览过的版块

我们正在努力解决下载的瓶颈问题，欢迎网友自荐来东莞协助我们也请其它网友耐心等待