网络资源的下载方法 【技术领域】
本发明属于互联网技术领域，尤其涉及一种网络资源的下载方法。
背景技术
P2P(peer-to-peer对等联网)技术是近年来兴起的互连网技术，采用P2P架构可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节点上，利用其中闲置的计算能力和存储空间，达到高性能计算和海量存储的目的。
当越来越多的设备具备了直接接入互联网进行P2P下载的能力后，事实上形成了一种分布式下载的局面，现有的p2p技术使得一台设备可以从网络上的多个内容源获取数据，但是获取的数据只能存储在本地，其弊端在于不同的设备其之间下载数据的存储是分散的，这样无法将多个设备的下载能力形成合力。
因此，需要一种技术方案，可以做到协同调度多个P2P下载设备，使得多个设备不仅从互联网上的多个peer获取内容源，还可以将多个设备下载下来的数据汇总到同一个目的地进行存储，这种p2p下载方式将可以充分利用各种不同设备的特性和计算能力，极大地提高整体的下载速度和性能。
【发明内容】
本发明的目的在于提供一种网络资源下载的方法，旨在提高对网络资源的下载速度的问题。
本发明是这样实现的，一种网络资源的下载方法，所述的方法包括：
a、任务分配协调器可控制的线上设备中的至少一个向任务分配协调器发送下载请求；
b、所述的任务分配协调器查找其所控制的当前可执行下载任务的设备，并将整个下载任务分解后分配给各个可执行下载任务的线上设备；
c、各个执行下载任务的线上设备分别执行所分配的下载任务，并将下载的数据汇总至共同的目的地。
任务分配协调器控制的每个线上设备中，均运行一个任务分配协调器的代理程序，由该代理程序负责与任务分配协调器通信。
其中步骤b所述的将整个下载任务分解具体包括：将需要下载的文件按当前可执行下载任务的线上设备的数量进行分解，每一设备对应一分任务。
其中步骤c具体包括：
c1、各个执行下载任务的线上设备从网络中搜索存在所需要下载的网络资源的peer，当搜索到某peer存在属于自身分任务的网络资源时，转步骤c2，当搜索到某peer存在不属于自身分任务的网络资源时，转步骤c3；
c2、建立与该peer的连接，通过P2P方式下载属于自身任务的网络资源，将下载的数据汇总至所述共同的目的地；
c3、所述设备将该peer的信息返回给任务分配协调器，任务分配协调器再将该peer的信息转发给另一设备，所述另一设备所分配的分任务对应该peer存在的网络资源，所述另一设备通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至所述共同地目的地。
其中步骤c还包括：当其中一个执行下载任务的线上设备下线时，其代理程序将通知任务分配协调器，所述任务分配协调器将属于该下线设备的下载任务重新分配给其他仍在线工作的设备。
所述的共同目的地同样运行一个代理程序，所述代理程序统一接收来自不同线上设备下载的数据，将所述下载数据整理成一个完整的文件。
所述共同目的地由任务分配协调器指定。
所述共同目的地优选发起下载请求的设备。
本发明克服现有技术的不足，由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给网络中两个或者两个以上的有下载需求的设备，每个有下载需求的设备负责所分配任务的下载，各个设备将下载的数据汇总后存储在一个目标文件中。本发明提供的技术方案使得针对某个特定资源的下载任务将不再依赖某个单一的设备，任务被均衡地分配到了若干台不同的设备上，由这些设备同步下载，以最大限度地利用设备的计算资源和网络带宽，相比起目前的只能进行单个设备p2p下载，大大地提高了下载的速度和效率。
【附图说明】
图1是本发明实施例系统图。
【具体实施方式】
本发明提供的技术方案是：任务分配协调器可控制多个线上设备，其中至少一个线上设备向任务分配协调器发送下载请求；任务分配协调器查找其所控制的当前可执行下载任务的线上设备；由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给各个可执行下载任务的线上设备；各个执行下载任务的线上设备分别执行所分配的下载任务，将下载的数据汇总至共同的目的地。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的系统图如图1所示，包括多个内容源，如内容源1、内容源2、内容源3、......、内容源n，任务分配协调器和由其控制的多个线上设备，如手机、电脑和机顶盒等等。
其中，内容源为互联网上存储特定内容的节点(peer)。
任务分配协调器控制的多个线上设备如手机、电脑和机顶盒等等，至少一个线上设备有下载需求，或者多个线上设备对相同的网络资源有下载需求，需要下载的网络资源分布在多个内容源中。在任务分配协调器控制的每个线上设备中，均运行一个任务分配协调器的代理程序(agent)，由该代理程序负责与任务分配协调器之间的通信。任务分配协调器、各个线上设备均可接入互联网，，该任务分配协调器进行下载任务的分配，以及确保数据的完整性和一致性。任务分配协调器可以是一个专有的设备，也可以运行在承担下载任务的设备上。
有下载需求的线上设备向任务分配协调器发送下载请求，任务分配协调器查找其所控制的可执行下载任务的线上设备，这些可执行下载任务的线上设备包括发送下载请求的线上设备；由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给各个可执行下载任务的线上设备；
执行下载任务的各线上设备均通过互联网接入进行网络资源的下载，下载的数据再通过任务分配协调器写入同一个目的地文件中。
例如下载的请求可以由手机、电脑和机顶盒中的任意一个线上设备发起，或者不同的用户分别通过手机、电脑对同一网络资源发送下载请求时，运行在手机和电脑上的代理程序主动与任务分配协调器联系，任务分配协调器查找到可执行下载任务的线上设备有手机、电脑和机顶盒，并根据其接受到的下载的总任务情况将总任务分解成三个分任务，然后将三个分任务分别分配给手机、电脑和机顶盒。
任务分解及执行可以有多种策略，例如可以简单地将手机和电脑请求下载的文件分成头、中、尾三个部分，每个部分分别交给一个线上设备下载，执行下载任务的线上设备即手机、电脑和机顶盒分别从网络中搜索存在所需要下载的网络资源的peer，当搜索到某peer存在属于自身分任务的网络资源时，建立与该peer的连接，通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至共同的目的地；各个线上设备在搜索到某peer(节点)上的不属于自己分管的那部分资源时，将该peer的信息返回给任务分配协调器，任务分配协调器再将拥有该资源的peer的信息转发给该部分资源对应的线上设备，下载该部分资源的对应的设备通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至共同的目的地。这样，各个线上设备分别执行自身所分配的那部分资源的下载的分任务。
任务分解及执行也可以采用更复杂的策略：任务分配器协调器接受到其所控制的一个或多个线上设备的下载请求后，直接搜索互联网上对应的peer信息，搜索完成后，根据预定的策略，查找其所控制的可执行下载任务的线上设备，并将下载任务分配给各个可执行下载任务的线上设备执行，如设备A负责下载从0到xxx偏移量的数据内容，设备B负责下载从xxx+1到xxxx偏移量的数据内容，等等。
当某个线上设备下线时，其对应的代理程序将通知任务分配协调器，任务分配协调器再动态地改变任务的分配，将原本属于该下线设备的部分下载任务分配给其他仍然在线工作的设备。
各个执行下载任务的线上设备将下载下来的数据统一汇总至一个共同的目的地，在下载的目的地同样运行一个代理程序，代理程序统一接收来自不同线上设备下载的数据，将这些数据分段装配形成一个完整的文件。共同目的地由任务分配协调器指定，优选发起下载请求的设备，这样可以提高效率，减少不必要的数据转移。假定任务分配协调器可控制的线上设备有手机、电脑和机顶盒，本发明实施例流程具体包括如下的步骤：
1、手机、电脑和机顶盒中的一个设备或针对相同的网络资源有下载需求的两个设备向任务分配协调器发送下载请求；
2、发送下载请求的设备上的代理程序主动与任务分配协调器联系，任务分配协调器查找到可执行下载任务的线上设备有手机、电脑和机顶盒，根据下载的总任务情况将总任务分解成三个分任务；
3、任务分配协调器将三个分任务分别分配给手机、电脑和机顶盒；
4、手机、电脑和机顶盒分别执行自身所分配的下载任务；
5、手机、电脑和机顶盒将下载的数据汇总至一个共同的目的地，在该目的地运行的代理程序统一接收来自不同设备的数据，将这些数据分段装配起来形成一个完整的文件。
如上所述，本发明提供的技术方案使得针对某个特定资源的下载任务将不再依赖某个单一的设备，任务被均衡地分配到了若干台不同的设备上，由这些设备并发地同步下载，以最大限度地利用设备的计算资源和网络带宽，这样即使某台设备的临时离线也不会对整个下载行为造成完全中断的影响，尤其对于那些长时间处于开机模式或者拥有很好的网络接入资源的设备，是一种物尽其用的好办法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。