FIL支持离线数据传输的意义

一、FIL为何诞生

FIL旨在存储世界上最有价值的信息，它基于区块链技术，创造了分布式存储交易市场。区块链技术提供了安全的存储保证，加密资产机制创造了动态的市场。

目前在全球范围内，我们每天都大约产生2.5亿字节的数据，其中一些数据涵盖了人类在科学、数学、艺术、历史和人文科学领域创造的最重要的信息。

然而当处理大量数据时，你就会发现我们很难通过Internet传输这些文件（昂贵且耗时）以进行保管。对于PB级数据集和更大的数据集，最明智的解决方案通常涉及在硬盘上传输数据。

因此，FIL想利用协议和项目制造的工具和结构来支持离线数据传输。

二、为什么要离线数据传输

决定在线还是离线传输数据，我们需要考虑两个关键因素：费用&时间。

举个例子：一个博物馆或图书馆（信息量巨大），希望在分布式web (dweb)上上传、存储和保护它的收藏。

（1）费用

线上传输：在当今的云服务中传输PB级数据需要通过多个区域发送数据，这会产生互连费和区域带宽费，如果你选择租用专用线路或考虑重试需求，还会产生额外费用。粗略的成本来看，仅带宽传输2.5 PB的数据就需要花费约140,000美元；如果跨区域传输这些数据，则成本会更高。

线下传输：考虑硬盘驱动器本身的成本，服务器级8TB驱动器的价格约为200美元。要传输2.5 PB的数据，你将需要大约315个硬盘驱动器，总计约为63,000美元。尽管你可能需要支付一些额外的运输，进口费用和货币兑换单位成本，但总体算下来成本远低于线上传输！

（2）时间

线上传输：以100Mbps的速度传输500TB的数据需要一年多的时间。

线下传输：用硬盘驱动器传输相同的数据仅需花费下载和发送的时间，大概一周之内就可以完成！

归根结底，很明显，在某些情况下，物理传输数据的成本效益更高且速度更快。

三、FIL如何支持离线传输

当存储较少的数据时，矿工和客户协商交易后，客户通常可以直接在线传输给矿工即可。

当存储大量的数据时，FIL的离线数据传输功能使客户可以离线完成数据传输步骤（例如，通过将硬盘从客户端运送到存储矿工），并按预期的顺序进行交易。

FIL会通过一个标志告诉客户端不要通过网络传输数据；而客户端会传递一个CID（描述数据的唯一标识符），矿工必须匹配该CID，才能通过交易。这为客户端节点提供了如何设置交易的灵活性，例如，在硬盘传递特定位置给矿工，以供他们用来生成分段CID的数据。

四、FIL项目如何支持离线传输

FIL Discover

该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘，并作为交换，获得额外FIL。

这是一种帮助FIL成为人类最重要的数据集之家的种子，并使其他人可以访问它的方法，也能扩大我们的知识库并形成新的想法。

存储设备提案

4月，FIL提出了一项有关存储设备（类似于AWS Snowball）的提案请求，以实现更快的离线数据传输。

该RFP的目标是构建冗余且安全的低成本硬盘解决方案。矿工可以在设定的期限内租用这些设备，以保持数据传输。客户端可以将数据加载到这些设备上，而矿工则在收到数据后将其卸载到自己的服务器上。

五、离线传输的意义

考虑一下海上的一艘潜水艇，它收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时，邮寄这些硬盘驱动器可能更有意义，而不是依靠在线数据传输。

在我们致力于web去中心化的过程中，大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来，EB级的数据传输（例如AWS Snowmobile）是数据传输发展的下一步。

最终，离线数据传输之类的解决方案将使FIL成为传统云存储平台的更强大替代品——如果存储成本下降，小企业也将能够节省更多的资金用于雇用或研发。

我是IPFS/FIL社区发起人晓熙（加入社区，联系v号： liandaoxixi），IPFS/FIL是全球共识最大的去中心化存储项目，我会定期在社区分享专业的资讯，为IPFS/FIL爱好者建设一个共赢的学习社区。

原文链接：https://fileDavinci.io/blog/offline-data-transfer-for-large-scale-data/