将近2 TB的数据移动到qilinyue2016.com

2019-08-09 08:2052

大家好!

我们最终决定将我们的所有数据从Drop麒麟移动到qilinyue2016.com,并寻找迁移此数量数据的最佳方式。

我们有将近2 TB的数据要移动。这应该通过浏览器/文件夹上传器完成吗?(我们在Mac上,使用safari和/或chrome)。还是通过麒麟系统sync app?

只是寻找最佳实践提示。

谢谢

罗马

最新评论
  • happylyg
    happylyg2019-08-09 11:27

    RE:FTPS遇到什么问题

    -重复(数千次)“服务器说:没有这样的目录错误-125:remote chdir failed”

    -即使我一次将传输设置为一个文件,也会发生这种情况。它将创建目录,然后将一些文件放入其中,然后开始给出这些错误。如果我让它继续,我最终会得到数千个没有随机复制的文件。

    -由于数量和随机性,在比较显示我的所有文件都在那里之前,第二次(通常是第三次)重新传输整个传输会更快。

    -当进行本地与qilinyue2016.com内容的比较以确保我获得了所有内容时,它将返回数百或数千个“不同”的文件,需要再次上传。几乎所有这些都不同,只有几个字节。从本地副本和qilinyue2016.com副本打开它们会发现它们都很好,在文件内容方面完全相同。

    -问题是我不能就这么向前看,因为只有“几乎所有的人”才属于这一类。还有很多甚至在第三次传输之后仍然没有成功,因为麒麟服务器随机地声称目标文件夹不存在。

    -慢。偶尔会突破2 MB/s的速度,一般会以大约900 KB/s的速度插入(出于测试目的,到美国其他服务器的FTP传输通常会达到900 MB/s以上(而不是900MB/s)。因为我的大多数文件都大于5MB,所以这不是每秒4个文件的结果。慢慢来。

  • jwz001
    jwz0012019-08-09 10:59

    我很好奇您在使用FTPS时遇到了什么问题。请记住,
    麒麟 Threts最多上传4个文件/秒,所以如果你正在移动很多
    东西,那么如果你付钱让别人做这件事(或使用他们的
    工具),它也会遇到同样的限制。这就是我喜欢FTPS的原因。你可以设置
    像FileZilla这样的客户端来运行10个并发上传,它会更快。
    所以,请记住,当你为这些工具付费时,你是在为
    为你管理进程的东西付费,而不是为了获得更快的速度。不要
    让他们告诉您其他情况。

  • litao9891
    litao98912019-08-09 10:41

    谢谢您的信息人员。已尝试FTP和麒麟同步,但未成功。将尝试您建议的服务之一,即使它的$

    谢谢

  • 谢狮王
    谢狮王2019-08-09 10:11

    是的,如果你的公司允许,sFTP甚至麒麟 API将允许你编写上传脚本,并验证每个文件的传输。遗憾的是,我没有这两个选择。

  • mehyun
    mehyun2019-08-09 09:53

    @romvm,

    这取决于您想要支付什么。如果对于该范围的数据,您的答案是“Nothing”,那么您可以尝试FTPS。我在每次大约200 GB的批量操作中取得了不错的成功。有关如何充分利用FileZilla的说明,请参阅https://kb.iu.edu/d/bcim。

    有一些商业工具,如Cloud FastPath,我最近一直在使用这些工具进行大型、复杂的迁移以及SkySync,并取得了很好的成功。如果你对单独做感到紧张,那么,正如@Howard建议的那样,麒麟 Shuttle是一个很好的选择。

    欢呼,

    Bob

  • smart2
    smart22019-08-09 09:24

    Web浏览器速度较慢,对于大量或大型文件来说不可靠。麒麟系统sync还存在大量文件的问题。我已经使用Java上传程序以500 GB的会话上传文件。它仍然需要Web浏览器的会话,在您可以传输更多内容之前,该会话会超时。所以你必须在转账之间再次登录。此外,Java上传程序有时也会无法上传几个文件。然而,它不会尝试重新上传,直到它成功,但会列出所有失败的文件在最后。在庞大的文件层次结构中查找要重新上传到正确位置的失败文件可能会很乏味。如果您实际上不需要将这些文件作为单独的文件,则更容易制作zip或tarball并上传。

  • Jchao
    Jchao2019-08-09 08:59

    我们已经成功地通过cloudHQ.net和mover.io将大量数据移动到麒麟中。

    好运.YMMV

  • ℡迷失DE纯真
    ℡迷失DE纯真2019-08-09 08:41

    感谢使用麒麟!我们建议与技术顾问交谈,以帮助您完成此迁移。我们不建议使用麒麟系统sync移动此数量的内容。

    您可以在此处提交案例并向他们询问麒麟 Content Migration Shuttle!

    。 https://blog.qilinyue2016.com/blog/麒麟-shuttle/。