Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

qshell qupload2 多线程问题 #281

Open
jonny77 opened this issue Aug 18, 2020 · 9 comments
Open

qshell qupload2 多线程问题 #281

jonny77 opened this issue Aug 18, 2020 · 9 comments
Labels
question The issue is more of a question than a request for new features or a report of broken features.

Comments

@jonny77
Copy link

jonny77 commented Aug 18, 2020

--thread-count 取值范围是多少?

@forrest-mao forrest-mao added the question The issue is more of a question than a request for new features or a report of broken features. label Aug 18, 2020
@forrest-mao
Copy link

一般建议在 100 以内,看具体的操作和场景

@jonny77
Copy link
Author

jonny77 commented Aug 18, 2020

一般建议在 100 以内,看具体的操作和场景

使用命令行,添加这个参数貌似并没有加快上传速度

@jonny77
Copy link
Author

jonny77 commented Aug 18, 2020

妈的还有个问题.测试bucket,弄了很多文件.想直接干掉bucket.结果说里面有文件不允许删除.... 你们七牛没有目录的概念真的是蛋疼.....

@forrest-mao
Copy link

forrest-mao commented Aug 18, 2020

一般建议在 100 以内,看具体的操作和场景

使用命令行,添加这个参数貌似并没有加快上传速度

这个主要是增加并发上传的量,单个文件的上传速度还是取决于本地的上行带宽网络,qshell 一般可以跑满上行带宽网络,上行带宽可以用 https://www.speedtest.net/ 大致测试下速度

@forrest-mao
Copy link

妈的还有个问题.测试bucket,弄了很多文件.想直接干掉bucket.结果说里面有文件不允许删除.... 你们七牛没有目录的概念真的是蛋疼.....

  1. 避免有文件的空间直接删除,是避免用户误删除整个空间,导致业务上出现不必要的损失
  2. 完整删除空间文件,可以用 qshell 的 listbucket 先将空间文件列取出来,再用 qshell 的 batchdelete 来批量删除即可
  3. 因为是键值对的存储,所以目录其实可以用 a/b/c.jpg 类似的带前缀的文件名命名的方式来模拟就行

@jonny77
Copy link
Author

jonny77 commented Aug 18, 2020

一般建议在 100 以内,看具体的操作和场景

使用命令行,添加这个参数貌似并没有加快上传速度

这个主要是增加并发上传的量,单个文件的上传速度还是取决于本地的上行带宽网络,qshell 一般可以跑满上行带宽网络,上行带宽可以用 https://www.speedtest.net/ 大致测试下速度

得了吧.我的上行速度这么快,上传到七牛才1000KB 左右
image

@forrest-mao
Copy link

您是否方便在 https://support.qiniu.com/tickets/new/ 提交下工单,提供下具体您进行上传命令、账号、存储空间名、以及您的出口 IP 等相关信息,应该需要进一步来排查

@jonny77
Copy link
Author

jonny77 commented Aug 18, 2020

您是否方便在 https://support.qiniu.com/tickets/new/ 提交下工单,提供下具体您进行上传命令、账号、存储空间名、以及您的出口 IP 等相关信息,应该需要进一步来排查

同样一批文件:
图片同步到[aliyun]成功,用时:5.496s
图片同步到[qiniu]成功,用时:11.882s
七牛的命令:
/var/www/YLHD/demo/public/qshell qupload2 --src-dir=/var/www/YLHD/demo/public/upload/temp/panos/20200818/1/aab3238922bcc25a6f606eb525ffdc56 --bucket=my-testbucket2 --key-prefix=/panos/20200818/1/aab3238922bcc25a6f606eb525ffdc56/ --overwrite --thread-count=4 --log-file=/tmp/qiniu-upload-history-1-c4ca4238a0b923820dcc509a6f75849b.log

@jonny77
Copy link
Author

jonny77 commented Aug 18, 2020

image
使用客户端同步这一批文件 ..更慢...~~~~该优化一下咯

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question The issue is more of a question than a request for new features or a report of broken features.
Projects
None yet
Development

No branches or pull requests

2 participants