查看: 77461|回复: 8

[使用教程] 如何进行大文件上传

[复制链接]
  • TA的每日心情
    开心
    2016-2-22 10:16
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    发表于 2016-5-4 10:11:06 | 显示全部楼层 |阅读模式
    如何进行大文件上传

    1、有开发能力的用户可以通过OOS API或SDK来操作

    • 5GB以下文件或网络速度好的用户,可以使用PUT object ;

    • 5GB以上或网络速度不好并且文件在100M以上的用户推荐使用Multipart Upload


    2、无开发基础客户可下载OOS客户端,请参考http://oos.ctyun.cn/oos/product/tools.html


    回复

    使用道具 举报

    该用户从未签到

    发表于 2017-3-16 09:19:05 | 显示全部楼层
    你好,天翼云对象存储支持单个文件最大是几个G?
    使用Multipart Upload上传时经常会出现超时的问题如何解决?
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2017-3-16 09:22:21 | 显示全部楼层
    单个文件400M左右和1G左右的上传都会出现超时的情况

    com.amazonaws.AmazonClientException: Unable to execute HTTP request: Read timed out
            at com.amazonaws.http.AmazonHttpClient.executeHelper(AmazonHttpClient.java:363)
            at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:199)
            at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:3000)
            at com.amazonaws.services.s3.AmazonS3Client.completeMultipartUpload(AmazonS3Client.java:2164)
            at com.amazonaws.services.s3.transfer.internal.UploadMonitor.completeMultipartUpload(UploadMonitor.java:223)
            at com.amazonaws.services.s3.transfer.internal.UploadMonitor.poll(UploadMonitor.java:170)
            at com.amazonaws.services.s3.transfer.internal.UploadMonitor.call(UploadMonitor.java:139)
            at com.amazonaws.services.s3.transfer.internal.UploadMonitor.call(UploadMonitor.java:48)
            at java.util.concurrent.FutureTask.run(FutureTask.java:266)
            at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
            at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
            at java.lang.Thread.run(Thread.java:745)
    Caused by: java.net.SocketTimeoutException: Read timed out
            at java.net.SocketInputStream.socketRead0(Native Method)
            at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
            at java.net.SocketInputStream.read(SocketInputStream.java:170)
            at java.net.SocketInputStream.read(SocketInputStream.java:141)
            at org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:160)
            at org.apache.http.impl.io.SocketInputBuffer.fillBuffer(SocketInputBuffer.java:84)
            at org.apache.http.impl.io.AbstractSessionInputBuffer.readLine(AbstractSessionInputBuffer.java:273)
            at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:140)
            at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:57)
            at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:261)
            at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:283)
            at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:251)
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2016-2-22 10:16
  • 签到天数: 17 天

    [LV.4]偶尔看看III

     楼主| 发表于 2017-3-16 09:34:15 | 显示全部楼层
    王晓涛 发表于 2017-3-16 09:19
    你好,天翼云对象存储支持单个文件最大是几个G?
    使用Multipart Upload上传时经常会出现超时的问题如何解决 ...

    您好,对象存储一个Object最大支持5T,您也可以通过分段上传来实现超大文件的上传,文件大小没有限制。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2017-3-16 09:42:55 | 显示全部楼层
    ctyun版主 发表于 2017-3-16 09:34
    您好,对象存储一个Object最大支持5T,您也可以通过分段上传来实现超大文件的上传,文件大小没有限制。 ...

    是使用MultipartUpload接口分段上传的,几百M的文件都会出现超时的情况

            at com.amazonaws.services.s3.transfer.internal.UploadMonitor.completeMultipartUpload(UploadMonitor.java:223)
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2017-3-16 10:28:06 | 显示全部楼层
    王晓涛 发表于 2017-3-16 09:42
    是使用MultipartUpload接口分段上传的,几百M的文件都会出现超时的情况

            at com.amazonaws.servi ...

    请问小文件会出现这种情况吗?是不是网络不稳定导致的?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2016-2-22 10:16
  • 签到天数: 17 天

    [LV.4]偶尔看看III

     楼主| 发表于 2017-3-16 10:32:58 | 显示全部楼层
    王晓涛 发表于 2017-3-16 09:42
    是使用MultipartUpload接口分段上传的,几百M的文件都会出现超时的情况

            at com.amazonaws.servi ...

    上传速度跟很多因素有关,比如网络质量,应用服务器性能、客户应用,以及客户调用OOS的技术方式的不同对上传速度都是有影响的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2018-2-28 08:55:51 | 显示全部楼层
    你好,天翼云盘的上传速率是固定的还是可以依据业务需求调整?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-5-18 10:09
  • 签到天数: 7 天

    [LV.3]偶尔看看II

    发表于 2018-2-28 13:57:31 | 显示全部楼层
    tia2024 发表于 2018-2-28 08:55
    你好,天翼云盘的上传速率是固定的还是可以依据业务需求调整?

    天翼云盘和oos是二个不同的存储产品,oos的上传速率是可依据业务需求调整的,天翼云盘可通过开通特权权限提升速率。
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则