卓越飞翔博客卓越飞翔博客

卓越飞翔 - 您值得收藏的技术分享站
技术文章35503本站已运行396

GCS 上传用于 Go SDK 中的分块?

gcs 上传用于 go sdk 中的分块?

php小编柚子就GCS 上传用于 Go SDK 中的分块这个话题为大家简要介绍一下。GCS(Google Cloud Storage)是谷歌云平台提供的对象存储服务,可以用于存储和访问大量的非结构化数据。在使用 GCS 进行文件上传时,如果文件较大,可以使用分块上传的方式,这样可以提高上传的速度和稳定性。Go SDK 提供了相应的接口和方法,可以方便地实现分块上传的功能。通过这种方式,开发者可以更灵活地处理大文件的上传操作。

问题内容

我正在尝试使用 gcs writer 上传大文件:

bucketHandle := m.Client.Bucket(bucket)
    objectHandle := bucketHandle.Object(path)
    writer := objectHandle.NewWriter(context.Background())

然后对于大小为 n 的块,我调用 writer.write(mybuffer)。我在集群上看到一些内存不足的异常,并想知道这是否实际上只是将整个文件缓冲到内存中。这个操作的语义是什么,我是否误解了什么?

解决方法

是的,在代码中的每次 Write 调用之后,数据都会刷新到 GCS。 Write 方法返回写入的字节数、遇到的任何错误以及实际写入底层连接的字节数。每个块写入后,数据都会刷新到 GCS,因此客户端消耗的内存量应限制在缓冲区的大小内,在您的实例中,如果您将输入数据分块为 5 MB,则缓冲区的大小为 5 MB块并在循环中使用 Write。

卓越飞翔博客
上一篇: 无法在32位机器上运行Golang应用程序
下一篇: 返回列表
留言与评论(共有 0 条评论)
   
验证码:
隐藏边栏