开源minio-AWS-S3存储的部署及go操作详细

布满荆棘的人生 2024-02-05 19:50 29阅读 0赞

## 介绍 ##

MinIO是一个开源的分布式对象存储服务，它允许用户在私有云或公有云环境中构建自己的对象存储基础设施。MinIO旨在提供高性能、高可用性的对象存储，并且与Amazon S3兼容，这意味着可以使用S3客户端工具和库直接与MinIO交互，而无需更改现有的应用程序代码。

以下是一些关键的MinIO特性和信息：

1.  **分布式架构：** MinIO设计为具有分布式架构，允许用户将多个MinIO实例组合成一个集群，提供高可用性和可扩展性。每个MinIO实例可以运行在独立的硬件节点上，通过负载均衡器或DNS轮询等方式进行负载均衡。
2.  **S3兼容性：** MinIO与Amazon S3的API兼容，这意味着现有的S3客户端工具和库可以直接用于与MinIO进行交互。这种兼容性使得迁移现有S3应用程序到MinIO变得相对简单。
3.  **开源：** MinIO是开源的，它的源代码可以在GitHub上获得。这使得用户能够审查和修改源代码以满足他们特定的需求，并且可以在社区的支持下获得帮助。
4.  **轻量级：** MinIO设计为轻量级和高性能。它专注于提供快速的对象存储服务，而不引入过多的复杂性。
5.  **安全性：** MinIO支持SSL/TLS加密，以确保在数据传输过程中的安全性。此外，它还提供身份验证和访问控制功能，以保护存储在MinIO中的数据。
6.  **版本控制：** MinIO支持对象版本控制，允许用户存储和检索不同版本的对象。这对于处理数据的变更和回滚操作非常有用。
7.  **事件通知：** MinIO支持事件通知，可以在对象被创建、删除或更新时触发通知。这为构建自动化工作流和应用程序提供了便利。
8.  **易于部署：** MinIO提供了容器化的部署选项，可以轻松地在容器环境中部署，例如使用Docker。

总的来说，MinIO是一个灵活、高性能、可扩展且S3兼容的对象存储解决方案，适用于构建私有云、混合云或公有云环境中的存储基础设施。

## 部署 ##

yum remove docker docker-common container-selinux docker-selinux docker-engine
    yum install -y yum-utils
    yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    
    yum install -y docker-ce
    
    
    
    docker run -d \
      -p 9000:9000 \
      -p 9001:9001 \
      -e "MINIO_ROOT_USER=LIUYUNSHENG" \
      -e "MINIO_ROOT_PASSWORD=LIUYUNSHENGKEY" \
      minio/minio server /data --console-address "0.0.0.0:9001"

## go相关操作代码 ##

package main
    
    import (
    	"context"
    	"fmt"
    	"log"
    	"os"
    	"path"
    
    	"github.com/aws/aws-sdk-go-v2/aws"
    	"github.com/aws/aws-sdk-go-v2/config"
    	"github.com/aws/aws-sdk-go-v2/credentials"
    	"github.com/aws/aws-sdk-go-v2/service/s3"
    )
    
    func main() {
    	cfg, err := config.LoadDefaultConfig(context.TODO(),
    		config.WithCredentialsProvider(credentials.NewStaticCredentialsProvider("LIUYUNSHENG", "LIUYUNSHENGKEY", "")),
    		config.WithEndpointResolverWithOptions(aws.EndpointResolverWithOptionsFunc(func(service, region string, options ...interface{}) (aws.Endpoint, error) {
    			return aws.Endpoint{
    				URL: "http://127.0.0.1:9000",
    			}, nil
    		})),
    		config.WithRegion("cn-north-1"),
    	)
    	if err != nil {
    		return
    	}
    	client := s3.NewFromConfig(cfg, func(o *s3.Options) {
    		o.UsePathStyle = true //https://s3.amazonaws.com/BUCKET/KEY
    	})
    
    	// 打印所有的桶
    	result, err := client.ListBuckets(context.TODO(), &s3.ListBucketsInput{})
    	if err != nil {
    		return
    	}
    	for _, bucket := range result.Buckets {
    		fmt.Println(*bucket.Name)
    	}
    	// 创建桶
    	bucketName := "liuysh-bucket"
    	client.CreateBucket(context.TODO(), &s3.CreateBucketInput{Bucket: &bucketName})
    
    	// 上传文件
    	fileName := "/var/lib/pgsql/pgsql/go/go1.21.5.linux-amd64.tar.gz"
    	file, err := os.Open(fileName)
    	fileBase := path.Base(fileName)
    	if err != nil {
    		fmt.Printf("Couldn't open file %v to upload. Here's why: %v\n", fileName, err)
    	} else {
    		defer file.Close()
    		_, err = client.PutObject(context.TODO(), &s3.PutObjectInput{
    			Bucket: aws.String(bucketName),
    			Key:    aws.String(fileBase),
    			Body:   file,
    		})
    		if err != nil {
    			log.Printf("Couldn't upload file %v to %v:%v. Here's why: %v\n",
    				fileName, bucketName, file.Name(), err)
    		}
    	}
    
    }