亚马逊 S3 中重复对象的管理

作者：Tamelly Lim 发表日期：2024 年 1 月 11 日 Amazon Athena，Amazon 简单存储服务 (S3)，AWS Lambda，中级 (200)，存储，技术指南 永久链接 评论 分享

重点摘要

在存储系统中管理大量数据时，数据重复的问题很常见。本文将讨论如何利用 Amazon S3、Amazon Athena 和 AWS Lambda 管理 S3 中的重复对象，帮助用户降低存储成本。通过识别、验证和删除重复数据，用户能够优化存储使用而不必手动删除文件。

识别重复对象

我们将使用对象的 实体标签ETag来整理重复对象的列表。ETag 是对象的哈希值，仅反映对象内容的变化，而非其元数据。对于使用 SSES3 加密或未加密并且未通过 分段上传或部分复制 操作上传的对象，ETag 是对象数据的 MD5 摘要。通过比较这些对象的 MD5 摘要，我们可以识别出即使在具有不同键或位于不同前缀的情况下也存在重复的对象。

此解决方案使用 Amazon S3 清单生成目标 S3 桶中所有对象及其元数据的列表，然后通过 Amazon Athena 查询该列表以识别重复对象。在审核 Athena 提供的结果并确保列出的对象可以安全删除后，我们使用 S3 批量操作调用 AWS Lambda 函数，执行大规模批量删除。这种方法帮助您在不需要手动挑选待删除对象的情况下，减少重复内容对象的存储成本。

图 1：解决方案架构图，通过 Amazon Athena 查询 S3 清单报告识别要删除的重复对象，利用 S3 批量操作调用 Lambda 函数

解决方案概述

在您的 S3 桶中使用 Athena 识别重复对象，并查询 S3 清单 报告。然后，在您确认这些对象适合删除之后，通过 S3 批量操作删除这些对象，借助一个 Lambda 函数。

前提条件

继续本帖子所需的前提条件包括：

json{ Version 20121017 Statement [ { Sid S3Actions Effect Allow Action [ s3GetObject s3DeleteObject s3PutObject s3PutBucketPolicy s3GetBucketPolicy s3ListBucket s3GetBucketLocation s3GetInventoryConfiguration s3PutInventoryConfiguration ] Resource [ arnawss3lttargetbucketgt arnawss3lttargetbucketgt/ ] } { Sid CreateS3BatchOperationsJob Effect Allow Action [ s3CreateJob s3ListAllMyBuckets s3ListJobs s3DescribeJob s3UpdateJobStatus ] Resource } { Sid Lambda Effect Allow Action [ iamCreateRole iamCreatePolicy iamAttachRolePolicy iamListPolicies iamCreatePolicyVersion ] Resource [ arnawsiam111122223333policy/servicerole/AWSLambdaBasicExecutionRole arnawsiam111122223333role/servicerole/DeleteS3Objects ] } { Sid S3BatchOperations Effect Allow Action iamPassRole Resource arnawsiam111122223333role/ltiambatchopsrolegt } { Sid RunAthenaQueries Effect Allow Action [ athenaGetWorkGroup athenaStartQueryExecution athenaStopQueryExecution athenaGetQueryExecution athenaGetQueryResults glueGetTables glueGetTable glueCreateTable glueGetDatabase glueGetDatabases ] Resource } ]}

操作步骤

在这个架构中，我们按照以下步骤配置所需的资源：

步骤 1：配置 S3 清单报告

S3 清单 允许您生成对象及其相关元数据的列表，以便查询和管理您的对象。我们利用此功能生成对象列表，以便您比较它们的 ETag 值。

在 附加元数据字段 下，选择 大小、上次修改、加密 以及 ETag 这几项。

选择 创建 完成配置。第一份报告将在接下来的 48 小时内到达您的目标桶。

步骤 2：使用 Athena 查询 S3 清单报告

Athena 是一种交互式查询服务，可以使用标准 SQL 轻松分析 Amazon S3 中的数据。它是无服务器的，无需管理基础设施，您只需为运行的查询付费。您可以使用它查询生成的 S3 清单报告，以识别可以删除的重复文件。默认情况下，Athena 不支持直接查询存储在 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 存储类中的对象，因此归档对象将被忽略，无法查询。要查询归档对象，您必须首先恢复这些对象，然后才能对恢复的数据运行查询。有关如何使用 Amazon Athena 查询您的桶中的归档数据的更多指导，请参见这篇 博客文章。

将 ltS3 Inventory Locationgt 替换为在步骤 1 中配置的 S3 清单位置。例如，如果我的桶名为 “s3duplicatebucket”，清单配置名为 “inventorycheck”，则用于 2023 年 12 月 12 日生成的报告的位置为 “s3//s3duplicatebucket/inventorycheck/hive/dt=202312130100/”。

如果桶中存在使用 SSEKMS 或 SSEC 加密的对象，请通过创建另一个视图筛选出这些对象，仅选择其加密状态为 SSES3 或 NOTSSE 的对象。然后在后续步骤中从创建的视图查询。

sqlCREATE EXTERNAL TABLE s3inventory( bucket string key string size bigint lastmodifieddate timestamp etag string encryptionstatus string) ROW FORMAT SERDE orgapachehadoophiveqlioorcOrcSerde STORED AS INPUTFORMAT orgapachehadoophiveqlioSymlinkTextInputFormat OUTPUTFORMAT orgapachehadoophiveqlioIgnoreKeyTextOutputFormat LOCATION ltS3 Inventory Locationgt

sqlCREATE VIEW duplicateetag AS SELECT DISTINCT etag FROM defaults3inventory GROUP BY etag HAVING COUNT(key) gt 1

sqlCREATE VIEW etagmaxdate as SELECT etag size MAX(lastmodifieddate) as maxdate from defaults3inventoryGROUP BY etag size

sqlSELECT s3inventorybucket s3inventorykeyFROM (s3inventoryLEFT JOIN etagmaxdate ON ((s3inventoryetag = etagmaxdateetag) AND (s3inventorylastmodifieddate = etagmaxdatemaxdate) AND (s3inventorysize = etagmaxdatesize)))WHERE (etagmaxdatemaxdate IS NULL)

步骤 3：创建用于删除单个对象的 Lambda 函数

Lambda 是一种无服务器事件驱动的计算服务，允许您运行代码而无需提供或管理服务器。为了删除每个对象，我们配置一个 Lambda 代码，调用删除 API。

pythonimport loggingfrom urllib import parseimport boto3from botocoreexceptions import ClientError

logger = logginggetLogger(name)loggersetLevel(INFO)

s3 = boto3client(s3)

def lambdahandler(event context) Permanently deletes the object SPECIFIED OBJECT VERSION WILL BE PERMANENTLY REMOVED

param event The S3 batch event that contains the key of the object              to removeparam context Context about the eventreturn A result structure that Amazon S3 uses to interpret the result of the         operation When the result code is TemporaryFailure S3 retries the         operation# Parse job parameters from Amazon S3 batch operationsloggerinfo(event)invocationid = event[invocationId]invocationschemaversion = event[invocationSchemaVersion]results = []resultcode = Noneresultstring = Nonetask = event[tasks][0]taskid = task[taskId]try    objkey = parseunquoteplus(task[s3Key] encoding=utf8)    bucketname = task[s3BucketArn]split()[1]    loggerinfo(Got task remove object s objkey)    try        s3deleteobject(            Bucket=bucketname Key=objkey        )        resultcode = Succeeded        resultstring = (            fSuccessfully removed object {objkey}        )        loggerinfo(resultstring)                    loggerwarning(resultstring)