对象存储（OBS）介绍

阿里称其为OSS，腾讯称其为COS，而华为取名为OBS

使用对象存储建设非结构化数据存储平台是业界的一个趋势，对象存储具备架构开放、灵活扩展、海量存储、接口灵活、成本可控等特点，广泛应用于企业网盘、金融扫描影像、电子文档等场景。

对象存储是一种基于对象的存储系统，用户可根据对象的名称唯一获得该对象的内容，是一种键值存储系统。

基本概念

  • 存储桶

    存储桶（Bucket）是对象的载体，可理解为存放对象的“容器”，且该“容器”无容量上限。对象以扁平化结构存放在存储桶中，无文件夹和目录的概念，用户可选择将对象存放到单个或多个存储桶中。

  • 对象：对象存储 对象概述 - 开发者指南 - 文档中心 - 腾讯云 (tencent.com)

    对象（Object）是对象存储的基本单元，可理解为任何格式类型的数据，例如图片、文档和音视频文件等。存储桶（Bucket）是对象的载体，每个存储桶可容纳任意数量的对象。

    每个对象都由对象键（ObjectKey）、对象值（Value）、和对象元数据（Metadata）组成。

    • 对象键（ObjectKey）：对象键是对象在存储桶中的唯一标识，可以通俗的理解为文件路径。在 API、SDK 示例中，对象的命名格式为<objectkey>。
    • 对象值（Value）：即上传的对象本身，可以通俗的理解为文件内容（Object Content）。
    • 对象元数据（Metadata）：是一组键值对，可以通俗的理解为文件的属性，例如文件的修改时间、存储类型等，您可以在上传对象后对其进行查询。

架构：

对象存储是扁平化的存储结构，所有对象是存储在存储桶中的，桶内没有目录层级结构。桶是由租户创建的，租户可以管理桶和桶中对象的访问权限，一个租户最多创建100个桶。

image2019-7-29 16_18_56

技术特点：

  • 提供对象访问接口，通过HTTP/RESTful API等方式访问
  • 扁平化结构
  • 支持多租户
  • 易扩展

应用场景：

  • 适用于具有“读多写少或者只读不写，需要长期存放的非活跃海量数据，需要共享访问的数据”特征的应用系统；
  • 不适用于需要高速读写处理文件，或频繁修改文件的交互类的应用。

1

存储类型

存储类型可体现对象在 COS 中的存储级别和活跃程度。每种存储类型拥有不同的特性，例如对象访问频度、数据持久性、数据可用性和访问时延等。用户可根据自身场景选择以哪种存储类型将数据上传至 COS。腾讯云COS提供的存储类型有：

  • 标准存储（多AZ）/标准存储

    均属于热数据类型，两者都拥有低访问时延、高吞吐量的性能，可为用户提供高可靠性、高可用性、高性能的对象存储服务。

    均适用于实时访问大量热点文件、频繁的数据交互等业务场景，例如热点视频、社交图片、移动应用、游戏程序、静态网站等。

  • 低频存储（多AZ）/低频存储

    均可为用户提供高可靠性、较低存储成本和较低访问时延的对象存储服务。两者在降低存储价格的基础上，保持首字节访问时间在毫秒级，保证用户在取回数据的场景下无需等待，高速读取。与标准存储有明显区别的是，用户访问数据时会收取数据取回费用。

    均适用于较低访问频率（例如平均每月访问频率1到2次）的业务场景，例如网盘数据、大数据分析、政企业务数据、低频档案、监控数据。

  • 智能分层存储（多AZ）/智能分层存储

    根据访问频次自动在对应的两个存储层之间变换，无数据取回费用，可降低用户的存储成本。

    均适用于数据访问模式不固定的场景，如果业务对成本要求较为严格，且对文件读取性能较不敏感，可以使用该存储类型来降低使用成本。

  • 归档存储

    归档存储（ARCHIVE）属于冷数据类型，数据取回时需要提前恢复（解冻），可为用户提供高可靠性、极低存储成本和长期保存的对象存储服务。归档存储有最低90天的存储时间要求，并且在读取数据前需要先进行数据恢复（解冻）。

    归档存储适用于需要长期保存数据的业务场景，例如档案数据、医疗影像、科学资料等合规性文件归档、生命周期文件归档、操作日志归档以及异地容灾。

  • 深度归档存储

    深度归档存储（DEEP_ARCHIVE）可为用户提供高可靠性、比其他存储类型都低的存储成本和长期保存的对象存储服务。深度归档存储有最低180天的存储时间要求，并且在读取数据前需要先进行数据恢复。

    深度归档存储适用于需要长期保存数据的业务场景。例如医疗影像数据、视图数据、日志数据。

多 AZ（Available Zone）是指由 腾讯云对象存储 推出的多 AZ 存储架构，这一存储架构能够为用户数据提供数据中心级别的容灾能力。

客户数据分散存储在城市中多个不同的数据中心，当某个数据中心因为自然灾害、断电等极端情况导致整体故障时，多 AZ 存储架构依然可以为客户提供稳定可靠的存储服务。

多 AZ 特性为客户提供99.9999999999%（12个9）的数据设计可靠性和99.995%的服务设计可用性。在上传数据到对象存储时，只需要通过指定对象的存储类型，即可将对象存放到多 AZ 的地域。

（多 AZ）采用不同的存储机制，将数据存储于同一城市的不同机房，可进一步保障用户业务稳定性不受单机房故障影响。

选用华为云obs的原因

硬件

  • 25GE

    OBS对象存储服务已经摒弃10GE网络，全面部署25GE网络。25GE即25Gbps（3.125GB/s），是公认的下一代数据中心互联解决方案，得益于华为在网络设备的领导者地位，华为云是国内第一家全面进入25GE时代的云服务商，先进的以太网标准和全自研的设备给予了华为云远超对手的上下行宽带速度，这也是华为云在大文件宽带测试中网速一骑绝尘的根本原因。

  • NVMe标准SSD硬盘

    NVMe标准SSD用超高的读写速度保证了文件读写的高性能，规避了机械硬盘频繁寻道的问题，而且通过高速SSD的引入，可以大幅提升云存储系统的整体性能表现。

软件

  • 改良lrc数据恢复算法

    一般来讲，如果一份数据分散放在4、5个机房当中，当某个机房中的硬盘故障时，传统的恢复算法会请求读取其它机房中的数据以恢复故障硬盘中的文件。

    但华为的lrc可以把这个读取范围限制在本机房中，换句话说，系统只需要读取就近的数据即可恢复故障硬盘，而无需再跨机房读取数据占用宝贵的宽带资源。

  • 使用了Append only接口来延长磁盘使用寿命；

  • 提供了新的增强实例c3ne，保证客户端不成为瓶颈；

  • 对IP路径端到端做了内存免拷贝处理，大大减少了CPU负担，提高了带宽速度。