微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

适用于 Cloud Storage 或 HDFS 的 I/O 差异是什么?

如何解决适用于 Cloud Storage 或 HDFS 的 I/O 差异是什么?

根据 Google Cloud 文档,

Cloud Storage 可能会增加 I/O 差异。在许多情况下,Cloud Storage 比 HDFS 具有更高的 I/O 差异。如果您有一致的 I/O 要求,例如由 HBase 或其他 Nosql 数据库支持的应用程序,这可能会出现问题。

有人可以提供一个差异的例子吗?什么意思?

解决方法

这意味着访问率变化很大,或者在阈值内不一致。

与专用文件系统相比,任何云对象存储都具有更高的差异,因为它们是多租户的

一般来说,评论是说您不会使用 GCS 作为数据库(特别是 HBase、Kudu、其他 Hadoop 数据库)的后端,因为它会给这些通常低延迟的系统带来延迟,即使 GCS可以作为后备HDFS存储层

,

您可以将 I/O 转换为读取(输入)和写入(输出) 当读取或写入速率在一个较窄的范围内时,您可以轻松决定从网络带宽到 RAM 和 CPU 的资源规划。

随着 I/O 差异的增加,您拥有更广泛的读取和写入速率,并且部署优化的基础架构变得更加困难。

正如@OneCricketeer 所提到的,云存储的较大差异可能是多租户和大量服务部署的结果。

缓解此问题的一种方法是将服务划分为多个 I/O 差异范围(即:数据库、对象存储、文件存储等)。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。