Hive 表中的分区和聚类方式是如何工作的？

如何解决Hive 表中的分区和聚类方式是如何工作的？

我试图通过使用数据将如何放置来理解以下查询。

CREATE TABLE mytable ( 
         name string,city string,employee_id int ) 
PARTITIONED BY (year STRING,month STRING,day STRING) 
CLUSTERED BY (employee_id) INTO 256 BUCKETS

关键字PARTITIONED BY将数据分布在下面的目录结构中。

/user/hive/warehouse/mytable/y=2015/m=12/d=02

但我无法理解，employee_id 将如何分布在这些目录中？将创建 256 个存储桶（文件），所有这些文件都将包含 employee_id 但哪个文件将位于哪个目录下，如何决定？

谁能帮我理解这个？

解决方法

目录是分区或表位置。存储桶是这些目录中的文件。

复杂分区是分层目录。在你的情况下：

`/user/hive/warehouse/mytable/` - Table location,contains partition directories:
  `y=2015/` - year partition directory,contains months directories: 
    `m=12/` - month partition,contains days partitions directories:
      `d=02/` - day partition,contains 256 files(buckets)
        00000
        ...
        00255
     `d=03/` -Each day partition will contain 256 files (if you have enough data)
        00000
        ...
        00255     

每个文件都不会包含所有的employee_id。使用以下公式确定哪个记录将位于哪个文件中：

 bucket_number=hash_function(employee_id) MOD 256 

其中 hash_function 是整数，在 Int employee_id 的情况下，它等于 employee_id。

256 - 是桶数

MOD 256 将生成范围 [0..255] 内的整数值，对应于桶号。

相同的 ID 将始终位于相同的存储桶中。每个日常分区将包含它自己的文件（桶），每个分区最多 256 个桶。

比如说，employee_id = 1024 进入bucket 0，如果同一个employee_id存在很多天，它会在每天目录的00000文件中。

employee_id=1050 进入文件 000026，因为 1050 MOD 256 = 26。

因此，首先将数据按分区键进行分区，在分区内将数据分桶（分布在文件之间）。