使用 CDO 或 NCO 组合浮标站数据集 (NetCDF)，经纬度被丢弃

如何解决使用 CDO 或 NCO 组合浮标站数据集 (NetCDF)，经纬度被丢弃

我正在尝试将 100 多个 NDBC 浮标 netcdf 数据集合并到一个 netcdf 数据集中，其中每个文件都有关联的纬度和经度。当我使用 cdo 或 ncrcat 时，我得到了一个组合数据集，但它只从第一个站点 NetCDF 文件中获取纬度和经度坐标。另外，不确定是否可能，但站名（五位数）在每个站文件的属性中，并且在组合时也会丢失，而我希望以某种方式在组合文件中保留每个单独的站名。>

理想情况下，这就是我想要的：

• 完全合并的 NetCDF 文件。
• 所有纬度和经度对应于每个站点的变量。
• 以某种方式将一个新数据变量附加到合并的数据集中，以读取对每个站点 NetCDF 文件有价值的站点名称属性。
• 时间步长从每 10 分钟、每 30 分钟和每小时不等。需要将这些全部对齐，因此需要对它们进行重新采样并平均每 3 小时一次。

以下是浮标 NetCDF 站数据集之一，以了解其结构：https://dods.ndbc.noaa.gov/thredds/fileServer/data/stdmet/41004/41004h9999.nc

或者，通过 xarray 读取它会产生：

    <xarray.Dataset>
Dimensions:                  (latitude: 1,longitude: 1,time: 48)
Coordinates:
  * time                     (time) datetime64[ns] 2021-04-01T00:50:00 ... 20...
  * latitude                 (latitude) float32 31.4
  * longitude                (longitude) float32 -80.87
Data variables: (12/13)
    wind_dir                 (time,latitude,longitude) float64 ...
    wind_spd                 (time,longitude) float32 ...
    gust                     (time,longitude) float32 ...
    wave_height              (time,longitude) float32 ...
    dominant_wpd             (time,longitude) timedelta64[ns] ...
    average_wpd              (time,longitude) timedelta64[ns] ...
    ...                       ...
    air_pressure             (time,longitude) float32 ...
    air_temperature          (time,longitude) float32 ...
    sea_surface_temperature  (time,longitude) float32 ...
    dewpt_temperature        (time,longitude) float32 ...
    visibility               (time,longitude) float32 ...
    water_level              (time,longitude) float32 ...
Attributes:
    institution:  NOAA National Data Buoy Center and Participators in Data As...
    url:          http://dods.ndbc.noaa.gov
    quality:      Automated QC checks with manual editing and comprehensive m...
    conventions:  COARDS
    station:      41008
    comment:      GRAYS REEF - 40 NM Southeast of Savannah,GA
    location:     31.400 N 80.866 W 

我曾尝试转换为 Pandas 数据帧并写入 hdf5 文件格式，但一旦创建 hdf5，它就不容易被操纵。与 xarray 和 netcdf 相比，我在处理 hdf5 文件方面也没有太多经验（正在重用预制脚本，这就是输出为 hdf5 的原因）。

我试过 xarray.mf_dataset() ，它可以工作，但结果是 4 GB+ 的文件，它应该在 100 MB 左右，而且我仍然遇到不保留站名属性数据的问题。我更希望在 python 中完成（目前在 Python 中使用 cdo 和 nco 有问题），但也可以从 bash 运行这些命令而没有问题。

如果需要更多信息，请告诉我。

解决方法

我建议您尝试使用 ncecat 和组聚合 (gag)，例如，

ncecat -7 --gag in*.nc out.nc

跟进以下评论：

正如引用的文档所说，此命令将每个输入文件整体放入输出文件中的自己的组中。如果您没有检查输出中组的内容，而只关注根级别组（仅包含全局元数据和子组），您可能会认为它“删除了我的所有数据变量和值”。使用，例如，

ncks -m out.nc | more

检查子组：

zender@sastrugi:~/nco/data$ ncecat -O --gag 85.nc 86.nc 87.nc ~/foo.nc
zender@sastrugi:~/nco/data$ ncks -m -v lat ~/foo.nc | more
netcdf foo {
  group: \85 {
    dimensions:
      lat = 2 ;
      vrt_nbr = 2 ;

    variables:
      float lat(lat) ;
        lat:long_name = "Latitude (typically midpoints)" ;
        lat:units = "degrees_north" ;
        lat:bounds = "lat_bnd" ;

      float lat_bnd(lat,vrt_nbr) ;
        lat_bnd:purpose = "Cell boundaries for lat coordinate" ;
  } // group /85
  group: \86 {
    dimensions:
      lat = 2 ;
      vrt_nbr = 2 ;

    variables:
      float lat(lat) ;
        lat:long_name = "Latitude (typically midpoints)" ;
        lat:units = "degrees_north" ;
        lat:bounds = "lat_bnd" ;

      float lat_bnd(lat,vrt_nbr) ;
        lat_bnd:purpose = "Cell boundaries for lat coordinate" ;
  } // group /86
  group: \87 {
    dimensions:
      lat = 2 ;
      vrt_nbr = 2 ;

    variables:
      float lat(lat) ;
        lat:long_name = "Latitude (typically midpoints)" ;
        lat:units = "degrees_north" ;
        lat:bounds = "lat_bnd" ;

      float lat_bnd(lat,vrt_nbr) ;
        lat_bnd:purpose = "Cell boundaries for lat coordinate" ;
  } // group /87
} // group /