为 R 脚本运行 Singularity 容器时出错

如何解决为 R 脚本运行 Singularity 容器时出错

我正在构建一个 Singularity 容器，以使用 LidR 软件包运行自定义 R 脚本以进行树分割。

我写了这样的奇点定义文件：

Bootstrap: docker
From: ubuntu:20.04

%setup
    touch test.R
    touch treeSeg_dalponte2016.R
    touch /home/ljeasson/R/x86_64-pc-linux-gnu-library/3.6/rgdal/libs/rgdal.so
    
%files
    test.R
    treeSeg_dalponte2016.R
    /home/ljeasson/R/x86_64-pc-linux-gnu-library/3.6/rgdal/libs/rgdal.so

%post
    # Disable interactivity,including region and time zone
    export DEBIAN_FRONTEND="noninteractive"
    export DEBCONF_NONINTERACTIVE_SEEN=true
        
    # Update apt and install necessary libraries and repositories
    apt update
    
    apt install -y build-essential r-base-core software-properties-common dirmngr apt-transport-https lsb-release ca-certificates
    
    add-apt-repository ppa:ubuntugis/ubuntugis-unstable
    
    apt install -y libgdal-dev libgeos++-dev libudunits2-dev libproj-dev libx11-dev libgl1-mesa-dev libglu1-mesa-dev libfreetype6-dev libnode-dev libxt-dev libfftw3-dev
    
    apt clean
    
    
    # Install necessary R packages and dependencies
    R -e "install.packages('lidR',dependencies = TRUE)"
    R -e "install.packages('raster',dependencies = TRUE)"
    R -e "install.packages('sf',dependencies = TRUE)"
    R -e "install.packages('dplyr',dependencies = TRUE)"
    
    R -e "install.packages('rgdal',dependencies = TRUE,repos='https://cran.rstudio.com',configure.args=c('--with-gdal-config=/opt/conda/bin/gdal-config','--with-proj-include=/opt/conda/include','--with-proj-lib=/opt/conda/lib','--with-proj-share=/opt/conda/share/proj/'))"
            
    R -e "install.packages('gdalUtils',repos='https://cran.rstudio.com')"
    
    
%test
    #!/bin/bash
    R --version
    Rscript test.R
    

%runscript
    #!/bin/sh
    echo "Arguments received: $*"
    Rscript treeSeg_dalponte2016.R $*

并使用 singularity build ga_container.sif ga_container.def

构建容器

容器构建没有错误，但是当容器使用./ga_container <arguments>运行时，总是出现这个错误：

Error: package or namespace load failed for 'rgdal' in dyn.load(file,DLLpath = DLLpath,...):
 unable to load shared object '/home/ljeasson/R/x86_64-pc-linux-gnu-library/3.6/rgdal/libs/rgdal.so':
  libgdal.so.26: cannot open shared object file: No such file or directory
Execution halted

我知道发生错误是因为它找不到 Rgdal 的图像，即使我似乎已附加到 %setup 和 %files 部分中的容器：

%setup
    touch test.R
    touch treeSeg_dalponte2016.R
    touch /home/ljeasson/R/x86_64-pc-linux-gnu-library/3.6/rgdal/libs/rgdal.so

%files
    test.R
    treeSeg_dalponte2016.R
    /home/ljeasson/R/x86_64-pc-linux-gnu-library/3.6/rgdal/libs/rgdal.so

如果错误来自不正确的文件附件，我如何确保在 Singularity 容器中正确附加了 Rgdal（和其他类似库）？

提前致谢

解决方法

这看起来像是环境问题，导致映像查看本地安装的 R 模块，而不是使用映像中安装的模块。也许在您的 .Rprofile 或 R_LIBS/R_LIBS_USER 中。尝试使用 singularity run --cleanenv ... 运行，或者暂时移动 .Rprofile（如果有），看看是否能解决问题。如果没有，我还有其他一些观察。

---

首先，%setup 块会在主机操作系统上创建 root 拥有的空文件（如果它们尚不存在）。空的 .so 文件肯定会导致问题。对于大多数情况 you don't want to use %setup，因为它在 sudo singularity build 期间直接以 root 身份修改主机。

在 %files 块中，您将（可能是根拥有的/空的）复制到映像中与您的主目录匹配的路径。当您运行 /exec/shell 图像时，您的 $HOME is automatically mounted 将隐藏该位置图像中的所有文件。将文件添加到图像时，您应该始终将它们放在不太可能被挂载破坏的地方。 /opt/myapp 或类似的东西通常效果很好。此外，test.R 和 treeSeg_dalponte2016.R 被复制到容器内的 /test.R 和 /treeSeg_dalponte2016.R，但在 %runscript 和 %test 中使用相对路径。 Singularity run/exec 将尝试从容器中存在的第一个路径运行：$PWD（隐式挂载，但可以静默失败），然后 $HOME（也隐式挂载并且可以静默失败），然后/。您可以使用 singularity --verbose run ... 查看是否有任何内容未正确安装，并将 echo $PWD 添加到 %runscript 以查看它的运行位置。

在 %post 中，当您安装 rgdal 软件包时，您使用 /opt/conda/... 指定了多个路径，但没有在映像中安装或配置 conda。我不熟悉 rgdal，所以不知道这是否会导致问题。