如何从源文件列表中进行迭代并在我的磁盘驱动器上找到这些文件？我正在使用 FD 和 RIPGREP

如何解决如何从源文件列表中进行迭代并在我的磁盘驱动器上找到这些文件？我正在使用 FD 和 RIPGREP

我有一个很长的文件列表存储在一个文本文件 (missing-files.txt) 中，我想在我的驱动器上找到它。这些文件分散在我驱动器的不同文件夹中。我想得到任何可以找到的最近可用的东西。

missing-files.txt

wp-content/uploads/2019/07/apple.jpg
wp-content/uploads/2019/08/apricots.jpg
wp-content/uploads/2019/10/avocado.jpg
wp-content/uploads/2020/04/banana.jpg
wp-content/uploads/2020/07/blackberries.jpg
wp-content/uploads/2020/08/blackcurrant.jpg
wp-content/uploads/2021/06/blueberries.jpg
wp-content/uploads/2021/01/breadfruit.jpg
wp-content/uploads/2021/02/cantaloupe.jpg
wp-content/uploads/2021/03/carambola.jpg
....

---

这是我的工作 bash 代码：

while read p;
do
    file="${p##*/}"
    /usr/local/bin/fd "${file}" | /usr/local/bin/rg "${p}" | /usr/bin/head -n 1 >> collected-results.txt
done <missing-files.txt

---

我的 bash 代码发生了什么：

1. 我从我的文件列表中迭代
2. 我使用 FD (https://github.com/sharkdp/fd) 命令在我的驱动器中定位这些文件
3. 然后我将其通过管道传送到 RIPGREP (https://github.com/BurntSushi/ripgrep) 以过滤结果并找到最接近的匹配项。我正在寻找的匹配项应该匹配相同的文件和文件夹结构。我只将其限制为一种结果。
4. 然后最终将其存储在另一个文本文件中，稍后我可以在其中评估下一步的列表

---

我需要帮助的地方：

1. 这是最有效的方法吗？我有 2,000 多个文件需要查找。我对其他解决方案持开放态度，这是我刚刚划分的内容。
2. 由于某种原因，我的代码损坏了，它停止将结果返回到“collected-results.txt”。我的猜测是它在 FD 命令之后立即在第二个管道中的某个地方破裂了。我没有设置任何条件，以防它遇到错误或找不到文件，所以我很难确定。

---

附加信息：

• 我使用的是 Mac，并在 Catalina 上运行
• 显然这不是我的专业领域

解决方法

“Missing”听起来似乎并不存在于预期的地方。
是什么让您认为他们会在其他地方？

如果是，我会将文件名放在一个 list.txt 文件中，并使用足够的最小模式从 find 的输出中挑选它们。

$: cat list.txt
/apple.jpg$
/apricots.jpg$
/avocado.jpg$
/banana.jpg$
/blackberries.jpg$
/blackcurrant.jpg$
/blueberries.jpg$
/breadfruit.jpg$
/cantaloupe.jpg$
/carambola.jpg$

然后搜索整个机器，这需要一点时间......

$: find / | grep -f list.txt
/tmp/apricots.jpg
/tmp/blackberries.jpg
/tmp/breadfruit.jpg
/tmp/carambola.jpg

或者如果你想要那些更长的部分路径，

$: find / | grep -f missing-files.txt

这应该会向您显示这些文件所在位置的实际路径如果它们确实存在于系统中。

,

这是最有效的方法吗？

I/O 通常是最大的瓶颈。您正在运行某个软件 fd 以一次一个地为一个文件查找文件。相反，运行它以立即查找所有文件 - 对所有文件执行单个 I/O。在 shell 中你会这样做：

find . -type f '(' -name "first name" -o -name "other name" -o .... ')'

如何从源文件列表进行迭代并在我的磁盘驱动器上找到这些文件？

使用 -path 匹配完整路径。首先构建参数，然后调用 find。

findargs=()
# Read bashfaq/001
while IFS= read -r patt; do
    # I think */ should match anything in front.
    findargs+=(-o -path "*/$patt")
done < <(
    # TODO: escape glob better,not tested
    # see https://pubs.opengroup.org/onlinepubs/009604499/utilities/xcu_chap02.html#tag_02_13
    sed 's/[?*[]/\\&/g' missing-files.txt
)
# remove leading -o
unset findargs[0]
find / -type f '(' "${findargs[@]}" ')'

要研究的主题：var=() - bash 数组、< <(...) 带有进程替换的 shell 重定向以及何时使用它 (bashfaq/024)、glob（并参见 man 7 glob）和 {{ 1}}。

,

按照我的理解，你想找到所有可以匹配目录结构的文件：

path/to/file

所以它应该返回类似“/full/path/to/file”和“/another/full/path/to/file”的内容

使用简单的 find 命令，您可以获得符合此条件的所有文件的列表。

使用 find，您可以通过以下形式一次性搜索您的硬盘：

$ find -regex pattern

现在的想法是构建模式，我们可以从文件 missing_files.txt 中完成。该模式应该类似于 .*/\(file1\|file2\|...\|filen\)。所以我们可以使用以下 awk 来做到这一点：

$ sed ':a;N;$!ba;s/\n/\|/g' missing_files.txt

所以现在我们可以完全按照您所做的来做，但速度要快一些，方法如下：

pattern="$(sed ':a;N;$!ba;s/\n/\|/g' missing_files.txt)"
pattern=".*/\($pattern\)"
find -regex "$pattern" > file_list.txt

为了找到文件，您现在可以执行以下操作：

grep -F -f missing_files file_list.txt

这将返回所有匹配的案例。如果你只想要第一种情况，即

awk '(NR==FNR){a[$0]++;next}{for(i in a) if (!(i in b)) if ($0 ~ i) {print; b[i]}}' missing_files file_list.txt