linux-bash中的shell脚本可从ftp服务器下载文件

我必须为bash shell编写一个shell脚本以从ftp服务器传输文件
给定
ftp服务器[e-mail]
用户user1
密码pass1

现在在ftp服务器的/ dir1 / dir2中,我有以下格式的文件夹
0.7.1.70
0.7.1.71
0.7.1.72

在这种情况下,我必须从最新文件夹(即0.7.1.72)复制文件“ file1.iso”.
我还必须在复制时检查文件的完整性,即假设文件正在上传到服务器,并且在那个时候如果我开始复制,则复制将无法完成.

我必须每4个小时做一次.这可以通过将其作为cron作业来完成.请帮忙

我已经做到了
 我将ftp服务器文件夹安装到本地计算机上.用于检查文件是否已完全上传,我正在每50秒检查一次大小5次,如果相同,则我正在复制它,否则在4小时后运行脚本…
我维护了一个文本文件“ foldernames.txt”,该文件具有从中复制了所需文件的所有那些文件夹的名称..因此,我正在检查是否通过在foldername.text文件中检查其名称来在服务器上添加新文件夹..
**

一切正常,现在唯一的问题是..假设当时正在下载文件,但是网络出现故障..我将如何确保已完全下载文件..我尝试使用md5sum和chksum但是要在挂载的文件夹上进行计算要花费很长时间.请帮忙

这是我的剧本..

#!/bin/bash
#
# changing the directory to source location 
echo " ########### " >> /tempdir/pvmscript/scriptlog.log
echo `date`>> /tempdir/pvmscript/scriptlog.log
echo " script is strting " >> /tempdir/pvmscript/scriptlog.log
cd /var/mountpt/pvm-vmware
#
# array to hold the name of last five folders of the source location
declare -a arr
i=0
for folder in `ls -1 | tail -5 `; do
arr[i]=$folder
#echo $folder
i=$((i+1))
done
echo " array initialised " >> /tempdir/pvmscript/scriptlog.log
#
#Now for these 5 folders we will check if their name is present in the list of copied         
#  folder names
#
echo " checking for the folder name in list " >> /tempdir/pvmscript/scriptlog.log
## $(seq $((i-1)) -1 0 
for j in $(seq $((i-1)) -1 0  ) ; do
var3=${arr[$j]}
#var4=${var3//./}
echo " ----------------------------------------" >>  /tempdir/pvmscript/scriptlog.log
echo " the folder name is $var3" >> /tempdir/pvmscript/scriptlog.log
#
# checking if the folder name is present in the stored list of folder names or not
#
#
foldercheck=$(grep $var3 /tempdir/pvmscript/foldernames.txt | wc -l)
#
if test $foldercheck -eq 1
then 
echo " the folder $var3 is present in the list so will not copy it " >>  /tempdir/pvmscript/scriptlog.log
foldercheck=" "
continue
else
#
echo " folder $var3 is not present in the list so checking if it has the debug.iso file ">> /tempdir/pvmscript/scriptlog.log
#enter inside  the new folder in source
#
cd  /var/mountpt/pvm-vmware/$var3
#
# writing the names of content of folder to a temporary text file
#
ls -1 > /var/temporary.txt
#checking if the debug.iso is present in the given folder
var5=$(grep debug.iso /var/temporary.txt | wc -l)
var6=$(grep debug.iso //var/temporary.txt)
#
check1="true"
#
# if the file is present then checking if it is completely uploaded or not  
#
rm -f /var/temporary.txt
if test $var5 -eq 1 
then 
echo " it has the debug.iso checking if upload is complete   ">>/tempdir/pvmscript/scriptlog.log
#
# getting the size of the file we are checking if size of the file is constant or     changing    # after regular interval
#
var7=$(du -s ./$var6 |cut -f 1 -d '.')
#echo " size of the file is $var7"
sleep 50s
#
# checking for 5 times at a regular interval of 50 sec if size changing or not 
#
#
for x in 1 2 3 4 5 ;do
var8=$(du -s ./$var6 |cut -f 1 -d '.')
#
#if size is changing exit and check it after 4 hrs when the script will rerun
#echo " size of the file $x is $var7"
if test $var7 -ne $var8
then
check1="false"
echo " file is still in the prossess of being uploadig so exiting will check after 4 hr  " >> /tempdir/pvmscript/scriptlog.log
break
fi
sleep 50s
done
#
#if the size was constant copy the file to destination
#
if test $check1 = "true" 
then
echo " upload was complete so copying the debug.iso file  " >>  /tempdir/pvmscript/scriptlog.log
cp $var6 /tempdir/PVM_Builds/ 
echo " writing the folder name to the list of folders which we have copied " >>  /tempdir/pvmscript/scriptlog.log
echo $var3 >> /tempdir/pvmscript/foldernames.txt
echo " copying is complete  " >> /tempdir/pvmscript/scriptlog.log
fi
#else 
#echo $foldercheck >> /vmfs/volumes/Storage1/PVM_Builds/foldernames.txt
else
echo " it do not have the debug.iso file so leaving the directory "  >>/tempdir/pvmscript/scriptlog.log
echo $var3 >> /tempdir/pvmscript/foldernames.txt
echo 
fi
#rm -f /var/temporary.txt
fi
done

解决方法:

这里有一些评论和要求澄清的地方,请在下面的中断处找到一个可能的答案.

(很好的工作来更新您的问题.)

这些文件有多大？

您是否可以控制这些文件的创建开始时间(例如,数据库备份).

这些文件的更多详细信息也将有所帮助,例如大小,MB,GB,TB,PB？以及创建它们的源,db-backup或???.

您的担忧是针对最坏情况的理论性的,积极的探索,还是如果您遇到真正的问题,其频发程度和后果是什么？

您的SLA是不切实际/无法实现的管理梦想吗？如果是这样,那么您必须开始创建文档以显示当前系统将需要X数量的额外资源(人员,硬件,程序等)来纠正系统中的缺陷.

如果要传输的文件是由源系统创建的数据文件,则一种技术是让源系统创建一个“标志”文件,该文件在发送主文件后发送.

它可能包含类似的详细信息

  filename : TradeData_2012-04-13.dat
  recCount : 777777
  fileSize : 37604730291
  workOfDate: 2012-04-12
  md5sum    : ....

因此,现在您的系统正在等待查找标记文件,因为您对收到的每个文件使用标准命名约定,并且使用了嵌入文件中的标准日期戳.文件到达时,脚本将计算每个相关详细信息,并将它们与存储在标志文件中的值进行比较.

如果您无法安排此详细程度,则可以执行将新文件与一组文件进行比较的测试,至少要使用通用标志文件,每天/每个文件或每天一批文件(在完成所有文件后发送)对您的特定情况有意义的测试,…以下其中一些：

>文件必须至少为X大
>文件必须至少为N条记录
>文件永远不能小于昨天的文件
>等

然后,您的辩解是“我们没有完全控制文件的权限,但是我们检查了它们的X,Y,Z并通过了这些测试,这就是我们加载它们的原因”.

尽管rsync可能不错,但鉴于上述某些情况,我不知道如何确保开始加载文件是安全的,因为rsync可能会开始向文件中添加更多数据.

仔细阅读脚本,如果您无法从源代码中获取详细的标志文件,那么您的方向正确. Glenn Jackman的解决方案希望以更少的代码实现相同的目标.您可以将其放在scriptFile’getRemotedata.sh’或类似文件中,并将其放入while循环中,该循环仅在’getRemotedata.sh’成功退出时退出.我想我想要某种类型的通知,说它已经花了3 * normalTime运行.但是,当您尝试涵盖所有条件时,它可能会变得非常复杂.有第三方工具可以管理文件下载,但是我们从来没有预算购买它们,因此我不推荐任何工具.

ew

我希望这有帮助.

附言欢迎使用StackOverflow(S.O.),请记住阅读常见问题解答http://tinyurl.com/2vycnvr,使用灰色三角形http://i.imgur.com/kygEP.png来投票赞成良好的Q / A,并通过按对勾符号http://i.imgur.com/uqJeW.png接受bes解决了您问题的答案(如果有)