Pysftp/Paramiko 重复执行 cwd 和 listdir 时“没有这样的文件”

如何解决Pysftp/Paramiko 重复执行 cwd 和 listdir 时“没有这样的文件”

我正在编写一个 Python 脚本（用于测试目的），它从目录下载 xml 文件，将其转换为 json，将其转换回 xml 并再次上传到不同的目录，只要有 xml文件留在源目录中。

def start():
    now = str(datetime.now().strftime("%d%m%Y%H%M%S"))
    try:
        pysftp.Connection(HOST,username=AGENT,password=PW,private_key=".ppk",cnopts=CNOPTS) 
    except:
        print('Connection error')
        return
    xml_data = []
    new_xml = ''
    with pysftp.Connection(HOST,cnopts=CNOPTS) as sftp:
        for filename in sftp.listdir(SOURCE_FOLDER):
            if fnmatch.fnmatch(filename,WILDCARD) and 'cancel' not in filename:
                doc_type = return_doc_type(filename)
                sftp.cwd(SOURCE_FOLDER)
                file_object = io.BytesIO()
                sftp.getfo(filename,file_object)
                xml_file = file_object.getvalue()
                new_xml = xmltodict.parse(xml_file) 
                if new_xml == '':
                    return 
                xml_data.append(new_xml)
                json_data = json.dumps(xml_data)
                new_xml_file = '<?xml version="1.0" encoding="utf-8" standalone="yes"?>' + dict2xml(json.loads(json_data))
                new_xml_file = indent(new_xml_file,indentation = '    ',newline = '\r\n')
                with pysftp.Connection(HOST,cnopts=CNOPTS) as sftp2:
                    with sftp2.cd(DEST_FOLDER):  
                        with sftp2.open(f'test-{AGENT}-{doc_type}-{now}.xml',mode='w+',bufsize=32768) as f:
                            f.write(new_xml_file) 
                            print('xml file deployed on server: ',now,'\n')    
            file_count = len(sftp.listdir(SOURCE_FOLDER))
            if file_count > 3:   
                start()             
            else:
                print('no new files')
                return

SOURCE_FOLDER 就像 'somefolder/out/'。

我已经用一个文件对其进行了测试并且可以正常工作，但是当我尝试使其递归时，在第二次迭代后出现此错误：

Exception in thread django-main-thread:
Traceback (most recent call last):
  File ".../app/views.py",line 232,in start
    file_count = len(sftp.listdir(SOURCE_FOLDER))
  File ".../lib/python3.7/site-packages/pysftp/__init__.py",line 592,in listdir
    return sorted(self._sftp.listdir(remotepath))
  File ".../lib/python3.7/site-packages/paramiko/sftp_client.py",line 218,in listdir
    return [f.filename for f in self.listdir_attr(path)]
  File ".../lib/python3.7/site-packages/paramiko/sftp_client.py",line 239,in listdir_attr
    t,msg = self._request(CMD_OPENDIR,path)
  File ".../lib/python3.7/site-packages/paramiko/sftp_client.py",line 813,in _request
    return self._read_response(num)
  File ".../lib/python3.7/site-packages/paramiko/sftp_client.py",line 865,in _read_response
    self._convert_status(msg)
  File ".../lib/python3.7/site-packages/paramiko/sftp_client.py",line 894,in _convert_status
    raise IOError(errno.ENOENT,text)
FileNotFoundError: [Errno 2] No such file

原始文件在源目录中，所以我不知道“没有这样的文件”指的是什么。

感谢您的建议

解决方法

您的 SOURCE_FOLDER 是相对路径 somefolder/out/。所以说，你从 /home/path 开始。然后当您从 cwd 到 somefolder/out/ 时，您最终处于 /home/path/somefolder/out/。如果您然后 ls somefolder/out/，您实际上指的是 /home/path/somefolder/out/somefolder/out/，很可能不是您想要的。

这实际上意味着即使您的 for filename 循环也无法工作。当您在每次迭代中从 cwd 到 somefolder/out/ 时，在第二次迭代中，它一定会失败，因为它会尝试从 cwd 到 /home/path/somefolder/out/somefolder/out/。

你最好使用绝对路径来避免这种混乱。

---

您的代码有其他问题。例如：

• 我不明白，为什么你打开到同一主机的第二个连接进行上传。您可以使用已有的连接。

• xmltodict.parse 可以接受一个类似文件的对象。无需通过将 BytesIO 复制到字符串来浪费内存。实际上你甚至不需要用 BytesIO 浪费内存，你可以使用：

  with sftp.open(filename,bufsize=32768) as f:
      new_xml = xmltodict.parse(f)