在 FTP 的 libcurl 中使用简单和多接口

如何解决在 FTP 的 libcurl 中使用简单和多接口

我正在编写一个程序，它不断地递归地检查 FTP 服务器上的新文件。当检测到文件时，将下载该文件。

我使用 curl 简单界面编写了所有内容，因为阻止对 curl_easy_perform() 的调用非常适合控制通道和列表操作。但是说到下载文件，多界面似乎更合适。我想把整个事情切换到多，但目录列表变得非常复杂。

所以这是我的问题，我可以在同一个线程中同时使用easy和multi两种接口吗？如果是这样，他们可以共享到服务器的相同连接吗？

编辑 1

有没有办法检查单个传输状态而不是使用 curl_easy_perform()？所以我可以将 curl_multi_* 接口用于我的所有传输，并且只在我执行之后立即检查我的 LIST 命令状态。这将允许我模拟阻塞行为，而不会干扰我将在其他地方处理和检查的文件传输。

据我所知，curl_multi_info_read() 不允许这样做：

当您使用此函数获取消息时，它会从内部队列中删除，因此再次调用此函数将不会再次返回相同的消息。

解决方法

这是否回答了您的问题：

当设置简单句柄并准备好进行传输时，您应该使用 curl_multi_add_handle 将简单句柄添加到多句柄，而不是像使用简单界面进行传输时那样使用 curl_easy_perform。您可以随时向多句柄添加更多简单句柄，即使其他传输已在运行。

来自libcurl - multi interface overview（一个多处理多个简单的处理）

我可以在同一个线程中同时使用easy和multi两个接口吗？

是的，但请注意，easy api 主要是阻塞的，而 multi api 主要是非阻塞的，因此如果您错误地组合它们，您可能最终会遇到多传输挂起/缓慢的情况，因为您的线程被 curl_easy~ 调用阻塞。

如果是这样，他们可以共享到服务器的相同连接吗？

严格来说，是的，至少在某些情况下，但您确实应该让 libcurl 担心连接重用的细节，除非您处于微优化阶段（并且考虑到您的问题，您绝对不是）

有没有办法检查单个传输状态

从 curl_multi 传输列表中检查单个传输的状态？老实说，当我使用 curl_multi 时，我通常只在它们不再活动时检查它们，如 curl_multi_info_read() & co 报告的那样。并使用 CURLOPT_WRITEFUNCTION & co 跟踪每次传输，

这个程序会输出

transfer #1 is 4.70178% downloaded. running: true
transfer #2 is 6.51742% downloaded. running: true
transfer #3 is 6.14288% downloaded. running: true
transfer #4 is 6.01199% downloaded. running: true
transfer #0 is 12.3027% downloaded. running: true
transfer #1 is 8.73407% downloaded. running: true
transfer #2 is 14.0515% downloaded. running: true
transfer #3 is 12.8638% downloaded. running: true
transfer #4 is 11.8516% downloaded. running: true
(...)
transfer #0 is 94.8156% downloaded. running: true
transfer #1 is 88.5291% downloaded. running: true
transfer #2 is 98.8117% downloaded. running: true
transfer #3 is 92.01% downloaded. running: true
transfer #4 is 100% downloaded. running: false
transfer #0 is 100% downloaded. running: false
transfer #1 is 100% downloaded. running: false
transfer #2 is 100% downloaded. running: false
transfer #3 is 100% downloaded. running: false

它在自己的线程中跟踪每个单独的传输，主线程可以通过执行 transfers[x]->status 轻松检查任何单独的传输~

#include <iostream>
#include <thread>
#include <string>
#include <string_view>
#include <atomic>
#include <vector>
#include <memory>

#include <curl/curl.h>

class Curl_Transfer
{
public:
    std::string url;
    std::string response_headers;
    std::string response_body;
    CURL *ch = nullptr;
    CURLcode curl_easy_perform_code = CURLcode(0);
    bool running = true;
    std::thread dedicated_thread;
    int64_t expected_size = 0; // << content-length reported size

    Curl_Transfer(std::string url) : url(url)
    {
        this->dedicated_thread = std::thread([&]() -> void
                                             {
                                                 this->ch = curl_easy_init();
                                                 curl_easy_setopt(this->ch,CURLOPT_URL,this->url.c_str());
                                                 curl_easy_setopt(this->ch,CURLOPT_WRITEDATA,this);
                                                 curl_easy_setopt(this->ch,CURLOPT_HEADERDATA,CURLOPT_WRITEFUNCTION,this->WRITEFUNCTION_cb);
                                                 curl_easy_setopt(this->ch,CURLOPT_HEADERFUNCTION,this->HEADERFUNCTION_cb);
                                                 CURLcode code=curl_easy_perform(this->ch);
                                                 //std::cout << "code: " << code << std::endl;
                                                 this->curl_easy_perform_code = code;
                                                 this->running = false;
                                             });
    }
    ~Curl_Transfer()
    {
        std::cout << "DESTRUCTING!" << std::endl;
        this->dedicated_thread.join();
        curl_easy_cleanup(this->ch);
    }

private:
    // this function need to be static to be compatible with some C->C++ calling stuff... idk,but it also need access to this,so fthis=this...
    static size_t WRITEFUNCTION_cb(const char *data,size_t size,size_t nmemb,Curl_Transfer *fthis)
    {
        CURL *ch = fthis->ch;
        fthis->response_body.append(data,size * nmemb);
        //std::cout << "got body data! " << size*nmemb << "\n";
        return size * nmemb;
    };
    // this function need to be static to be compatible with some C->C++ calling stuff... idk,so fthis=this...
    static size_t HEADERFUNCTION_cb(const char *data,Curl_Transfer *fthis)
    {
        CURL *ch = fthis->ch;
        //std::cout << "got headers! " << size*nmemb << "\n";
        fthis->response_headers.append(data,size * nmemb);
        std::string_view svd(data,size * nmemb);
        const std::string_view needle = "Content-Length: ";
        auto clp = svd.find(needle);
        if (clp != std::string::npos)
        {
            svd = svd.substr(needle.size());
            std::string fck(svd);
            fthis->expected_size = std::stoll(fck,nullptr,0);
        }
        return size * nmemb;
    };
};
int main()
{
    curl_global_init(~0); // << todo get proper constant
    std::vector<Curl_Transfer *> transfers;
    for (int i = 0; i < 5; ++i)
    {
        auto fck = new Curl_Transfer("http://speedtest.tele2.net/100MB.zip");
        transfers.push_back((fck));
    }
    for (;;)
    {
        std::this_thread::sleep_for(std::chrono::seconds(5));
        for (size_t i = 0; i < transfers.size(); ++i)
        {
            std::cout << "transfer #" << i << " is " << (double((transfers[i]->response_body.size()) / double(transfers[i]->expected_size))*100) << "% downloaded. running: " << (transfers[i]->running ? "true" : "false") << "\n";
        }
    }
}

不过，可能有更好的方法来做到这一点.. 必须有。但直到有更聪明的人出现，*这至少有效......
显然我做了所有的线程处理来避免使用 curl_multi api.. dafuq
您使用的是 C，而不是 C++...抱歉，您也可以在 C 中完成上述所有操作，但是我对 C 不够满意，无法享受用 C 重写它（任何人都是免费的）如果他们愿意，可以用 C 重写代码）

在 FTP 的 libcurl 中使用简单和多接口

如何解决在 FTP 的 libcurl 中使用简单和多接口

解决方法

相关推荐