如何在C程序中使用libcurl库下载网页内容

概述

爬虫是一种自动获取网页内容的程序，它可以用于数据采集、信息分析、网站监测等多种场景。在C语言中，有一个非常强大和灵活的库可以用于实现爬虫功能，那就是libcurl。libcurl是一个支持多种协议和平台的网络传输库，它提供了一系列的API函数，可以让开发者方便地发送和接收HTTP请求。

本文将介绍如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。同时，为了避免被目标网站封禁IP，我们还将使用代理IP技术，通过不同的IP地址访问网站。我们将参考爬虫代理的域名、端口、用户名、密码，来获取可用的代理IP。最后，我们将使用自定义写入回调函数，来处理网页内容的写入操作。

正文

1. 安装和配置libcurl库

要使用libcurl库，首先需要下载并安装它。我们可以从官网下载最新版本的源码包，也可以使用包管理器来安装预编译的二进制包。以Windows平台为例，我们可以使用Visual Studio命令行工具来编译libcurl库。具体步骤如下：

• 下载并解压libcurl源码包
• 打开Visual Studio命令行工具，并切换到源码包的winbuild目录下
• 执行编译命令，例如：nmake /f Makefile.vc mode=dll VC=15 MACHINE=x64 DEBUG=no⁵
• 编译成功后，在builds目录下会生成相应的头文件、库文件和可执行文件

接下来，我们需要配置libcurl库的路径和链接选项。以Visual Studio为例，我们可以在项目属性中设置以下内容：

• 在C/C++ -> 常规 -> 附加包含目录中添加libcurl头文件所在的路径
• 在链接器 -> 常规 -> 附加库目录中添加libcurl库文件所在的路径
• 在链接器 -> 输入 -> 附加依赖项中添加libcurl.lib

2. 初始化和设置libcurl句柄

要使用libcurl库发送HTTP请求，我们需要创建一个libcurl句柄，并对其进行一些必要的设置。具体步骤如下：

• 调用curl_global_init函数初始化libcurl环境
• 调用curl_easy_init函数创建一个libcurl句柄
• 调用curl_easy_setopt函数设置一些选项，例如：
  • CURLOPT_URL：设置要访问的网址
  • CURLOPT_PROXY：设置代理服务器的地址和端口
  • CURLOPT_PROXYTYPE：设置代理服务器的类型，例如HTTP或SOCKS
  • CURLOPT_PROXYUSERPWD：设置代理服务器的用户名和密码
  • CURLOPT_WRITEFUNCTION：设置写入回调函数的指针
  • CURLOPT_WRITEDATA：设置写入回调函数的参数

3. 发送HTTP请求并处理响应

设置好libcurl句柄后，我们就可以发送HTTP请求了。具体步骤如下：

• 调用curl_easy_perform函数执行HTTP请求
• 调用curl_easy_getinfo函数获取一些有用的信息，例如：
  • CURLINFO_RESPONSE_CODE：获取HTTP响应的状态码
  • CURLINFO_PRIMARY_IP：获取目标网站的IP地址
  • CURLINFO_CONTENT_TYPE：获取响应的内容类型
• 调用写入回调函数处理响应的内容，例如：
  • 打开一个本地文件
  • 将响应的内容写入文件
  • 关闭文件

4. 释放资源和清理环境

完成HTTP请求后，我们需要释放一些资源，并清理libcurl环境。具体步骤如下：

• 调用curl_easy_cleanup函数释放libcurl句柄
• 调用curl_global_cleanup函数清理libcurl环境

5.C代码示例

首先是回调函数的实现如下：

// 定义写入回调函数的实现
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  // 计算接收到的数据的字节数
  size_t bytes = size * nmemb;

  // 将数据写入文件中
  fwrite(ptr, size, nmemb, (FILE *)stream);

  // 返回写入的字节数
  return bytes;
}
1
2
3
4
5
6
7
8
9
10
11

这个函数的参数和返回值都是由libcurl库定义的，我们只需要按照规范来实现即可。函数的作用是将接收到的数据（ptr）写入到指定的文件流（stream）中，并返回写入的字节数（bytes）。这样，libcurl库就可以知道是否有数据丢失或错误发生。
下面是完整的C代码，你可以编译运行，看看效果如何。

#include 
#include "curl/curl.h"

size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream);

// 亿牛云 爬虫代理 设置代理服务器域名、端口、用户名、密码
#define PROXY_HOST "http://www.16yun.cn"
#define PROXY_PORT "8080"
#define PROXY_USER "16YUN"
#define PROXY_PASS "16IP"
#define URL "http://www.example.com"
#define FILENAME "example.html"

int main(void) {
  // 初始化 curl 库
  CURLcode code = curl_global_init(CURL_GLOBAL_ALL);
  if (code != CURLE_OK) {
    fprintf(stderr, "初始化失败: %s\n", curl_easy_strerror(code));
    return 1;
  }

  // 获取 curl 库的版本信息
  curl_version_info_data *data = curl_version_info(CURLVERSION_NOW);
  printf("curl 库的版本: %s\n", data->version);

  // 创建一个 easy 句柄
  CURL *curl = curl_easy_init();
  if (curl == NULL) {
    fprintf(stderr, "创建句柄失败\n");
    curl_global_cleanup();
    return 2;
  }

  // 设置 URL
  code = curl_easy_setopt(curl, CURLOPT_URL, URL);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 URL 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 3;
  }

  // 设置代理服务器
  code = curl_easy_setopt(curl, CURLOPT_PROXY, PROXY_HOST ":" PROXY_PORT);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理服务器失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 4;
  }

  // 设置代理类型
  code = curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理类型失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 5;
  }

  // 设置代理认证
  code = curl_easy_setopt(curl, CURLOPT_PROXYUSERPWD, PROXY_USER ":" PROXY_PASS);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理认证失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 6;
  }

  // 设置用户代理
  char *user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36";
  code = curl_easy_setopt(curl, CURLOPT_USERAGENT, user_agent);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置用户代理失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 7;
  }

  // 设置 Cookie
  char *cookies = "your_cookie_data_here";
  code = curl_easy_setopt(curl, CURLOPT_COOKIE, cookies);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 Cookie 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 8;
  }

  // 设置写入数据的回调函数
  code = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置回调函数失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 9;
  }

  // 打开本地文件
  FILE *file = fopen(FILENAME, "wb");
  if (file == NULL) {
    fprintf(stderr, "打开文件失败: %s\n", FILENAME);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 10;
  }

  // 设置写入数据的文件指针
  code = curl_easy_setopt(curl, CURLOPT_WRITEDATA, file);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置文件指针失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 11;
  }

  // 执行传输
  code = curl_easy_perform(curl);
  if (code != CURLE_OK) {
    fprintf(stderr, "执行传输失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 12;
  }

  // 获取响应状态码
  long status;
  code = curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &status);
  if (code == CURLE_OK) {
    printf("响应状态码: %ld\n", status);
  } else {
    fprintf(stderr, "获取状态码失败: %s\n", curl_easy_strerror(code));
  }

  // 获取目标 IP 地址
  char *ip;
  code = curl_easy_getinfo(curl, CURLINFO_PRIMARY_IP, &ip);
  if (code == CURLE_OK) {
    printf("目标 IP 地址: %s\n", ip);
    free(ip); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取 IP 地址失败: %s\n", curl_easy_strerror(code));
  }

  // 获取内容类型
  char *type;
  code = curl_easy_getinfo(curl, CURLINFO_CONTENT_TYPE, &type);
  if (code == CURLE_OK) {
    printf("内容类型: %s\n", type);
    free(type); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取内容类型失败: %s\n", curl_easy_strerror(code));
  }

  // 关闭文件
  fclose(file);

  // 清理 easy 句柄
  curl_easy_cleanup(curl);

  // 清理全局资源
  curl_global_cleanup();

  return 0;
}

// 写入数据的回调函数
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  
   size_t written = fwrite(ptr, size, nmemb, (FILE *)stream);

   if (written != size * nmemb) {
     fprintf(stderr, "写入文件出错\n");
     return -1; // 返回一个负值，停止传输
   }

   return written;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180

结语

本文介绍了如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。我们还使用了代理IP技术，来绕过目标网站的反爬措施。我们使用了自定义写入回调函数，来处理网页内容的写入操作。通过这个示例，我们可以学习到libcurl库的基本用法和一些高级特性，以及如何在C语言中实现爬虫功能。