在当今数据驱动的世界中，GitHub作为全球最大的代码托管平台，拥有海量的用户和项目数据。这些数据对于开发者、研究人员和企业来说具有巨大的价值。本文将详细介绍如何使用Python爬取百万GitHub用户数据，并探讨相关的技术细节和注意事项。
在开始爬取GitHub用户数据之前，我们需要做好以下准备工作：
首先，确保你已经安装了以下Python库：
requests：用于发送HTTP请求。pandas：用于数据处理和分析。tqdm：用于显示进度条。time：用于控制请求频率。你可以使用以下命令安装这些库：
pip install requests pandas tqdm GitHub API对未认证的请求有严格的速率限制（每小时60次请求）。为了绕过这一限制，你需要获取一个GitHub API Token。你可以在GitHub的开发者设置中生成一个Token。
GitHub提供了丰富的API接口，我们可以通过这些接口获取用户数据。以下是获取用户数据的基本步骤：
GitHub API提供了一个接口用于获取用户列表。我们可以通过以下URL获取用户列表：
url = "https://api.github.com/users?since=0" 其中，since参数用于指定从哪个用户ID开始获取用户列表。我们可以通过循环不断增加since参数的值来获取更多的用户。
使用requests库发送HTTP请求，并获取用户列表：
import requests def get_users(since, token): headers = { "Authorization": f"token {token}", "Accept": "application/vnd.github.v3+json" } url = f"https://api.github.com/users?since={since}" response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() else: print(f"Error: {response.status_code}") return [] 获取用户列表后，我们可以通过用户的login字段获取每个用户的详细信息：
def get_user_details(login, token): headers = { "Authorization": f"token {token}", "Accept": "application/vnd.github.v3+json" } url = f"https://api.github.com/users/{login}" response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() else: print(f"Error: {response.status_code}") return {} 通过循环调用上述函数，我们可以获取大量的用户数据。为了控制请求频率，避免触发GitHub的速率限制，我们可以在每次请求后暂停一段时间：
import time from tqdm import tqdm def get_million_users(token): users = [] since = 0 for _ in tqdm(range(1000)): # 1000次请求，每次获取1000个用户 user_list = get_users(since, token) for user in user_list: user_details = get_user_details(user["login"], token) users.append(user_details) since = user_list[-1]["id"] time.sleep(1) # 每次请求后暂停1秒 return users 获取到用户数据后，我们可以使用pandas库对数据进行处理，并将其存储到CSV文件中：
将获取到的用户数据转换为pandas的DataFrame：
import pandas as pd def process_users(users): df = pd.DataFrame(users) # 选择需要的列 df = df[["login", "id", "name", "company", "blog", "location", "email", "public_repos", "followers", "following", "created_at"]] return df 将处理后的数据存储到CSV文件中：
def save_to_csv(df, filename): df.to_csv(filename, index=False) 将上述步骤整合到一起，完整的代码如下：
import requests import time import pandas as pd from tqdm import tqdm def get_users(since, token): headers = { "Authorization": f"token {token}", "Accept": "application/vnd.github.v3+json" } url = f"https://api.github.com/users?since={since}" response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() else: print(f"Error: {response.status_code}") return [] def get_user_details(login, token): headers = { "Authorization": f"token {token}", "Accept": "application/vnd.github.v3+json" } url = f"https://api.github.com/users/{login}" response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() else: print(f"Error: {response.status_code}") return {} def get_million_users(token): users = [] since = 0 for _ in tqdm(range(1000)): # 1000次请求，每次获取1000个用户 user_list = get_users(since, token) for user in user_list: user_details = get_user_details(user["login"], token) users.append(user_details) since = user_list[-1]["id"] time.sleep(1) # 每次请求后暂停1秒 return users def process_users(users): df = pd.DataFrame(users) # 选择需要的列 df = df[["login", "id", "name", "company", "blog", "location", "email", "public_repos", "followers", "following", "created_at"]] return df def save_to_csv(df, filename): df.to_csv(filename, index=False) if __name__ == "__main__": token = "your_github_token" users = get_million_users(token) df = process_users(users) save_to_csv(df, "github_users.csv") 在爬取GitHub用户数据时，需要注意以下几点：
GitHub对API的使用有严格的政策，确保你的爬虫行为不会违反这些政策。例如，避免过高的请求频率，尊重用户的隐私等。
即使使用API Token，GitHub API仍然有速率限制。确保你的爬虫在请求之间留有足够的时间间隔，以避免触发速率限制。
爬取的数据量可能非常大，确保你有足够的存储空间，并定期备份数据，以防止数据丢失。
通过本文的介绍，你应该已经掌握了如何使用Python爬取百万GitHub用户数据的基本方法。在实际应用中，你可能需要根据具体需求对代码进行进一步的优化和调整。希望本文能为你提供有价值的参考，祝你在数据爬取的道路上取得成功！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
