️Crawl4AI——AI训练提速神器，帮你搞定海量数据！

在人工智能加速发展的今天，从GPT-3到BERT这样的大型语言模型（LLM），背后都离不开庞大的数据支撑。然而，海量数据的获取向来是让开发者头疼的问题。正是基于这个需求，Crawl4AI应运而生，成为了数据抓取的强大帮手。

Crawl4AI如何助力AI训练？

Crawl4AI是一款面向LLM训练需求的开源爬虫工具，专为应对复杂的网页抓取挑战而设计。它不仅轻松应对传统爬虫无法处理的动态页面，还引入了并行处理技术，大大加快了数据收集的速度。

并行处理，效率翻倍 ：Crawl4AI可以同时抓取多个网页，瞬间提升数据获取效率。不再为漫长的数据抓取等待，一键搞定。灵活处理动态内容 ：无论数据藏在哪儿，Crawl4AI都能轻松应对，无论是静态网页还是动态内容，统统捕获。多格式支持，处理更便捷 ：它支持导出JSON和Markdown格式，这意味着后续的数据清洗和分析都能轻松进行，无缝接入各种工作流。

Crawl4AI适合谁使用？

对于那些从事深度学习、自然语言处理以及研究LLM的开发人员，Crawl4AI绝对是提升工作效率的利器。再也不必为复杂的爬虫代码发愁，这款工具将自动完成大规模数据集抓取任务，腾出更多时间用在模型优化和算法提升上。

总结

Crawl4AI的出现，为AI训练中的数据收集带来了革命性的变革。不论你是AI新手还是老司机，拥有一款便捷的爬虫工具都可以让你事半功倍。现在就可以尝试使用Crawl4AI，抓住海量数据，提升你手中的AI模型！

详情查看:

依赖包：

pip install openai python-dotenv crawl4ai pydantic playwrightpython -m playwright install

import osimport asynciofrom openai import OpenAIfrom dotenv import load_dotenv, find_dotenvfrom pydantic import BaseModel, Fieldimport aiohttpfrom bs4 import BeautifulSoup# 加载 .env 文件中的环境变量load_dotenv(find_dotenv(), override=True)# 获取 OpenAI API 密钥openai_api_key = os.getenv("OPENAI_API_KEY")if not openai_api_key:    print("未找到 OPENAI_API_KEY 环境变量。")    openai_api_key = input("请输入您的 OpenAI API 密钥：")    # 不保存密钥到 .env 文件，避免安全风险# 设置 OpenAI 的 API 密钥和自定义 API 地址api_base_url = os.getenv("OPENAI_API_BASE_URL", ";)  # OpenAI 配置 API# 设置代理环境变量（如果 OpenAI API 也需要通过代理）os.environ['HTTP_PROXY'] = ';os.environ['HTTPS_PROXY'] = ';# 初始化 OpenAI 客户端client = OpenAI(    api_key=openai_api_key,    base_url=api_base_url)class OpenAIModelFee(BaseModel):    model_name: str = Field(..., description="Name of the OpenAI model.")    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")    class Config:        # 允许使用与受保护命名空间冲突的字段名称        protected_namespaces = ()async def extract_model_fees():    # 从指定的 URL 获取页面内容    url = ';    # 设置代理地址    proxy = ';    async with aiohttp.ClientSession() as session:        async with session.get(url, proxy=proxy) as response:            html_content = await response.text()    # 使用 BeautifulSoup 解析页面内容    soup = BeautifulSoup(html_content, 'html.parser')    # 提取页面中的文本内容    extracted_text = soup.get_text(separator='\n')    # 构建提示，要求模型提取所需信息    prompt = f"""From the content below, extract all mentioned model names along with their fees for input and output tokens.Do not miss any models in the entire content. Each extracted model should be in JSON format like this:{{"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}}.Content:{extracted_text}Please provide the extracted information in JSON format."""    # 调用 OpenAI API 进行处理    response = client.chat.completions.create(        messages=[            {"role": "user", "content": prompt}        ],        model="gpt-3.5-turbo",  # 使用可用的模型名称        max_tokens=1500,         # 根据需要调整最大 token 数    )    # 获取并打印模型的回复    result_text = response.choices[0].message.content    print("提取的模型费用信息：")    print(result_text)if __name__ == "__main__":    asyncio.run(extract_model_fees())

注：测试使用的openai第三方的服务商

AGICTO | 大模型基座