全自动批量采集200个网站，这个37K Star的开源爬虫工具拯救了我【附：源码和爬虫MCP】
全自动批量采集200个网站，这个37K Star的开源爬虫工具拯救了我【附：源码和爬虫MCP】大家好，我是袋鼠帝前几天收到一个客朋友的咨询：“有没有什么爬虫软件推荐？”
来自主题: AI技术研报
7203 点击 2025-05-20 16:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大家好，我是袋鼠帝前几天收到一个客朋友的咨询：“有没有什么爬虫软件推荐？”
2025 年 5 月，美国加州大学河滨分校 (UC Riverside) 与宾夕法尼亚州立大学 (Penn State University) 联合团队在机器人领域顶级会议 ICRA 2025 上发布最新研究成果 LaMMA-P。
由Y Combinator 支持的初创公司 Firecrawl 再次开始招聘 AI 智能体员工。正如二月份报道的那样， 其首次尝试并未找到值得雇用的 AI。
2025年初，随着Manus的火爆，其背后的“黑科技”Browser Use也同样引起了人们的关注。Browser Use专为解决上述痛点而设计，强调将AI agents与网页连接，实现对浏览器的自动化操作。它支持AI agents自动轮换，单次登录即可实现持久会话，据TechCrunch报道，Browser Use是Manus用来执行各种任务的组件之一，例如点击网站菜单和填写表格。
当红的 AI 搜索应用 Perplexity 的 CEO 发了一条 X 帖子，他开玩笑说：随便去问那些身价过亿的投资人，看看他们需要什么样的产品。他们大概率会回答，需要一个个人 CRM 系统。其实，他们真正想要的是一个什么都知道的智能助手，可以主动帮忙处理各种事务。
开发能在开放世界中完成多样任务的通用智能体，是AI领域的核心挑战。开放世界强调环境的动态性及任务的非预设性，智能体必须具备真正的泛化能力才能稳健应对。然而，现有评测体系多受限于任务多样化不足、任务数量有限以及环境单一等因素，难以准确衡量智能体是否真正「理解」任务，或仅是「记住」了特定解法。
根据TechCrunch和Semafor等报道，美国财政部正在审查Benchmark Capital对中国初创公司Manus AI的7500万美元投资，据两位知情人士透露，这已经反映出中美之间的科技竞争已经升级到政治层面。
据 TechCrunch 报道，Recraft，这家神秘图像模型背后的初创公司，去年在一个备受尊敬的行业基准测试中击败了 OpenAI 的 DALL-E 和 Midjourney，已完成由 Accel 领投的 3000 万美元 B 轮融资。
推理模型发展正盛，著名 AI 技术博主 Sebastian Raschka 也正在写一本关于推理模型工作方式的新书《Reasoning From Scratch》。
Midjourney v7上线后，配套的角色参考（cref）功能一直迟迟未公布。当时我就有个预感，也在评测文章里说过：这可能是个全新功能的伏笔。果然，今天Midjourney正式公布「Omni-Reference」，即「全向参考」，或翻译成「万能参考」，配合--oref、--ow两个参数使用，这不是Character Reference的v7升级版，而是一次全面的参考进化。