爬虫 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
不是想搞瑟瑟，比如我想自己做一个注册机、爬虫类的，但是ai会一直规避，有什么办法可以破限吗？ 2 个帖子 - 2 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-22 14:56:54+08:00
https://asa.ccser.com/nearby
tech v2ex 2026-05-22 11:38:01+08:00
https://asa.ccser.com/nearby
tech v2ex 2026-05-22 11:13:38+08:00
我有一台甲骨文圣何塞的服务器，想部署爬虫和自动下载视频的脚本去爬抖音，但是被抖音拒绝了，请问有什么方式能解决吗？如果要买代理的话，有能在国外使用的国内节点吗 5 个帖子 - 4 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-22 02:30:59+08:00
各位 V 友，大家好！ 作为开发者或跨境从业者，大家在做海外数据采集（爬虫）、自动化测试、多账号防关联、海外社交媒体运营时，估计都遇到过这些让人头疼的问题： 刚跑了几个请求，IP 就被 Cloudflare 或目标网站风控，疯狂弹验证码。 机房 IP （数据中心 IP ）干净度太
tech v2ex 2026-05-21 17:46:37+08:00
我们小团队是专门做酒店pms的，目前产品岀来有几年了但是总是在ota平台直连上有缺陷，想做爬虫又不太了解怕有法律风险，但是目前ota爬虫满天飞，甚至明目张胆售卖，这些不违法吗？我们购买使用风险应该也很小吧？有没有懂的佬解答一下。 1 个帖子 - 1 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-20 07:35:34+08:00
我靠！终于从坑里爬出来了！ 涨姿势了，新学了一个名词：TCP 控制风暴！ 之前防爬虫，我是 nginx 直接返回 444，结果带宽一直暴涨，始终找不到原因，今天花了大半天，终于解决了。 当 444 遇到恶意爬虫，与触发 TCP控制风暴。 444 状态码有个反直觉的底层深坑： Ng
tech LinuxDo 最新话题 2026-05-19 16:11:12+08:00
各位 V 友，大家好！ 在做跨境电商（ Amazon, eBay, Shopee ）、海外社媒运营（ TikTok, Instagram, Facebook ）、网络爬虫数据采集，或者海外多账号防关联管理时，一个干净、稳定、速度快的海外住宅代理 IP 是必不可少的。 今天给大家安
tech v2ex 2026-05-19 14:29:55+08:00
感觉这家伙道德感太强了，我用Claude Code + Claude，丢一个YouTube的连接它，然后跟它说我要下载，它马上帮我下载了。然后爬虫做遇到一些验证码识别的问题，我也直接问它有没有解决方案，它都能马上回答我，Codex就会直接跟你说，不会帮你做。 3 个帖子 - 2
tech LinuxDo 最新话题 2026-05-19 10:40:40+08:00
[开源] 一个 URL → 结构化 JSON：自动识别文章页 / 列表页，详情出 Markdown ，列表出 items 做 RAG 、AI 资讯聚合或内容监控时，常见痛点是： 详情页要正文 Markdown ，列表页要标题、链接、摘要——往往要写两套爬虫 纯 HTTP 抓不到
tech v2ex 2026-05-18 12:49:36+08:00
[开源] 一个 URL → 结构化 JSON：自动识别文章页 / 列表页，详情出 Markdown ，列表出 items 做 RAG 、AI 资讯聚合或内容监控时，常见痛点是： 详情页要正文 Markdown ，列表页要标题、链接、摘要——往往要写两套爬虫 纯 HTTP 抓不到
tech v2ex 2026-05-18 12:49:36+08:00
[开源] 一个 URL → 结构化 JSON：自动识别文章页 / 列表页，详情出 Markdown ，列表出 items 做 RAG 、AI 资讯聚合或内容监控时，常见痛点是： 详情页要正文 Markdown ，列表页要标题、链接、摘要——往往要写两套爬虫 纯 HTTP 抓不到
tech v2ex 2026-05-18 12:42:57+08:00
目前在做一个工具，涉及一些web爬虫逆向相关的需求。 我用的一直是codex，之前在站里看到有佬友分享了一个小技巧，在codex拒绝帮你做逆向的时候，就改一下codex的session文件里面的内容，相当于是篡改一些他的记忆，之前我也尝试过，这个方法很有效。 但是昨天我又有了一个
tech LinuxDo 最新话题 2026-05-18 10:10:06+08:00
自己在购买基金，主动基金，养鸡、小贝的计算太不准确了 让AI来写一个系统，爬虫股票这些来实现计算是否可行呢？ 7 个帖子 - 4 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-15 15:18:04+08:00
各位 V 友， 在处理海外业务（如数据采集、跨境电商运营、社媒营销）时，IP 的“纯净度”往往是决定项目成败的关键。如果你正面临 IP 被目标网站屏蔽、验证码频繁等问题，推荐试一下 Novproxy 。 🔍 核心优势： 海量资源： 覆盖全球 200+ 国家，5000 万+ 真实住
tech v2ex 2026-05-12 16:31:18+08:00
我在Google中搜索一些问题，然后看到一个夹带私货的npm链接 点进去之后 网页URL： https://www.npmjs.com/search?q=200元校园妹子一次（薇芯xxxxxx )全国附近可约高端妹子上门服务–高端品茶–找全套上门服务–小姐妹子上门服务.0403
tech LinuxDo 最新话题 2026-05-12 16:06:20+08:00
本人基本vibe coding，编码渣渣，顶多python入门水平，本人以前是vibe软件开发，做一些小工具之类的，对网页分析等了解不多。 这几天开始接触一些网络数据爬取分析的需求，基本要求十万条级别的数据量，且分数据类型（社交平台用户评论、专业报告、新闻报道、政府公告等）和数据
tech LinuxDo 最新话题 2026-05-12 11:52:06+08:00
菲区 QQ邮箱 u卡 之前有写过爬虫，反编译 找黑子cyber认证过了 早上无征兆被封了 享年7.5天 18 个帖子 - 10 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-12 09:04:34+08:00
我在一个开发者群里看到有人可以通过爬虫去获取gpt账号 这种是怎么做的呢？ 爬虫爬的是那些网站的账号呢 1 个帖子 - 1 位参与者 阅读完整话题
tech LinuxDo 最新话题 2026-05-11 16:10:48+08:00
IT之家 5 月 11 日消息，据外媒 404 Media 报道，由于 AI 浪潮带来了存储硬件涨价潮，目前互联网档案馆（网络时光机）和维基百科的维护成本正大幅上涨。 以互联网档案馆为例，目前其拥有 210PB 档案，每天平台平均新增 100TB 数据，创始人布鲁斯特 · 卡勒透
tech IT之家 2026-05-11 15:26:55+08:00