用web采集性能很差,用php多线程也没用

芯友网首页 web 采集 php 多线程

用web采集性能很差,用php多线程也没用

【元婴】村长

你想做采集?

【管理员】虚空之风

我目前不做。就是从来没做过。想了解下。

【元婴】村长

用web采集性能很差

【管理员】虚空之风

服务端我比较喜欢网络编程技术前端我喜欢webgl技术。

【元婴】村长

我试过采集到20万数据的时候就越来越慢

【管理员】虚空之风

恩觉得还不如用C#效率高点

【元婴】村长

用php多线程也没用

【管理员】虚空之风

php的多线程我也没用过。

【渡劫】hello

你说curl multi吗
那东西没啥用

【管理员】虚空之风

也不理解php的多线程

【渡劫】hello

不如开多终端伪多线程
效率高
配合shell
或者bay

【元婴】村长

Mysql数据量一大，性能越来越差

【渡劫】hello

bat
采集和写入分开

【元婴】村长

数据库根本抗不起那么多数据

【渡劫】hello

生成插入语句，然后用其它手段插入

【元婴】村长

一样，除非做集群，尼玛一个采集还搞集群就没意义了
并且还存在一个重复数据的问题

【大乘】遗心

@村长你也被感染了？

【渡劫】hello

一天抓200w条微博也没意义？

【元婴】村长

我早就搞过的
大数据不好解决，功能都实现了
Web性能不行，nginx经常假死
刚开始数据刷的很快。后来慢慢就卡死了

【元婴】村长

所以我现在不研究那个抓数据的玩意了。改研究别的

相关问题

【Thinkphp web new模块分页怎么传参数?】？？;Tony加入本群;就是分页可以一直在第二页操作吗

【PHP 能实现多线程么？】可以，先百度;应该是进程还是线程？;你喜欢都可以;

【我不建议用php做websocket】为什么呢？;性能太差要用服务器资源

【要用PHP开websocket，可以试下swoole】因为php进程级独享耗内存;@Leo_Y

------分隔线----------------------------

赞助商链接

热点内容

赞助商链接

推荐内容