课程问答

请问下 Laravel 7 如果使用 Command 多线程？

$chapterDetail[‘img’],是远程同步图片地址，但是数据大约200W条挨条处理是在太慢！服务器16H 32G 8T 硬件没有任何问题！请问下如何写多线程！要不然200w条数据同步2个月时间太长了

 /*同步内容图片*/ ini_set('memory_limit', '-1'); foreach (ChapterDetail::all() as $chapterDetail) { if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0) { $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body(); $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg'; Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl); $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]); } } $this->info('全部图片同步完成');

李小明

课程读者 237 声望

保持好奇，刻意学习，每日精进

3 人点赞

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

分享创造

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 103 / 101 |

博客

手摸手带你使用 docker-compose 编排一个开发环境 22 / 15 |

博客

PHP使用yield 读取超大型目录、大目录的方法 16 / 15 |

博客

乐融沃多商户商城现已完全开源 11 / 16 |

博客

记一次 Laravel5 升级到 Laravel10 经过 + 使用 octane 进行容器化 10 / 29 |

博客

Clarity——微软开源并完全免费使用的新一代网站体验分析利器 12 / 1 |

pingfan

464 声望

最佳答案

$pids[]; collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) { switch ($pids[] = pcntl_fork()) { case -1: die('子进程创建失败！'); case 0: foreach ($chapterDetails as $chapterDetail) { if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0) { $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body(); $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg'; Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl); $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]); } } exit; default: break; } }); while (count($pids)) { $pid = pcntl_waitpid(-1, $status, WNOHANG); if ($pid === -1) { break; } $pids = array_filter($pids, fn($id) => $id !== $pid); } $this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

5年前评论

pingfan （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

讨论数量: 11

pingfan

464 声望

$pids[]; collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) { switch ($pids[] = pcntl_fork()) { case -1: die('子进程创建失败！'); case 0: foreach ($chapterDetails as $chapterDetail) { if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0) { $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body(); $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg'; Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl); $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]); } } exit; default: break; } }); while (count($pids)) { $pid = pcntl_waitpid(-1, $status, WNOHANG); if ($pid === -1) { break; } $pids = array_filter($pids, fn($id) => $id !== $pid); } $this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

5年前评论

pingfan （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

gooogle

14 声望

写个http接口，入参为同步的数组索引范围。然后用Java（Thread+HttpClient）或者php（curl_multi）写个多线程接口调用，模拟100个并发线程即可。本身宿主机若用php-fpm，需要开启100个以上的子进程。

5年前评论

李小明（楼主）

感谢您的回答！这个方法有些复杂！我新手无法实现！

蔺焕然

34 声望 / 搬砖小组长 @ 帝都搬砖大队

填入队列中走消费模型

5年前评论

gooogle

队列+1，队列比多线程消费要稳得多，php不支持多线程，只能模拟。使用rabbitmq 开几十个监听者就可以了。

pingfan

@gooogle cli 是支持多进程的

Epona

站长 1.8k 声望 / 石头剪刀部长 @ Poper

这种功能都是走队列的，而不是走多线程

5年前评论

doudoubeibei

19 声望

协程

5年前评论

JerryBool

286 声望

开个队列来处理，进程数20，然后在队列里面去并发请求（并发数50）
并发请求的写法参考 guzzleHttp 文档
guzzle-cn.readthedocs.io/zh_CN/lat...

file

5年前评论

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

简单粗暴

php arstian spider php arstian spider php arstian spider php arstian spider .......

5年前评论

李小明（楼主）

如果api中有1000条数据，如何让每个php arstian spider 执行1/10条数据呢？

小李世界（作者）

取模

曾是然

课程读者 281 声望 / Developer @ Tencent

应该不能叫多线程，可启动多个队列，进行多进程消费。

5年前评论

杨柳岸

Laravel 8.x 译者 55 声望

外层foreach写成ScheduleJob负责遍历调度，foreach 内部代码写成WorkJob负责处理工作，设置一下连接超时时间。horizon开20个进程就差不多了。

5年前评论

pingfan

464 声望

$pids[]; collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) { switch ($pids[] = pcntl_fork()) { case -1: die('子进程创建失败！'); case 0: foreach ($chapterDetails as $chapterDetail) { if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0) { $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body(); $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg'; Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl); $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]); } } exit; default: break; } }); while (count($pids)) { $pid = pcntl_waitpid(-1, $status, WNOHANG); if ($pid === -1) { break; } $pids = array_filter($pids, fn($id) => $id !== $pid); } $this->info('全部图片同步完成');