龙空技术网

性能优化反思:不要在for循环中操作DB 进阶版

编程菌zfn 111

前言:

眼前咱们对“phpfor循环输出0到3”大体比较关注,看官们都想要学习一些“phpfor循环输出0到3”的相关内容。那么小编在网上汇集了一些对于“phpfor循环输出0到3””的相关文章,希望姐妹们能喜欢,各位老铁们快快来了解一下吧!

如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。

我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装。

场景说明我们允许用户选择职业,系统预制了一批职业标签;又开放了自定义职业标签的功能,不限制自定义标签的次数。允许用户编辑资料时选择2个职业标签。发现用户自定义的职业真的五花八门,随着业务增长,数量级越来越大;比如目前职业标签是2千个,以后可能有2万个,甚至20万个。这种情况下,我们上一篇提到的在for循环之前批量查询全量数据,在for循环中用自定义函数匹配,避免在for循环中操作DB的方式命中率太低了,造成了极大的浪费。比如:每个列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;而我全量查到的职业标签数量是2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。解题思路首先,在for循环中不操作DB,这个大原则不变上述问题的核心是命中率太低,就是全量查了很多用不到的数据解决思路就是只批量查询命中的标签数据:取到30个用户在user表中保存的职业id30个用户的id去重后重组在职业表通过whereIn查询匹配的职业标签其他逻辑不变,替换的只是数据源:之前的数据源是全量数据,优化后的数据源是精准命中的数据。

思路清晰之后,开始coding

代码示例:

为了行文紧凑,代码段中省略了和文章无关的代码,用竖着的三个.省略。

核心代码:抽取 renderUserInfo ,统一输出用户信息,这个函数在for循环中调用,获得数据源在for循环之前。

<?phpnamespace App\Render;...class CommonRender extends BaseRender{    public static function renderUserinfo($data, $hobbyInfo = [],$professionInfo = [])    {        $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();        //特殊处理,因为职业用户可以自定义 数字一直增长 不全量查数据;$professionInfo为空时不是批量查询,只查单条记录        $professionInfo = !empty($professionInfo) ? $professionInfo : (isset($data['profession']) ? ProfessionInfo::getByIds($data['profession']) : []);        if (!is_array($data)) {            return [];        }        $ret = [            .            .            .            //优化之前//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),//          'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']),//优化之后            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),            'profession' => !isset($data['profession']) ? [] : self::_renderProfession($data['profession'], $professionInfo),            .            .            .        return $ret;    }}
isset() 判断,避免传入的数据不存在,提示数组越界。

我还整理了一篇 如何避免数组下标越界 ,有兴趣可以阅读一下。

protected static function _renderProfession($userProfession, $professionInfo){    $ret = [];    if ($userProfession) {        $userProfessionIds = explode(',', $userProfession);        foreach ($userProfessionIds as $key => $userProfessionId) {            if (isset($professionInfo[$userProfessionId])) {                $ret[$key] = $professionInfo[$userProfessionId];            }        }    }    return $ret;}
调用 commonRender() 的代码,即展示数据源是怎么来的。
public static function getBatchUserIntro($userid, $userList){    $retData = [];    if (empty($userList)) {        return $retData;    }        .    .    .        $hobbyInfo = HobbyInfo::getAllInfo();        //按需批量查职业,不全量查询职业    $professionIds = array_column($batchUserInfo, 'profession');    $professionIds = implode(',', $professionIds);    $professionIds = array_unique(explode(',', $professionIds));    $professionInfo = ProfessionInfo::batchGetByIds($professionIds);    foreach ($batchUserInfo as $item) {        $retData[$item['userid']] = CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);    }        return $retData;}
封装的工具方法,通过id数组批量获得数据,做了特殊判断,兼容值为空的情况。
public static function batchGetByIds($ids = []){    //兼容职业为空的情况    foreach ($ids as $key => $id) {        if (empty($id)) {            unset($ids[$key]);        }    }    if (empty($ids)) {        return [];    }    return self::query()->selectRaw('id,name,pid')        ->whereIn('id', $ids)        ->get()        ->keyBy('id')        ->toArray();}

核心代码就是上述4部分

性能对比

以此举例:每次列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;

优化之前:全量查到的职业标签数量为2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。

优化之后:全量查到的职业标签数量为2千,命中率为100%;如果职业标签达到2万个,命中率仍然为100%。

反思总结

程序设计一定要结合业务场景,没有绝对正确的程序设计;

随着业务增长原本稳健的程序设计也可能遇到问题,技术人必须能和业务一起成长。

标签: #phpfor循环输出0到3