我正在尝试写一个二级缓存(内存+redis),但是当一个key高并发访问时遇到了瓶颈,我尝试对每个key都使用mutex,但是这样增加了cpu很多因为 loadFromDB 需要 100-200 毫秒。

func (s *Store) GetJsonObjectWithExpire(key string, obj interface{}, ttl int, f StoreLoadFunc) error { 
    // first read from memory 
    v, ok := s.mem.Get(key) 
    if ok { 
        if v.Outdated() { 
            to := deepcopy.Copy(obj) 
            go s.updateMem(key, to, ttl, f) 
        } 
        return nil 
    } 
 
    // if missed in memory, check from redis 
    v, ok = s.rds.Get(key, obj) 
    if ok { 
        if v.Outdated() { 
            go s.rds.loadFromDB(key, nil, ttl, f, false) 
        } 
        return nil 
    } 
    return s.rds.loadFromDB(key, obj, ttl, f, true) 
} 

loadFromDB 将从 db 加载对象并将其写入 redis 和内存,这将花费大约 100-200ms,loadFromDB 和 rds.Get 函数现在使用 per-key RWMutex。

因为会有很多键(10000+),我不确定为每个键使用互斥锁是否是个好主意?

我可以做些什么来提高性能吗?

更新: 这是我在 github 上的代码,用于我的两级缓存端模式实现。

https://github.com/seaguest/cache

请您参考如下方法:

最后,这是我的 github 仓库:

A lightweight distributed two-level cache (memory + redis) with loader function library for Go.

欢迎尝试,欢迎任何建议。


评论关闭
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!