新架构方案组

陈小虎、陈崇锜、林浩、李思亮、袁火青

进展

• 第一次会议 2012-10-22 陈小虎、陈崇锜、林浩、李思亮、袁火青
  • 相关资料：电脑网产品报价库全况(1).rar 缓存命中率.txt
  • 网络部署：
    • 配置复杂，另外4台主要服务器上部署太多部件，包括resin、squid、mysql、静态，cpu、内存、io密集型的东西都全了。
    • squid命中率低，第一层全域名的40%，报价+ssi部分30%。
  • 数据库层：
    • 目前每台mysql平均每秒查询100次，峰值200，在有squid、mc缓存的情况下访问量偏大，需要检查。
    • 每次增量同步导致查数据库效率降低，线程增加负载升高，全同步偶尔truncate失败，考虑采用异步增量同步的方式同步数据，取消全同步。
    • 以后迁出oracle的时候，可以考虑前后台合并。
  • 应用层：
    • 静态页面已经是伪静态，静态内容很少，大部分是动态嵌入的ssi，导致ssi的请求占全部请求数的60%左右。
    • 应用重启负载高峰的问题还存在。
  • 下一步安排：
    • 业务整理，每个前台页面、内容块的数据来源、提取规则、更新频率、SEO需求分析。
    • 考虑新的功能细分、页面组装机制。
    • 尝试屏蔽resin自带缓存的情况。
    • 检查报价前台mysql查询量偏高的原因。
      • 报价前台4台mc检查命中率92%
      • 239.55 mysql 90秒查询统计：pricelib-239-55.log

           4597 PDL_PRODUCT_FRONT
           1678 PDL_PRODUCT_TYPE
           1229 PDL_DEFINED_CRITERIA
           1133 PDL_CONFIG_ITEM
            562 PDL_PRODUCT_VARIANCE
            443 PP_BRAND_FRONT
            105 PDL_VARIANCE_PRODUCT_FRONT
             71 PDL_CONFIG_SELECT
             53 PP_AREA
             19 PDL_CONFIG_GROUP
        

      • 单台nginx日志分析 access.log.gz  请求及命中统计，38分钟大概是1.8万的索引页请求,平均命中率30%，4台nginx分配到6台reisn是每台4000，一个索引页对象的读取大约是300-500，按mc命中率92%算，每台resin每秒查询数据库是42-70之间，因为访问的大部分是热门数据，所以实际查询次数会更低一点。如果是两台服务器连一个mysql，那么查询次数确实是平均每秒80-100，从这个日志看mysql的查询次数和mc的命中率基本上对应。
      • 尝试延长mc对象缓存的时间从6小时到12小时。
    • 考虑把ssi部分从报价前台独立出来，使用资源消耗更小、连接处理能力更强的netty服务器。
  • 下一次会议时间：11月份底。