7.0定时任务总结

[dingjianyong]

7.0定时任务配置

• 需要安装Groovy环境（Groovy版本统一使用2.1），需要检查groovy的lib目录下是否已经有commons-httpclient.jar和commons-codec.jar
• 在服务器上建/data/autobbs7_path0和/data/autobbs7_path0两个目录，用于存放应用生成的记录文件(这个要路径和${resin_home}/conf/auto.properties里面的值相匹配)
• 在服务器上建/data/nginx/html_autobbs7/top目录，用于存放top.groovy生成的排行榜html文件
• analyzer.properties上需要配置正确的数据源，以及需要获取访问数据的机器ip和端口
• top.groovy上需要配置应用正确的域名
• 确保在系统的应用配置里配有对应的服务器ip端口的server配置。 举例如下：

server 1 192.168.237.137:8007（此处为应用ip和端口）
server 2 192.168.238.138:8007（此处为应用ip和端口）

• 定时任务配置

主机配置如下
========================
LANG=zh_CN.GB18030
ANALYZER_HOME=/data/counter/autobbs7

# process task per 15 minutes
3,18,33,48 * * * * $ANALYZER_HOME/ana.sh >> $ANALYZER_HOME/analyze.log &2>1

0 0 * * * $ANALYZER_HOME/clean.sh >> $ANALYZER_HOME/clean.log &2>1
0 1 * * * $ANALYZER_HOME/daily.sh >> $ANALYZER_HOME/daily.log &2>1
0 8 * * * $ANALYZER_HOME/top.sh >> $ANALYZER_HOME/top.log &2>1

========================
其中ANALYZER_HOME为计数器目录，下面还要建backup,work和top三个子目录，在每个sh下都要修改应用的url（一般是127.0.0.1:端口）和 groovy的目录。

其他机配置如下
0 8 * * * /data/nginx/groovy-2.1.0/top.sh >> /data/nginx/groovy-2.1.0/top.log &2>1

[dingjianyong]

BBS7定时任务groovy脚本说明：

• path0/15里的文件数据格式为：

与当前时间段的时间延迟毫秒数，版块ID，主题ID，用户ID，IP，请求URL（可以为空），来源URL（可以为空），用户动作类型（1：查看，2：发帖，3：回帖）。

• analyzer.groovy

15分钟运行一次，从path0和path15的文件夹里抓取数据。
记录帖子访问量，把计算的结果值写入到表bbs7_counter_daily
记录版块访问量，把计算的结果值写入到表bbs7_forum_count_hourly
记录在线信息，也就是各个版块15分钟时间段内的ip数和用户数，把计算的结果值写入到表bbs7_online
分版块记录15分钟时间段内的在线登录用户，把计算的结果值写入到表bbs7_online_user
记录用户在整个论坛的在线时间，记录合计为每天的分钟数，把计算的结果值写入到表bbs7_online_time

• daily_count.groovy

记录版块访问量，从bbs7_forum_count_hourly的数据中统计，把计算的结果值写入到表bbs7_forum_count_daily

• daily_post_sum.groovy

记录版块发帖量，把计算的结果值写入到表bbs7_forum_post_daily。需要先调用接口/util/daily/roll_forumtodaypost.do 初始化数据行。

• daily_reg.groovy

记录用户注册量，从bbs7_user的数据中统计，把计算的结果值写入到表bbs7_user_reg_daily

• forum_user.groovy & topic_user.groovy

需要先运行topic_user.groovy，从bbs7_post中获取数据，导出临时文件topic_user.txt，然后运行forum_user.groovy把计算的结果写入到表bbs7_forum_post_daily

[dingjianyong]

analyzer.groovy 运行后，bbs7_forum_count_hourly表会增加相应的数据。每条数据对应一个版块。
此处作出统计字段的数据说明：
u:该板块15分钟内的用户登录数
pv：该板块的总pv数
fpv：列表页pv数
upv：登录用户的pv数
ip： 总ip访问数
fip：只访问列表页的ip访问数
tip：只访问帖子页的ip访问数

需要值得注意的是fip，tip这两个数值。只有当15分钟内单独访问列表（或帖子）页的时候，这个数值才会增加。

[kuangjuhuan]

BBS7定时任务调用接口说明

• 用户每天发帖量统计
  
  调用说明

调用接口： /util/daily/user.do?date=xxx，不传date参数默认是统计今天。
接口会统计所有用户某一天发帖数、回帖数、评分数、被评精华数、积分1~7分数差值；数据会统计到bbs7_user_daily_xx表中（按年分表）。

返回说明

如果执行成功，会返回一个JSON对象，{status:0, ""}。

• 版主工作量统计
  
  调用说明

调用接口：/util/daily/admin_working.do?date=xxx，不传date参数默认是统计今天。
接口会统计包括版主、版副、嘉宾三个角色所有用户每天的工作量情况，板块在线时长、发帖数、回帖数、删除主题数、删除回帖数、锁用户数、解锁用户数、禁止签名数、启用签名数、授勋数、设置板块管理员数、取消板块管理员数、置顶主题数、取消置顶主题数、设置精华数、取消精华数、移动主题数、设置帖子标签数、提升主题数、下沉主题数、高亮主题数、取消高亮主题数、关闭主题数、打开主题数、复制主题数、评分数、撤销评分数、处理投诉数；数据会统计到bbs7_admin_daily_xx(按月分表)。

返回说明

如果执行成功，会返回一个JSON对象，{status:0, ""}。

• 每天新贴、热帖统计
  
  调用说明

调用接口：/util/daily/topic.do?date=xxx，不传date参数默认是统计今天。
接口会统计所有版块每天新贴、热帖数据；新贴数据是根据发帖时间倒叙排序，回帖数大于2（防止广告党）的前20条数据；热帖则分成2天、7天、30天、所有等几种方式统计，分别统计在不同时间段内的热帖，根据回帖数量倒叙排序，取前20条数据，插入对应表中。

返回说明

如果执行成功，会返回一个JSON对象，{status:0, ""}。

• 统计昨天版块的计数器
  
  调用说明

调用接口：/util/daily/roll_forumtodaypost.do
接口会统计昨天版块的计数器，并且清空今天的实时数据,例如今天发帖数。

返回说明

如果执行成功，则返回""。

• 清除过期高亮主题
  
  调用说明

调用接口：/util/daily/clean_highlight.do
接口会把所有过期了的高亮清除掉。

返回说明

如果执行成功，则返回""。

• 清除过期被锁IP
  
  调用说明

调用接口：/util/daily/clean_iplock.do
接口会把所有过期了的被锁IP清除掉。

返回说明

如果执行成功，则返回""。

• 清除过期被锁用户
  
  调用说明

调用接口：/util/daily/clean_lock.do
接口会把所有过期了的被锁用户清除掉。

返回说明

如果执行成功，则返回""。

• 清除过期置顶主题
  
  调用说明

调用接口：/util/daily/clean_top.do。
接口会把所有过期了的置顶主题清除掉。

返回说明

如果执行成功，则返回""。

• 清除过期被锁主题
  
  调用说明

调用接口：/util/daily/clean_topiclock.do
接口会把所有过期了的被锁主题清除掉。

返回说明

如果执行成功，则返回""。

• 清除过期用户勋章
  
  调用说明

调用接口：/util/daily/clean_usermedal.do
接口会把所有过期了的用户勋章清除掉。

返回说明

如果执行成功，则返回""。