Changes between Version 2 and Version 3 of Ticket #98


Ignore:
Timestamp:
07/05/2012 01:56:49 PM (14 years ago)
Author:
huangzhong
Comment:

Legend:

Unmodified
Added
Removed
Modified

  • Ticket #98

    • Property Keywords 定时任务 added
    • Property Due Date changed from to 05/07/2012
    • Property Summary changed from pg版本定时任务及product数据库关联改造 to 商城postgresql版本定时任务

  • Ticket #98 – Description

    v2 v3  
    1 * 需改造的定时任务清单 
    2 * 需改造的eyp和product表、视图、同义词清单 
    3 === 视图 === 
    4 1. V_PDL_PRODUCT 
    5 产品库产品视图,数据量316583,每天更新一次 
     1* 数据库端定时任务 
     215 0 * * *  /usr/local/pgsql/crontab/app/sync_cyp_table_daily.sh >>/usr/local/pgsql/crontab/app/sync_cyp_table_daily.log 2>&1  
     3#######   refresh  cyp table  4 times one day  by lsliang  2012-6-14   
     430 9,12,16,21 * * * /usr/local/pgsql/crontab/app/refresh_cyp_table.sh >>/usr/local/pgsql/crontab/app/refresh_cyp_table.log 2>&1  
     5###  refresh  pp_ad and pdl_ad  from oracle every  15min by lsliang 2012-6-14  
     6*/2 * * * * /usr/local/pgsql/crontab/app/sync_cyp_table_quarter.sh >>/usr/local/pgsql/crontab/app/sync_cyp_table_quarter.log 2>&1  
    67 
    7 2. V_PDL_PRODUCT_TYPE 
    8 产品库产品类别视图,数据量13448,每天更新一次 
     8* 应用端 
     9#商城前台3台服务器 
     10#百度sitemap，seo需求，每天一次 @2012.04.18 by 廖俊强 
     111 8 * * * wget --spider -t 1 -T 30 "http://localhost:8082/task/create_news_xml.jsp?pageSize=10000&pageNum=1&fileNum=8" >/dev/null 2>&1 
    912 
    10 3. V_PDL_PRODUCT_VARIANCE 
    11 产品库产品系列视图,数据量9144,每周更新一次 
     13#产品增量索引，每30分钟一次 
     143-59/30 7-23 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=product&type=2&indexFileName=/data/m.pconline/eyp_index/product" >/dev/null 2>&1 
    1215 
    13 4. V_PP_AREA 
    14 产品库报价地区视图,数据量36,建议手动更新 ( dba 数据库不提供更新脚本） 
     16#店铺增量索引，每15分钟一次 
     17*/15 7-23 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=shop&type=2&indexFileName=/data/m.pconline/eyp_index/shop/" >/dev/null 2>&1 
    1518 
    16 5. V_PP_PRICE 
    17 产品库产品报价视图，数据量4032582，对商城来说，有意义的只是全国报价，v_pdl_product里的price就是全国报价，所以这个视图可以去掉(相应代码要做处理) ( dba 数据库不提供更新脚本） 
     19#商城前台3台服务器同步239.96的索引文件,4:30同步，同步完之后重启服务器(重新加载索引文件) 
    1820 
    19 6. V_PP_PRICE_LIMIT 
    20 产品库产品报价限价视图,在商城这边也建一个同样的视图(此视图在存储过程sync_price_limit中使用到)，数据来源于商城的pp_price_limit。( dba 数据库不提供更新脚本） 
    2121 
    22 === 同义词 === 
    23 7. PDL_AD 
    24 产品库终端页广告表，数据量8371，每十五分钟更新一次 
    2522 
    26 8. PDL_CONFIG_ITEM 
    27 产品库产品属性分类配置项，数据量6279，每天更新一次 
    2823 
    29 9. PDL_DEFINED_CRITERIA 
    30 产品库产品查询筛选项，数据量3325，每天更新一次 
     24#商城eyp后台 
     25#检查服务是否全部审核通过，5分钟一次 
     26*/5 * * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/CheckRequestReviewStatus >/dev/null 2>&1 
    3127 
    32 10. PDL_PRODUCT 
    33 产品库产品表，数据量352765，用v_pdl_product代替，相应代码要做处理(包括数据库的定时任务)，在cyp_update_product.sh中有update pdl_product的代码。( dba 数据库不提供更新脚本） 
     28#执行服务全部审核通过的服务，停止到期服务，计划15分钟一次，和上一个任务的时间错开 
     292-57/5 * * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/BatchRequestExecutor >/dev/null 2>&1 
    3430 
    35 11. PDL_PRODUCT_BASE 
    36 产品库产品基础信息表，数据量357838，商城数据库端定时任务写此表(没有读取)，对此表可以不予理会。cyp 写产品库，( dba 数据库不提供更新脚本） 
     31#自动重新设定错误服务 ，4小时执行一次 
     322 */4 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/BatchAutoResetErrorRequest >/dev/null 2>&1 
    3733 
    38 12. PDL_PRODUCT_FRONT 
    39 产品库产品查询冗余表，数据量305864，每天更新一次。 
     34#建产品和产品2全量索引之前先执行的定时任务,1点执行 
     350 1 * * * wget --spider -t 1 -T 30 "http://localhost:8082/task/create_product_index_temp.jsp" >/dev/null 2>&1 
     36#产品全量索引，每天一次 
     3745 1 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=product&type=1&indexFileName=/data/m.pconline/eyp_index/product" >/dev/null 2>&1 
     38#产品2全量索引，每天一次 
     3930 2 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=product2&indexFileName=/data/m.pconline/eyp_index/product2" >/dev/null 2>&1 
     40#店铺全量索引，每天一次 
     4155 2 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=shop&type=1&indexFileName=/data/m.pconline/eyp_index/shop/" >/dev/null 2>&1 
     42#VIP店铺全量索引，每天一次 
     4330 3 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=vipShop&type=1&indexFileName=/data/m.pconline/eyp_index/vipShop/" >/dev/null 2>&1 
     44#旗舰店商品的产品索引 @2012.1.12 
     450 4 * * * wget --spider -t 1 -T 30 "http://localhost:8082/servlet/BuildIndex?target=fssProduct&indexFileName=/data/m.pconline/eyp_index/fssProduct/" >/dev/null 2>&1 
    4046 
    41 13. PDL_PRODUCT_TYPE 
    42 产品库产品类别表，用v_pdl_product_type代替。( dba 数据库不提供更新脚本） 
     47#更新产品库数据,执行groovy脚本 
     485 3 * * * sync_pdl_product.groovy 
    4349 
    44 14. PDL_TEMP_PRODUCT_PIC 
    45 产品库产品图片历史表，数据量306126，每天更新一次。 
     50#对不是马上有效的充值卡充值到用户帐号，每天凌晨一次 
     513 1 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/ProcessCardcharge >/dev/null 2>&1 
    4652 
    47 15. PP_AD 
    48 产品库报价页面广告表，数据量8434，每十五分钟更新一次。 
     53#计算公司VIP情况，计划是每天一次 
     542 4,12,19 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/CheckCompanyServiceVIP >/dev/null 2>&1 
    4955 
    50 16. PP_AREA 
    51 产品库报价地区表，用v_pp_area代替。( dba 数据库不提供更新脚本） 
     56#计算公司排名，计划是每天一次 
     5720 7 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/CalCompanyActiveRank >/dev/null 2>&1 
    5258 
    53 17. PP_PRICE_LIMIT 
    54 产品库产品报价限价视图,数据量135，只是在商城产品限价时用到，不需要PP_PRICE_LIMIT_1和PP_PRICE_LIMIT_2这样切换，只要在执行update_market_price.jsp定时任务执行前执行完就行 
     59#处理过期商情 ，每天一次 
     603 23 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/ProcessOvertimeNews >/dev/null 2>&1 
    5561 
    56 18. V_ENT_PRODUCT 
    57 产品库用到商城的同义词或视图部分,使用频率，一天10多w次，数据量比较大 
    58 建议在产品库ora本地建立副本，每天同步一次 
     62#处理过期商家价格，每天一次 
     6333 4 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/ProcessOvertimePrice >/dev/null 2>&1 
     64 
     65#自动删除一个星期前没有被通过的请求,每天一次 
     6652 4 * * * wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/ProcessInvalidRequest >/dev/null 2>&1 
     67 
     68# 每周四一次 
     6912 5 * * 4 wget -S --no-proxy --spider -t 1 -T 30  http://localhost:8082/servlet/UpdateProductMarketPrice >/dev/null 2>&1 
     70 
     71# 有个增值的新功能提供给商家,不过限制每天只能使用5次,所以每天要重置一次 by 建中 
     7243 5 * * * wget -S --no-proxy --spider -t 1 -T 90 http://localhost:8082/servlet/UpdateUser >/dev/null 2>&1 
     73 
     74# 产品价更新到商城商品指导价 
     7512 6 * * * wget -S --spider -t 1 -T 30  http://localhost:8082/task/update_market_price.jsp >/dev/null 2>&1 
     76 
     77# 经销商主页-->跑最新渠道消息的页面缓存 by 陈寅乐 @2010.7.27 
     7832 6,12,17 * * * wget -S --spider -t 1 -T 30  http://localhost:8082/task/update_news_hot.jsp >/dev/null 2>&1 
     79 
     80#商库的广告请求处理 by 陈寅乐 @2010.10.26 
     811-59/15 * * * * wget -S --spider -t 1 -T 30  http://localhost:8082/task/local_request_status_handle.jsp >/dev/null 2>&1 
     82 
     83#每周日，凌晨7点 
     842 7 * * 7 wget --spider -t 1 -T 30 "http://eyp-admin.pconline.com.cn:8296/task/update_company_year_limit.jsp" >/dev/null 2>&1 
     85 
     86#处理完成状态的并且7天都没有评价的订单，每天凌晨跑一次: 只需一台执行 
     873 3 * * * wget --spider -t 1 -T 30 http://localhost:8082/servlet/BatchOrderRate >/dev/null 2>&1 
     88 
     89#商品相关的旧数据清理 @2011.11.8 cyl 
     9032 22 * * * wget --spider -t 1 -T 30 "http://localhost:8082/task/delete_useless_product_record.jsp?delLimitCount=15000&delDate=2012-09-20" >/dev/null 2>&1