Innodb:如何计算异步/同步刷脏及checkpoint的临界范围

本文主要是记录Innodb在初始化日志子系统时,如何计算异步/同步刷脏或checkpoint的临界范围
代码分析基于MySQL 5.6.11
///////////////////////////////////////////////////////////////////////////////////////////////

相关配置为:
innodb_log_buffer_size=200M
innodb_log_file_size=1000M
innodb_log_files_in_group=4
innodb_flush_log_at_trx_commit = 1
innodb_thread_concurrency = 64
 
刷脏和做checkpoint的临界条件在系统启动初始化日志系统时即被确定了,backtrace 如下:
innobase_start_or_create_for_mysql
     ->log_group_init
2151                 log_group_init(0, i, srv_log_file_size * UNIV_PAGE_SIZE,

2152                                SRV_LOG_SPACE_FIRST_ID,

2153                                SRV_LOG_SPACE_FIRST_ID + 1);

 
                 ->log_calc_max_ages
                    
 
log_calc_max_ages:
 
1.计算当前redo log日志组的最大容纳LSN(log_group_get_capacity):
smallest_capacity =  (group->file_size – LOG_FILE_HDR_SIZE) * group->n_files = (innodb_log_file_size-4*512)*4 = 4194295808
 
smallest_capacity =  smallest_capacity – smallest_capacity / 10;  // 为了安全起见,保留10分之一的空间
 
2.检查在当前thread concurrency(srv_thread_concurrency)限制下,日志组是否拥有足够的空闲空间:
        free = LOG_CHECKPOINT_FREE_PER_THREAD * (10 + srv_thread_concurrency)+ LOG_CHECKPOINT_EXTRA_FREE =  (4*16384) * (10 + 64) + 8*16384 = 4980736
 
如果free > smallest_capacity /2的话,那么就会错误退出,表明innodb_log_file_size设的太小了。
否则,预留边界:
 margin = smallest_capacity – free;
 margin = margin – margin / 10  = 3392896943;
 
 
实际上margin的计算可以总结为:
margin = {
                            [ (innodb_log_file_size-LOG_FILE_HDR_SIZE) * innodb_log_files_in_group ] * (9/10) 
                            – 
                            [ LOG_CHECKPOINT_FREE_PER_THREAD * (10 + innodb_thread_concurrency) + LOG_CHECKPOINT_EXTRA_FREE]
               } * (9/10)
 
 
 
 
log_sys->log_group_capacity = smallest_capacity  =   3774866228;              
 
log_sys->max_modified_age_async = margin– margin / LOG_POOL_PREFLUSH_RATIO_ASYNC  =  margin * (7/8)  = 2968784826           //当lsn -buf_pool_get_oldest_modification()超过这个值时, 需要做异步刷脏页

 
log_sys->max_modified_age_sync = margin– margin / LOG_POOL_PREFLUSH_RATIO_SYNC    = margin *(15/16)    = 3180840885          //当lsn -buf_pool_get_oldest_modification()超过这个值时, 需要做同步刷脏页

 
log_sys->max_checkpoint_age_async = margin – margin

                / LOG_POOL_CHECKPOINT_RATIO_ASYNC           =   margin *(31/32) = 3286868914          //当lsn – last_checkpoint_lsn超过该值时,需要做一次异步checkpoint

 

log_sys->max_checkpoint_age = margin =  3392896943                                                                   //lsn – last_checkpoint_lsn不允许超过该值,否则需要做同步checkpoint

 
 
上面这几个变量,除了第一个之外,都是用于在函数log_checkpoint_margin中进行判断,log_sys->check_flush_or_checkpoint是判断是否flush/checkpoint的关键变量
 
主要判断逻辑如下:
 
1.如果log_sys->check_flush_or_checkpoint为false,直接返回,表明不需要flush或者checkpoint
 
2.找出当前所有buffer pool实例中最老的oldesrt_lsn,从每个bp->flush_list的尾部读取(log_buf_pool_get_oldest_modification())
 
3.如果log->lsn – oldest_lsn大于log_sys->max_modified_age_sync,表明需要做一次同步刷新,将lsn 推进到新的lsn位置(log_preflush_pool_modified_pages):
 LSN范围为:2 * (log->lsn – oldest_lsn – log_sys->max_modified_age_sync)  + oldest_lsn
 
             如果刷新失败,表明同时有别的线程也在刷脏,则将check_flush_or_checkpoint设置为TRUE,回到第一步
 
4.判断是否需要做checkpoint
checkpoint_age = log->lsn – log->last_checkpoint_lsn;
如果checkpoint_age > log_sys->max_checkpoint_age, 表示需要做一次同步checkpoint;
如果 log_sys->max_checkpoint_age_async  < checkpoint_age   <=  log_sys->max_checkpoint_age ,表示需要做一次异步的checkpoint,并设置log_sys->check_flush_or_checkpoint = false;
如果checkpoint_age  <=log_sys->max_checkpoint_age_async  ,则无需做checkpoint,并设置log_sys->check_flush_or_checkpoint = false;
 
checkpoint 调用函数log_checkpoint(checkpoint_sync, FALSE); 如果是同步checkpoint(checkpoint_sync为TRUE) 还要返回到第1步继续判断
 
另外,这几个变量在函数log_close中会被用到,它会去做一件重要的事情:设置log_sys->check_flush_or_checkpoint。
 
至于异步刷脏,log_sys->max_modified_age_async被封装在函数log_get_max_modified_age_async中, 被函数af_get_pct_for_lsn。显而易见,异步刷脏是由page cleaner线程来完成的。
在函数af_get_pct_for_lsn中,根据当前的LSN,计算需要以IO capacity的百分之几来刷脏
 
当当前lsn-buf_pool_get_oldest_modification()超过log_sys->max_modified_age_async时:
 
age = log_sys->lsn – buf_pool_get_oldest_modification()
lsn_age_factor = (age *100)/log_sys->max_modified_age_async )
 
返回值为:
pct =   [
                 (innodb_io_capacity_max/innodb_io_capacity) 
                 *
                 (lsn_age_factor * sqrt((double)lsn_age_factor))
          ] /7.5
 
 
另外,如果参数innodb_adaptive_flushing设置为OFF,且没有超过log_get_max_modified_age_async()的话,直接返回0
 
Page cleaner线程会同时根据LSN 和脏页比例来获取pct,并取其中的最大值。

原创文章,转载请注明: 转载自Simple Life

本文链接地址: Innodb:如何计算异步/同步刷脏及checkpoint的临界范围

Post Footer automatically generated by wp-posturl plugin for wordpress.


Comments

Leave a Reply

Your email address will not be published. Name and email are required


Current month ye@r day *