微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

PostgreSQL如何删除不使用的xlog文件

分类：Postgre SQL作者：编程之家AI导航网

一、问题
经常会在复制的时候遇到这样的问题，需要复制的xlog文件找不到了。那么xlog文件什么时候删除？又会删除多少保留多少个xlog文件？都有哪些xlog文件需要保留？本文将从原理上对这些问题进行解读。

二、原理
每次checkpoint后都会根据需要删除或者回收不再需要的xlog文件。
1、首先估算两次checkpoint之间产生的xlog量，根据这个量会计算出未来最大的日志文件号从而回收不再需要的文件将其重命名为未来即将使用的日志文件号：
1.1 UpdateCheckPointdistanceEstimate估算checkpoint之前产生的日志量：
    if (CheckPointdistanceEstimate < nbytes)//上次估算量比这次估算的小，则更新为这次的估算量
        CheckPointdistanceEstimate = nbytes;
    else//否则，适当增加
        CheckPointdistanceEstimate =(0.90 CheckPointdistanceEstimate + 0.10 (double) nbytes);
2、计算上一次checkpoint时，所在的文件段号_logSegNo：
    XLBytetoSeg(PriorRedoPtr, _logSegNo);
3、计算需要保留的文件段号：从该段号_logSegNo开始的文件都不能被删除，之前的需要删除或回收：根据备机请求以及wal_keep_segments计算KeepLogSeg(recptr, &_logSegNo);

PostgreSQL如何删除不使用的xlog文件

4、遍历pg_wal目录下的所有xlog文件，进行删除：RemoveOldXlogFiles
4.1 跳过时间线进行比较，如果pg_wal目录下的文件比_logSegNo小则被删除或回收。那么什么条件下次被回收？
--RemoveXlogFile
4.2 计算回收文件重命名的未来最大文件段号recycleSegNo：
    1)如果本次是第一次checkpoint，则未来最大段号recycleSegNo=当前段文件号+10
    2)否则调用函数XLOGfileslop计算：
        2.1 估算下一次checkpoint结束时日志位置：
            distance=(2.0+checkpoint_completion_target)CheckPointdistanceEstimate
            distance=1.1
            recycleSegNo = (XLogSegNo) ceil(((double) PriorRedoPtr + distance) / XLOG_SEG_SIZE);
        2.2 minSegNo = PriorRedoPtr / XLOG_SEG_SIZE + ConvertToXSegs(min_wal_size_mb) - 1;
            maxSegNo = PriorRedoPtr / XLOG_SEG_SIZE + ConvertToXSegs(max_wal_size_mb) - 1;
        2.3 if (recycleSegNo < minSegNo)
                recycleSegNo = minSegNo;
            if (recycleSegNo > maxSegNo)
                recycleSegNo = maxSegNo;
4.3 如果当前段文件号endlogSegNo < recycleSegNo，则调用InstallXLogFileSegment进行回收：
    1)在endlogSegNo和recycleSegNo之间找一个free slot num，即没有该段文件号的xlog文件
    2)将需要删除的文件名命名为该free slot号的文件名
    3)如果没有找到free slot则直接删除该文件
--RemoveXlogFile

三、代码流程
1、checkpoint顶层函数CreateCheckPoint：


CreateCheckPoint：
    XLogCtlInsert *Insert = &XLogCtl->Insert;//标识插入的位置
    curInsert = XLogBytePosToRecPtr(Insert->CurrBytePos);//添加页头大小后的位置
    //(((curInsert) % XLOG_BLCKSZ == 0) ? 0 : (XLOG_BLCKSZ - (curInsert) % XLOG_BLCKSZ))
    freespace = INSERT_FREESPACE(curInsert);//curInsert所在页是否有空闲空间
    if (freespace == 0){
        if (curInsert % XLogSegSize == 0)//正好一个xlog段文件用完，即将使用下一个段文件，则跳过36字节
            curInsert += SizeOfXLogLongPHD;//36字节
        else//xlog段文件中正好一页用完，即将使用下一页，则跳过20字节
            curInsert += SizeOfXLogShortPHD;//20字节
    }
    checkPoint.redo = curInsert;//xlog文件上，实际的即将插入位置
    RedoRecPtr = XLogCtl->Insert.RedoRecPtr = checkPoint.redo;
    ...
    //插入checkpoint记录后末尾位置，即下一个xlog开始的位置
    recptr = XLogInsert(RM_XLOG_ID,shutdown ? XLOG_CHECKPOINT_SHUTDOWN :XLOG_CHECKPOINT_ONLINE);
    ...
    PriorRedoPtr = ControlFile->checkPointcopy.redo;//上一次checkpoint的起始位置
    ...
    if (PriorRedoPtr != InvalidXLogRecPtr){//上一次checkpoint开始到这一次checkpoint开始，产生的XLOG大小为入参
        /*
        CheckPointdistanceEstimate：
        1、CheckPointdistanceEstimate<RedoRecPtr - PriorRedoPtr时：RedoRecPtr - PriorRedoPtr
        2、CheckPointdistanceEstimate>=RedoRecPtr - PriorRedoPtr时：0.9*CheckPointdistanceEstimate+0.1*(RedoRecPtr - PriorRedoPtr)
        */
        UpdateCheckPointdistanceEstimate(RedoRecPtr - PriorRedoPtr);
        //_logSegNo = (PriorRedoPtr) / XLogSegSize
        XLBytetoSeg(PriorRedoPtr, _logSegNo);
        KeepLogSeg(recptr, &_logSegNo);
        _logSegNo--;
        RemoveOldXlogFiles(_logSegNo, PriorRedoPtr, recptr);

2、两个宏定义

#define UsableBytesInPage (XLOG_BLCKSZ - SizeOfXLogShortPHD)//注意：不是文件第一页
#define UsableBytesInSegment ((XLOG_SEG_SIZE / XLOG_BLCKSZ) * UsableBytesInPage - (SizeOfXLogLongPHD - SizeOfXLogShortPHD))

3、函数XLogBytePosToRecPtr

static XLogRecPtr
XLogBytePosToRecPtr(uint64 bytepos)
{

    //bytepos：不包括xlog页的页头等额外字节占用的大小
    fullsegs = bytepos / UsableBytesInSegment;
    bytesleft = bytepos % UsableBytesInSegment;
    /*
    1、如果bytesleft < XLOG_BLCKSZ-32,则表示定位到第一页上，则文件偏移值跳过第一页页头大小
    2、如果bytesleft >= XLOG_BLCKSZ-32，则表示定位不是第一页
    */
    if (bytesleft < XLOG_BLCKSZ - SizeOfXLogLongPHD){
        /* fits on first page of segment */
        seg_offset = bytesleft + SizeOfXLogLongPHD;
    }else{
        /* account for the first page on segment with long header */
        seg_offset = XLOG_BLCKSZ;//先跳过第一页
        bytesleft -= XLOG_BLCKSZ - SizeOfXLogLongPHD;//去掉第一页存放XLOG的大小

        fullpages = bytesleft / UsableBytesInPage;//剩下的需要几个页
        bytesleft = bytesleft % UsableBytesInPage;//剩下的偏移
        //  文件偏移=第一页大小+剩下的几个页大小+剩下的偏移+最后一页的页头
        seg_offset += fullpages * XLOG_BLCKSZ + bytesleft + SizeOfXLogShortPHD;
    }
    //result=(fullsegs) * XLOG_SEG_SIZE + seg_offset
    XLogSegNoOffsetToRecPtr(fullsegs, seg_offset, result);
    return result;
}

4、函数KeepLogSeg

static void
KeepLogSeg(XLogRecPtr recptr, XLogSegNo *logSegNo)
{
    //segno为当前xlog即将插入位置在第几个文件上
    XLBytetoSeg(recptr, segno);
    //XLogCtl->replicationSlotMinLSN；备机上请求预留的最小值？
    keep = XLogGetReplicationSlotMinimumLSN();
    /* compute limit for wal_keep_segments first */
    if (wal_keep_segments > 0){
        /* 
        首先计算wal_keep_segments得到的限制：
        1、比如wal_keep_segments值是10，若当前insert的位置的文件号segno为5，那么向前推进到1
        2、否则向前推进wal_keep_segments后的segno前的可删除
        */
        if (segno <= wal_keep_segments)
            segno = 1;
        else
            segno = segno - wal_keep_segments;
    }

    /* then check whether slots limit removal further */
    //计算slots限制，如果其算出的值小于wal_keep_segments计算出的值，则需要使用slotSegNo，slots还有用，不能删除
    if (max_replication_slots > 0 && keep != InvalidXLogRecPtr){
        XLBytetoSeg(keep, slotSegNo);
        if (slotSegNo <= 0)
            segno = 1;
        else if (slotSegNo < segno)
            segno = slotSegNo;
    }

    /* don't delete WAL segments newer than the calculated segment */
    if (segno < *logSegNo)
        *logSegNo = segno;
    //note:
    //如果计算出的segno比上次checkpoint时的文件号logSegNo还有小，则取这次计算的segno
    //如果计算出的segno比上次checkpoint时的文件号logSegNo大，则取上次checkpoint时的文件号。
    //因为恢复时如果是主机，读取最新checkpoint记录失败后，会读取上一次checkpoint记录，如果上次checkpoint的文件被删除，这里就读取不到记录了
}
5、函数RemoveOldXlogFiles

static void
RemoveOldXlogFiles(XLogSegNo segno, XLogRecPtr PriorRedoPtr, XLogRecPtr endptr)
{
//首先获取xlog目录
xldir = AllocateDir(XLOGDIR);
if (xldir == NULL)
ereport(ERROR,
(errcode_for_file_access(),
errmsg("Could not open write-ahead log directory \"%s\": %m",
XLOGDIR)));

/*
 构建一个log文件名，用于判断，该文件之前的xlog可以删除。用不到时间线，所以可以使用0
 */
XLogFileName(lastoff, 0, segno);

while ((xlde = ReadDir(xldir, XLOGDIR)) != NULL){
    /* 忽略非xlog文件 */
    if (!IsXLogFileName(xlde->d_name) &&
        !IsPartialXLogFileName(xlde->d_name))
        continue;
    /*
    1、跳过时间线进行比较
     */
    if (strcmp(xlde->d_name + 8, lastoff + 8) <= 0){
        if (XLogArchiveCheckDone(xlde->d_name)){//如果没有开启归档：总是TRUE；否则，归档完成后才为TRUE
            /* Update the last removed location in shared memory first */
            //XLogCtl->lastRemovedSegNo = segno;
            UpdateLastRemovedPtr(xlde->d_name);
            RemoveXlogFile(xlde->d_name, PriorRedoPtr, endptr);
        }
    }
}

}

6、函数RemoveXlogFile

RemoveXlogFile(const char *segname, XLogRecPtr PriorRedoPtr, XLogRecPtr endptr)
{

XLBytetoSeg(endptr, endlogSegNo);
if (PriorRedoPtr == InvalidXLogRecPtr)
    recycleSegNo = endlogSegNo + 10;
else
    recycleSegNo = XLOGfileslop(PriorRedoPtr);

snprintf(path, MAXPGPATH, XLOGDIR "/%s", segname);

if (endlogSegNo <= recycleSegNo &&
    lstat(path, &statbuf) == 0 && S_ISREG(statbuf.st_mode) &&
    InstallXLogFileSegment(&endlogSegNo, path,
                           true, recycleSegNo, true))
{
    endlogSegNo++;
}else{
    rc = durable_unlink(path, LOG);
}

}

7、函数InstallXLogFileSegment

static bool
InstallXLogFileSegment(XLogSegNo segno, char tmppath,
bool find_free, XLogSegNo max_segno,
bool use_lock)
{
XLogFilePath(path, ThisTimeLineID, segno);
/

  • We want to be sure that only one process does this at a time.
    */
    if (use_lock)
    LWLockAcquire(ControlFileLock, LW_EXCLUSIVE);

    if (!find_free)
    {
    / Force installation: get rid of any pre-existing segment file /
    durable_unlink(path, DEBUG1);//删除文件并持久化到磁盘
    }else{
    / Find a free slot to put it in /
    while (stat(path, &stat_buf) == 0){//获取文件信息并保存到stat_buf中，成功返回0
    //在segno和max_segno之间找一个空闲的段号，即目录中没有这个段号的xlog文件
    if ((segno) >= max_segno){
    /     Failed to find a free slot within specified range /
    if (use_lock)
    LWLockRelease(ControlFileLock);
    return false;
    }
    (    segno)++;
    XLogFilePath(path, ThisTimeLineID, segno);
    }
    }
    if (durable_link_or_rename(tmppath, path, LOG) != 0){//将tmppath重命名为path并持久化
    if (use_lock)
    LWLockRelease(ControlFileLock);
    /     durable_link_or_rename already emitted log message */
    return false;
    }
    if (use_lock)
    LWLockRelease(ControlFileLock);
    return true;
    }

    

    • 


                
                                 
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

                            

                        

                    

                

                

                    

                        

                            
相关推荐

                            

                                 
PostGreSQL到Oracle的数据迁移

                                
项目需要，有个数据需要导入，拿到手一开始以为是mysql，结果是个PostGreSQL的数据，于是装数据库，但这个也不懂呀，而且本系统用的Oracle，于是得解决迁移转换的问题。 总结下来两个思路。1、PostgresToOracle多金的

                  
                                
                            

                                 
怎么查看PostgreSQL数据库中所有表

                                
本文小编为大家详细介绍“怎么查看PostgreSQL数据库中所有表”，内容详细，步骤清晰，细节处理妥当，希望这篇“怎么查看PostgreSQL数据库中所有表”文章能帮助大...

                  
                                
                            

                                 
postgresql 报错 FATAL: no pg_hba.conf entry for host 未配置允许远程连接 解决方法

                                
错误现象问题原因这是在远程连接时pg_hba.conf文件没有配置正确。
 pg_hba.conf文件在Postgre安装文件目录下的data文件夹中。解决方案1、进入到data目录下，找到pg_hba.conf文件

                  
                                
                            

                                 
postgresql 数据库 报错 server closed the connection unexpectedly 无法远程连接数据库 解决方法

                                
因本地资源有限，在公共测试环境搭建了PGsql环境，从数据库本地localhost访问正常，在相同网段的远程机器访问报如下错误

                  
                                
                            

                                 
postgresql 报错 SQLSTATE[08006] [7] SCRAM authentication requires libpq version 10 or above 解决方法

                                
wamp 环境 这个提示就是说你的版本低于10了。
先打印php_info(),查看自己的版本（我这边是已经处理后的，之前的忘记截图了）

                  
                                
                            

                                 
postgresql 报错 psycopg2.OperationalError: SSL SYSCALL error: EOF detected 解决方法

                                
psycopg2.OperationalError: SSL SYSCALL error: EOF detected 问题提示:exception psycopg2.OperationalError

                  
                                
                            

                                 
postgresql 数据库报错 FATAL: sorry, too many clients already 解决方法

                                
项目 postgres 连接不上， 所有连接报错 ：psql: FATAL: sorry, too many clients already问题原由程序使用连接未及时释放， 连接一直处于 idle 状态处理方式1、 程序里面未释放的连接， 在使用后及时释放

                  
                                
                            

                                 
postgresql 报错 FATAL: the database system is shutting down 解决方法

                                
服务器在同一个数据目录上启动了两个PostgreSQL实例(它已经删除postmaster.pid并使用了新的端口号,因此绕过了这种行为的正常保护措施被绕过),导致PostgreSQL的误操作postgresql 报错 FATAL: the database system is

                  
                                
                            

                                 
postgresql报错 FATAL: the database system is in recovery mode 解决方法

                                
问题原因：数据库崩溃，内存不足造成 或者 数据已损坏，磁盘故障造成首先介绍一下背景，在测试Deepgreen（Greenplum升级版）数据库时，pgbench并发数设置过多，导致数据库卡死了，在进行连接、重启、关闭时，都报同样

                  
                                
                            

                                 
2021 PostgreSQL 中国技术大会 PPT 下载

                                
第 11 届 PostgreSQL 中国技术大会于 2022 年 1 月 7 日至 9 日在武汉光谷会展酒店成功举办。作为 PostgreSQL 技术领域的年度盛事，postgreSQL 中文社区旨在搭建开放、合作共享的平台，基于开源，创新驱动，共同探讨数据库行业数字化发展方向和未来新机遇。

                  
                                
                            

                    



            

            

              
          

            

              




              

            

          

          
           
          

            

              

                
苹果市值2025年有望达4万亿美元 

              

            

          

          
          
          

            

              

                
                
pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native