PG數(shù)據(jù)庫導(dǎo)致斷電/重啟無法正常啟動(dòng)問題排查

PG數(shù)據(jù)庫導(dǎo)致斷電/重啟無法正常啟動(dòng)問題排查

一、問題

數(shù)據(jù)庫斷電后，啟動(dòng)PG數(shù)據(jù)庫后無法正常啟動(dòng)，報(bào)”psql: could not connect to server: No such file or directory”的錯(cuò)誤，錯(cuò)誤圖片如下：

二、背景分析

數(shù)據(jù)庫是單機(jī)版，使用k8s進(jìn)行部署運(yùn)行在指定節(jié)點(diǎn)，數(shù)據(jù)目錄掛服務(wù)器的指定目錄。在數(shù)據(jù)中心機(jī)房部署了兩套k8s集群，但是pod網(wǎng)絡(luò)未規(guī)劃好，兩個(gè)集群pod網(wǎng)段有重復(fù)導(dǎo)致兩個(gè)集群之間的pod概率性的發(fā)生地址沖突。在發(fā)生ip重復(fù)了后修改了我方使用的k8s集群的pod網(wǎng)段，并對(duì)所有pod進(jìn)行了重啟，在執(zhí)行重啟操作后我方部署pg數(shù)據(jù)庫無法正常提供服務(wù)，經(jīng)過查詢?nèi)萜魅罩景l(fā)現(xiàn)了上述問題。

三、解決過程

① 根據(jù)日志進(jìn)入容器查看文件是否存在

kubectl exec -it -n namespace contairnerId /bin/sh

進(jìn)入容器后發(fā)現(xiàn)/var/run/postgresql/.s.PGSQL.5432文件不存在，然后進(jìn)入一個(gè)正常的pg數(shù)據(jù)庫容器，發(fā)現(xiàn)該文件是存在的，因此確認(rèn)pg數(shù)據(jù)庫的進(jìn)程不正常。

② 查看pg數(shù)據(jù)庫進(jìn)程是否存在

cat /var/lib/postgresql/11/main/master.pid

查看后結(jié)果和含義如下：

1）154->數(shù)據(jù)庫的主進(jìn)程號(hào)，可以通過ps -ef | grep postgres來查詢，同時(shí)與/var/run/postgresql/11-main.pid里的值一致。

2）/var/lib/postgresql/11/main->數(shù)據(jù)庫的數(shù)據(jù)目錄

3）1724468744->數(shù)據(jù)庫的啟動(dòng)時(shí)間，需要進(jìn)行轉(zhuǎn)換

4）5432->數(shù)據(jù)庫端口號(hào)

5）/var/run/postgresql->PostgreSQL 的 Unix 域套接字目錄

然后通過執(zhí)行top命令，發(fā)現(xiàn)pg數(shù)據(jù)庫的進(jìn)程并未啟動(dòng)，因此進(jìn)一步確認(rèn)pg數(shù)據(jù)庫未正常啟動(dòng)。

③ 重新啟動(dòng)pg數(shù)據(jù)庫進(jìn)程，發(fā)現(xiàn)問題原因

執(zhí)行以下命令啟動(dòng)數(shù)據(jù)庫：

./usr/lib/postgresql/11/bin/pg_ctl /var/lib/postgresql/11/main start

執(zhí)行完以后在當(dāng)前屏幕輸出有“invalid primary checkpoint record”等字樣，翻譯之后就是檢查點(diǎn)損壞的意思。

④ 修復(fù)檢查點(diǎn)

使用數(shù)據(jù)庫自帶工具對(duì)檢查點(diǎn)進(jìn)行修復(fù)，進(jìn)入數(shù)據(jù)庫容器，切換到postgres用戶，使用PG自帶工具修復(fù)，執(zhí)行命令如下：

./usr/lib/postgresql/11/bin/pg_resetwal –D /var/lib/postgresql/11/main

修復(fù)完后啟動(dòng)數(shù)據(jù)庫進(jìn)程:

/usr/lib/postgresql/11/bin/pg_ctl -D /var/lib/postgresql/11/main start

再通過navicat工具連可正常訪問數(shù)據(jù)庫了。

四、總結(jié)

原因定位：異常重啟或斷電異常了數(shù)據(jù)文件損壞，pg數(shù)據(jù)重啟后在加載數(shù)據(jù)文件時(shí)發(fā)現(xiàn)檢查點(diǎn)損壞，無法正常啟動(dòng)。

解決方法：使用pg自帶工具進(jìn)行檢查點(diǎn)修復(fù)：

1） 進(jìn)入數(shù)據(jù)庫容器，切換到postgres用戶；

2） 找到pg_resetwal工具，對(duì)指定數(shù)據(jù)文件進(jìn)行修改，以下是本次修改的命令

./usr/lib/postgresql/11/bin/pg_resetwal –D /var/lib/postgresql/11/main

3） 啟動(dòng)數(shù)據(jù)庫

./usr/lib/postgresql/11/bin/pg_ctl -D /var/lib/postgresql/11/main start

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報(bào)
• steam特賣頁面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動(dòng)：桃源深處有人家雪盛冬藏
• 游俠晚報(bào)：《絕地潛兵2》口碑上升 Fami通一周評(píng)分