現(xiàn)象:突然發(fā)現(xiàn)訪問網(wǎng)站很慢,服務器的cpu、內(nèi)存和磁盤使用率都正常
分析過程及解決方案:查詢/var/log/message日志發(fā)現(xiàn)有這樣的記錄“ip_conntrack table full dropping packet”。kernel 用 ip_conntrack 模塊來記錄 iptables 網(wǎng)絡包的狀態(tài),并保存到 table 里(這個 table 在內(nèi)存里),如果網(wǎng)絡狀況繁忙,比如高連接,高并發(fā)連接等會導致逐步占用這個 table 可用空間,一般這個 table 很大不容易占滿并且可以自己清理,table 的記錄會一直呆在 table 里占用空間直到源 IP 發(fā)一個 RST 包,但是如果出現(xiàn)被攻擊、錯誤的網(wǎng)絡配置、有問題的路由/路由器、有問題的網(wǎng)卡等情況的時候,就會導致源 IP 發(fā)的這個 RST 包收不到,這樣就積累在 table 里,越積累越多直到占滿,滿了以后 iptables 就會丟包,出現(xiàn)外部無法連接服務器的情況。
解決方案:Iptables啟動的是會在日志里提示當前的buckets和conntrack_max的值以及每條跟蹤連接需要消耗多少內(nèi)存:
也就是說304MB內(nèi)存將支持1048576條跟蹤連接記錄,所以需要按照服務器的內(nèi)存大小來配置合適的值。
永久修改ip_conntrack_max和hashsize
1) 增大 ip_conntrack_max(設置為 2^20,默認值是 2^16=65536)
# vi /etc/sysctl.conf
net.ipv4.ip_conntrack_max = 1048576
2) 增大 hashsize (在i386架構(gòu)上,HASHSIZE = CONNTRACK_MAX / 8)
# vi /etc/modprobe.conf
options ip_conntrack hashsize=131072
然后重啟 iptables 服務,在 messages中可以看到參數(shù)已生效:
# service iptables restart