No space left on device 刪除不掉的程序

遇上一個很怪的問題
more /var/log/httpd/error_log

No space left on device: MutexCreate(/var/spool/mod_watch/SharedHash.lock) failed

因為查 block 及 inode 皆沒有 100% 已使用的 partition

在苦無解決辦法之下，只能先重開機

當然重開機之後問題就沒了

在這 http://blog.ixpub.net/html/18/9727518-54485.html 查到可能的解決方式
可用在下次 (maybe)

ipcs -s | grep apache -查出 semaphore Arrays 的 semid
ipcrm -s semid -刪除 semid

後來再尋找一下資訊，可能原因為inode 的使用量滿了，之後再發生可以用df -i 查看

刪除

 ipcs -s | grep apache | awk '{print $2}' | while read id;do echo $id; ipcrm -s $id; done

查看

sysctl -a | egrep '(msgmni|sem)'
sysctl -w kernel.msgmni = 1024
sysctl -w kernel.sem = 250 256000 32 1024

查看

ipcs -l

(28)No space left on device: AH00023: Couldn't create the mpm-accept mutex 

apache 無法 restart，也不是真的空間不足 df -h 是夠的

查看目前設定置

cat /proc/sys/kernel/msgmni /proc/sys/kernel/sem
31669
250	32000	32	128

ipcs -s | awk '{print $3}' | uniq -c

ipcs -s | wc -l

所以是達上限了
解決方式

vi /etc/sysctl.conf
kernel.msgmni = 64000
kernel.sem = 250 256000 32 1024

使生效

sysctl -p

查結果

ipcs -l