Ich verwende den Amazon SSM Agent, um sicher eine Verbindung zur EC2-Instanz herzustellen. Der Amazon SSM Agent kann auch uber die aws.amazon.com Web-Konsole eine Verbindung zur EC2-Instanz-Konsole herstellen. Dies ist meine bevorzugte Methode.

Vor einigen Tagen, als ich versuchte, mich uber den Amazon SSM Agent mit EC2 zu verbinden, antwortete er nicht, und danach entschied ich mich, mich auf dem ublichen Weg zu verbinden, ja, mit SSH.

Naturlich mochte ich zuerst den Amazon SSM Agent neu starten und ich sehe dies:

[root@i-0cd9514c60d532e78 ~] systemctl restart amazon-ssm-agent.service
Error: No space left on device

Ich habe diese Fehlermeldung zum Festplattenstatus nicht erwartet. Und mochte die Festplattennutzung uberprufen. Jetzt sehe ich dies:

[root@i-0cd9514c60d532e78 ~] df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 960M 0 960M 0% /dev
tmpfs 978M 0 978M 0% /dev/shm
tmpfs 978M 420K 978M 1% /run
tmpfs 978M 0 978M 0% /sys/fs/cgroup
/dev/nvme0n1p1 8.0G 2.6G 5.5G 32% /
tmpfs 196M 0 196M 0% /run/user/1000

Hoppla! Es scheint, dass diese Fehlermeldung nichts mit der Festplattennutzung zu tun hat, aber ich muss sichergehen. Jetzt ist es an der Zeit, die Inodes zu uberprufen.

[root@i-0cd9514c60d532e78 ~] df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
devtmpfs 245750 304 245446 1% /dev
tmpfs 250254 2 250252 1% /dev/shm
tmpfs 250254 388 249866 1% /run
tmpfs 250254 16 250238 1% /sys/fs/cgroup
/dev/nvme0n1p1 4193216 67672 4125544 2% /
tmpfs 250254 1 250253 1% /run/user/1000

Jetzt, da ich bestatigen konnte, dass es auch nicht die Inodes sind, recherchierte ich weiter und fand bekannte Bug-Reports fur dasselbe Problem, bei dem systemctl-Aktionen wie "start", "stop" und "reload" einen "No space left on device"-Fehler anzeigen, aber Aktionen wie "enable", "disable" und "kill" nicht. In den Bugs wird berichtet, dass dieser Fehler auf das inotify "max_user_watches"-Limit zuruckzufuhren ist. inotify hat eine Begrenzung der Anzahl von Dateien und Verzeichnissen, die es auf Anderungen uberwachen kann. Um den Fehler zu beheben, musst du den Wert von "/proc/sys/fs/inotify/max_user_watches" erhohen, um zu ermoglichen, dass mehr Dateien und Verzeichnisse hinzugefugt und auf Anderungen uberwacht werden konnen.

Um den Wert in Echtzeit zu andern, kannst du Folgendes ausfuhren:

echo 1048576 > /proc/sys/fs/inotify/max_user_watches

Um diesen erhohten Wert nach einem Neustart oder einer Stop/Start-Aktion dauerhaft zu laden:

Fuge die Zeile "fs.inotify.max_user_watches=1048576" zu /etc/sysctl.conf hinzu. Du kannst deine sysctl-Konfiguration mit dem Befehl sysctl -p uberprufen.

Referenzen:
https://bugzilla.redhat.com/show_bug.cgi?id=894483
https://bugzilla.redhat.com/show_bug.cgi?id=1452933

Fazit