vm.vfs_cache_pressure чем больше, тем больше будет освобождать кэша, когда нужна память, vm.swappiness чем меньше, тем меньше будет свопиться
https://www.kernel.org/doc/Documentation/sysctl/vm.txt
вариант с vm.vfs_cache_pressure не прокатил, наблюдался тот же симптом (все равно система свапилась), но спасибо за отклик, проблема решена тему можно закрывать