А память выжирается именно процессами squid?
Если так, то предварительно можно предположить пару вариантов:
- память потребляется неверно настроенным механизмом кеширования в памяти
- память потребляется хелперами аутентификации squid , что может быть связано с их некорректной работой или настройкой
Нужно бы посмотреть дерево процессов в тот момент, когда память исчерпана.
Посмотреть какие при этом процессы потребляют больше всего памяти. Возможно не будет видно ярко выраженные потребителей памяти, но будет множество однотипных процессов, потребляющих много памяти в общей сложности (это относится к хелперам)