Grep исполняет: Двоичный файл (стандартный ввод) совпадает. Частенько встречается. По всей вероятности в считываемый файл пробрались символы с многобайтовой кодировкой. Чтобы этого не происходило, достаточно добавить ключ -a вот и всё…
grep -a "user denied" /var/log/auth.log