Если установка производится с *.MSI пакета, то добавляете в скрипт/строку установки ключ "/norestart", это железно поможет.
Посмотрите системный журнал приложений, наверняка, установка Вашего приложения заканчивается с кодом требующим перезагрузку системы.
Если установка происходит с *.EXE файла, посмотрите все ключи к установке, возможно есть такой ключ, который будет блокировать перезагрузку.
Если это установка/обновление MS Office, то при создании файла ответов необходимо заблокировать перезагрузку.
В своей практике мне встречались приложения при установке/обновления которых могла производится перезагрузка. С тех пор ключ "/norestart" мой лучший друг. :)
P.S.
Попробуйте выполнить установку приложения в тихом режиме руками.
Если установка проводится с *.EXE, и после тихой установки происходит перезагрузка, попробуйте снимать флаг перезапуска командой "shutdown -a"