""Перед обновлением из zip-файла удалите все DLL, PDB, XML-файлы из папки программы""
Я качаю *.exe файл и устанавливаю, все! Где ето мне удалять?
В моей папке которая уже установлена с предыдущей версии?
Вы обновляете запуском exe-файла, а не распаковкой из zip-файла, поэтому ничего делать не нужно.