Стартовать процесс для проверки пароля как-то, скажем так, медленно. Может есть способ по формату файла и зная алгоритм напрямую вызвать дешифрование. Может где-то есть информация на этот счёт?

GPU может выполнять параллельно миллионы потоков. Если организовать кластер, да всё это дело направить на перебор паролей, то какой-нибудь пароль из 8-ми символов можно было бы даже подобрать (я бы сказал, "намайнить" ) за конечное время. Если, конечно, сумма на кошельке того стоит.