Зависит от формата сжатия, его версии и используемого алгоритма шифрования. Если алгоритм - AES, который используется в формате .rar выше 2.х версии и может быть подключен в версиях .zip выше 5.2, то возможна только атака "грубой силы" (т.е. перебором). Атака "грубой силы" - мероприятие ресурсозатратное и, при высокой сложности пароля, уходящее в вечность. В более ранних версиях .rar и .zip использовались другие алгоритмы, которые позволяли осуществлять т.н. "атаку по открытому тексту" (восстановление содержимого, основываясь на части файлов из архива, которая уже имеется у взломщика и незашифрована).

Подробнее:
Взлом пароля от zip/rar архива
Как взломать архив с паролем