Попробую объяснить попроще и буду использовать некоторые технические термины, потому что иногда это работает лучше чем аналогии. Ваш кошелек берет сид-фразу и генерирует из нее приватные ключи, публичные ключи и адреса. Это понятно. Только не понятно как именно он это делает и какую роль в этом играет пасс-фраза. Шокирующем фактом будет то, что в кошельках есть пасс-фраза "по-умолчанию" - она используется тогда, когда вы не используете свою собственную пассфразу. Пасс-фраза по-умолчанию - это постоянная и равняется она слову "mnemonic". Когда вы добавляете свою собственную пассфразу, то ваша пассфраза добавляется к этой константе. То есть, если ваша пассфраза "123", то итоговая пассфраза будет "mnemonic123". Так как же используется эта пассфраза? Ну здесь уже пошла чисто техника, эта пассфраза используется как один из аргументов в функции PBKDF2, которая произодит итоговый сид нужный для генерации расширенного приватного ключа.

Более подробно можно почитать здесь: https://github.com/bitcoinbook/bitcoinbook/blob/develop/ch05.asciidoc