чужому человеку получить доступ к нужным адресам практически невозможно из-за неизвестного пути деривации.
Если при создании кошелька пользователь не будет задавать свой специальный путь деривации, известный только ему, то путь деривации как раз-таки будет известен. Кошельки по-умолчанию используют весьма ограниченный набор путей деривации. Тот же Electrum, несмотря на то, что использует свой собственный алгоритм получения сида из фразы, всё равно использует стандартные пути деривации BIP44 и BIP84.