чужому человеку получить доступ к нужным адресам практически невозможно из-за неизвестного пути деривации.
Если при создании кошелька пользователь не будет задавать свой специальный путь деривации, известный только ему, то путь деривации как раз-таки будет известен. Кошельки по-умолчанию используют весьма ограниченный набор путей деривации. Тот же Electrum, несмотря на то, что использует свой собственный алгоритм получения сида из фразы, всё равно использует стандартные пути деривации BIP44 и BIP84.
Согласен что если что дефолтные пути у кошельков совпадают и пользователи не использует свой известный только им путь то ключи совпадут . И это только два если.
К этим двум можно добавить отсутствие у каждого пользователя своей пасфразы.