А я не считаю, что так должно быть. Весь исполняемый код в идеале должен быть открыт, ну а данные могут храниться в отдельном защищенном чипе. А могут и в обычном при надежном шифровании (как, например, в Trezor T с длинным пином).
Леджер плох не тем, что там сид-фраза может покидать SE (это нормально, у большинства так же), а тем, что код прошивки закрыт, поэтому приходится доверять производителю, который был пойман на лжи и неоднократно косячил.