Все криптографические операции должны проводиться в SE. Извлекаться от туда может только то, что не несёт вреда хранимым средствам, например адреса.
Возьмём для примера вами любимый Passport2. На гитхабе у них написано
следующее:
"Passport uses the following key components:
STMicroelectronics STM32H753 microcontroller. Our open source MicroPython code runs on this processor.
This is the only chip in Passport that executes code, and we know 100% of the code running on this chip.
Microchip ATECC608B secure element. This security chip is explicitly designed to safeguard private keys, but is simple enough that
it does not execute any code. We use the 608B primarily for its secure key storage slots."