Aktuell ist keine Schwachstelle bekannt die dies ermöglicht.
Das heißt natürlich nicht, dass es nicht möglich ist. Insbesondere da wichtige Teile des Secure Elements closed source sind (wegen NDA).

Aber definitiv gibt es zurzeit keinen öffentlich bekannten Angriff um den Seed von einem Ledger zu extrahieren.
Was also den physischen Zugriff angeht, ist Ledger aktuell besser aufgestellt als Trezor.