Theoretisch könnte der Verkäufer doch vorher den Private Key ausgelesen haben und den Ledger dann erst verkauft haben? Das würde bedeuten, er könnte die BTC einfach so irgendwann abräumen.

Bevor man den Ledger verwnden kann, muss er initialisiert werden. Bei jedem Initialisieren des Nano wird aus dem Seed (24 zufällig gewählte Wörter aus der Wordlist) ein neuer Private Key erzeugt.
Die Frage bleibt trotzdem, wie gut der Zufallsgenerator wirklich ist. Einen guten Zufallsgenerator zu bauen ist nicht trivial. Nur durch Software ist dies nicht möglich. Man braucht dazu unbedingt noch Eingangsvarialblen aus der Natur, wie z.B. Widerstandsrauschen, Benutzerinteraktionen usw. und muss diese geschickt verarbeiten.