gli indirizzi sono legati indissolubilmente al dispositivo?
No, le chiavi private sono solo delle stringhe di caratteri che possono essere copiate in più posti.
Chi conosce queste chiavi automaticamente entra in possesso dei BTC.
cioè chi ha il dispositivo (supponendo non vi siano beckup) ha i bitcoin e nessun altro vi può accedere anche dal web?
Se le chiavi sono criptate con una password e la password viene sempre digitata da un pc che non sia mai stato connesso alla rete ( cold storage ) allora puoi essere ragionevolmente sicuro che nessuno potrà mai entrare in possesso dei BTC. Se le chiavi sono in chiaro allora no... non serve neanche rubare la pendrive, basta un copia incolla di un secondo e poi trasferire subito tutto...
sulla chiavetta (tenuta offline) e non ce ne sono altre copie in giro, è possibile che qualcun altro acceda a quei bitcoin? No.