Sí pero en el momento en que se te cuele un virus, los pasos quedan alterados como sigue:
cuando quiera hacer una transacción, inserto el USB (sin reiniciar la máquina host), ejecuto la máquina, el virus coge de la propia memoria las claves privadas, hago todo lo que tenga que hacer y la desconecto.
Esto es porque la memoria de la máquina virtual, al fin y al cabo, está almacenada en la memoria del host y es accesible desde fuera. Que sí, que probablemente hagan falta permisos elevados y tal, pero ya te la estás jugando a que no se te cuele un virus con tales permisos. Es la misma seguridad que ejecutar el cliente de bitcoin como un usuario diferente, sin máquinas virtuales ni nada.