Sempre offline, num hd externo/pen drive caso  você não queira investir num dispositivo de segurança mais avançado.

Só conecte ele ao computador quando você for fazer as  transações da carteira para a exchange ou etc... também criptografe pelo windows as pastas onde você deixar sua carteira, nada vai mudar para voce, apenas para o intruso caso algum dia lhe acontecer e se possível faça 2 cópias em 2 pen drives para ter 100%¨de certeza de que não vá perder seus dados e consequentemente suas moedas.
gl