Я храню свой приватный ключ в тетрадке. Ввожу я его не часто, поэтому особых проблем не испытываю, зато очень надежно. Думаю на флешке хранить тоже хороший способ.