при переустановке винды, что надо копировать чтобы не потерять кошелек?

Файл wallet.dat, который находится в папке %APPDATA%\Bitcoin.
Bitcoin при этом должен быть выключен (проверьте в диспетчере).

как часто это делать? после транзакции или постоянно?

Через каждые 100 трансакций, но лучше чаще для безопасности.

сначала установить программу и заменить валлет дат, или создать папку и закинуть, а потом заменить?

Не важно, главное - чтобы Bitcoin в этот момент был выключен.