Instawallet.org - это самый простой вариант, однако тогда приватные ключи будут не у вас.

Самый легковесный клиент, который сам распоряжается приватными ключами - это Electrum http://ecdsa.org/electrum/ , который не скачивает ни блоки, ни даже заголовки, а запрашивает транзакции по мере необходимости с сервера.