La clé privé te permet de contrôler totalement ton portefeuille même si la page web MyEtherWallet se casse la gueule, d'autres applications qui gerent aussi ETH, te permettrons à partir de ta clé privé de recuperer tes ethers et tes autres tokens ERC20 puisque ils sont liés à la même adresse ETH.
Comme l'indique @bragot, le meilleur choix, à l'heure actuelle, pour garder les coins(BTC, ETH, Ripple,etc..) est d'utiliser un portefeuille hardware comme le Ledger Nano S ou autres.
Sinon, il y d'autres alternatives comme les portefeuilles multi-coins de bureau tels Jaxx ou Exodus mais je t'avoue que je n'ai jamais testé car j'utilise exclusivement MEW pour garder mes Eths et mes tokens.
La seule chose à eviter est de stocker pendant longtemps ses coins sur les exchanges où justement tu ne controle pas les clés privés et où tu as beaucoup plus de risque pour tes cryptomonnaies.