[...] valt toch reuze mee hoeveel belasting erop zit als je over die heffingsvrij vermogensgrens heen gaat?

Dat is waar, zolang het inderdaad in Box 3 als vermogen aan te merken is (en er dus sprake is van vermogensrendementsheffing).
Ben je echter een actieve trader (en er is dus jurisprudentie waarbij drie handelingen per jaar gezien worden als "actief vermogensbeheer") dan val je dus in Box 1 en is er spraken van inkomstenbelasting...