если транзакция большая по объёму в байтах
Разве транзакция на 100BTC чем-то отличается от транзакции на 1BTC?
надо как-то спрашивать пользователя об этом
Пользователя надо спрашивать не об этом. Я думал, что размер комиссии устанавливает тот, кто отправляет деньги, а тот, кто процессит - может либо согласиться с ней, либо нет. Если же комиссия будет кем-то фиксирована и составлять процент от суммы, то узел, собирающий блоки будет необоснованно награжден в случае если BTC стоит дорого и необоснованно обделен если курс BTC будет низким.