Если у тебя это http://www.orangepi.org/ то без swap не обойтись. У меня примерный по производительности (один гиг оперативы) в два потока примерно собирает за полчаса.
Под своп выделил четырёхгиговую micro sd карту через усб-переходник (этот http://www.kingmax.com/en-global/product/product/Model/microSD-Card-Reader-CR-03). Своп оставил на постоянку - системе легче жить.