Если мощность была в пограничных значениях, то такое вполне могло произойти. Переключение ведь не плавное, а дискретное с шагом х2. Вообще, можно попробовать купить лотерейный билет... 

Им не тяжко, а откровенно без разницы что 128, что 4. Просто на 128 майнером в мусорку в среднем будет выброшено в 32 раза больше хэшей, чем на 4. Объем работы, проделанный устройством, от этого не поменяется...  Конечно, на коротких интервалах доли могут плавать в зависимости от удачи, и в отдельных случаях наблюдаются очень веселые ситуации, когда воркер часами генерирует шары, подходящие под втрое-четверо более высокую сложность, но в среднем это компенсируется.

Иллюзия "тяжелой работы" создается потому что D128 хэшей в 32 раза меньше, чем D4. Из-за этого через условие проходит в 32 раза меньше D1 решений и записей в логах получается меньше. Если включить в cgminer отладочный режим, то можно будет увидеть сообщения майнера о найденных D1 хэшах и о результатах их сравнения с текущим таргетом.