На 580 RX тоже с адаптером vga при входе через тимвьюер есть небольшая просадка на основной видеокарте.
Но она буквально на 5 секунд, а далее становится как и была до входа по удаленке. Не вижу тут ничего критичного.