а как он определяет, что меньше этого таргета? он переводит его в десятичные и сравнивает? или как происходит сравнение?
Ничего не нужно переводить. Просто сравниваются два 265-битных числа.
Что в десятичном, что в каком ином формате это те же самые числа - одно больше, другое меньше.
if (thash <= hashTarget)
https://github.com/neiros/---TTC--TDC---/blob/TDC/src/miner.cpp#L779