Просто у большинства нет понимания личного пространства. Если ты человеку говоришь что ты ему не интересен и игноришь его, то как правило это его больше раздражает.
Поэтому лучше с ним во всем соглашаться и тихо уйти от этого места. Более того ни в коем случае не вступать в споры и дискуссии.