Какое максимально допустимое количество символов для топика на этом форуме?

Посты, превышающие лимит в 65535 байт, усекаются до 65535 байт. Если это каким-то образом приводит к некорректному коду, вы получаете ошибку INVALID BBCODE ("некорректный BBCode").

Кстати, имейте в виду, что байт - это не то же самое, что символ. Т.к. движок SMF особенно расточительно подходит к хранению некоторых "специальных" символов, каждый кириллический (русский) символ занимает около 6 байтов - так же, как и каждый разрыв строки.