Итак с чего я думаю начать это выбор инструментов:
1. Основной язык разработки: Node.js
2. База данных sqlite
3. Интерфейс фронтэнда на базе bootstrap 4
Этапы разработки (наброски техзадания)
1. Модуль регистрации пользователей
2. Чат
3. Мультивалютный биржевой кошелек.
4. Выставление и отмена ордеров
5. Исполнение перекрывающихся ордеров
6. АПИ биржи
Я бы этапы разработки поменял местами, главное начать с ядра, можно написать спецификации для API и под эти спецификации писать ядро, в ядро войдет то что у вас перечисленно в п4 и п5, после реализации этого дело останется за малым.
Для работы с БД я бы использовал Hibernate - это позволит использовать любую БД без переделки кода.
Я бы писал биржу на Java это даст кроссплатформенность и масштабируемость и не ударит по производительности как некоторые ошибочно думают.