Если символов в парольной фразе будет достаточное количество и эта последовательность будет случайной, то да, безопасно. Но при таких условиях запоминать фразу будет гораздо сложнее, чем 12 слов. А спрятать сид, чтобы никто не нашел, по-моему, несложно. В конце концов можно разделить по Шамиру и хранить части в разных местах.