В процессе бинаризации программа не даёт возможности добавить больше 63 масок.
Это ограничение самой программы или ошибка?

Ограничение. Если не хватает, сделайте маски "пошире".

Для этого, в дополнительных параметрах инструмента (пиктограмма "молоток"),
укажите большее значение параметра "Размер фиксированного расширения масок".

Кроме того, число масок можно уменьшить включив опцию "Объединять маски".

Правильным ответом всё же будет:

1. Использование гистограмм для подбора диапазонов захвата.
При этом следует ОТКЛЮЧИТЬ опцию объединять маски!
(см. пост Как выделить линии из растра (JPEG,сепь и т.д.))

2. Можно, набрав серию масок выполнить операцию "Заменить цвет"
Затем продолжить "добивку дырок" в выделяемых линиях....