Я проверял и с закрытым редактором и с открытым. Но до теста GETSCREEN уже отрабатывал поэтому было всё правильно.
Сейчас проблему удалось поймать. Стало заметно если первый GETSCREEN с областью и сразу после открытия скрипта GETSCREEN не прогонялся. В не зависимости открыт редактор или нет, ведь буферы разделены.
Вставил заделку скриншотов и понял что PXLCOUNT не при чём. Хотя и не сразу. PXLCOUNT считает правильно, но данные у него не те.
Короче GETSCREEN берёт область на 1 меньше по горизонтали и вертикали. Ошибка здесь.
Кто хочет может попробовать на белом фоне запустить
GETSCREEN(500,500,509,509)
SCREENSHOTEX(500,500,509,509)
Размер области 10х10 но GETSCREEN с областью берёт на 1 меньше (см. скрин). Но заметить это легче только если GETSCREEN(...) идёт первым в скрипте, тогда там чернота. А если не первым, тогда там мусор от преведущих GETSCREEN, что тоже приводит к ошибкам, но заметить их труднее.
У всех остальных функций область считается правильно.