Добрый день,
Похоже, что изображения NIR в Вашем случае сохранены как трёхканальные RGB изображения. Если есть возможность, то в будущем я бы посоветовал сохранять NIR как одноканальные изображения.
Порядок соответствует лексиграфическому порядку названий папок, т.е. та папка, которая первая по алфавиту, будет идти первой и в диалоге растрового калькулятора.
Формула для NDVI правильная, если b1,b2,b3 - это каналы файлов, соответствующих NIR изображениям (при том, что b1=b2=b3), а b4, b5 и b6 - каналы с VIS (RGB) камеры.