Здравствуй!
Случайно линейными объектами не являются какие-либо тонкие объекты, находящиеся на расстоянии от основной поверхности (например веревки, провода, ЛЭП)? Если так, то это нормально... Иногда помогает увеличение качества модели. Если это дороги или объекты на поверхности, то нужно проверить GCP, если они не корректны, то последующая оптимизация коробит модель. В этом случае советую проводить оптимизацию до задания координат точкам расставленным, строить модель и только потом задавать координаты и обновлять проекцию (не оптимизировать!!!).
Второй вопрос я не совсем понял. На снимке часть изображения можно маскировать в самой программе, но я предпочитаю Photoshop с созданием черно-белой маски в формат JPG.
P.S. Преимущество Photoshop в том. что можно создать операцию для типовых снимков, а потом провести пакетную обработку с созданием масок в отдельную папку, которую я как правило называю "Alpha". Далее в photoscan импорт масок для блока или проекта, код файла {filename}.jpg (регистр значим, например если написать JPG photoscan не увидит), и выбираем паку.