Судя по присланным данным, крайне неэффективно используется пространство кадра - объект съёмки занимает даже менее 10% от кадра, таким образом область поиска особых точек на поверхности модели существенно сокращается.
Ещё одна серьёзная проблема - это размытие деталей самого объекта. Это может быть связано как с неточной фокусировкой, так и со слишком широко открытой диафрагмой.
Что касается создания масок, то в случае фиксированного положения камеры и вращения объекта съёмки на поворотном столике (или аналоге такого подхода), можно воспользоваться опцией автоматической генерации масок при наличии кадра, снятого камерой из того же положения, но без объекта в кадре - только фон.