Карты глубины должны остаться в проекте после отмены построения геометрии, если Вы используете версию 0.9.0. Однако, скорее всего и процесс отмены тоже займёт долгое время, пока не высвободится память из swap'а. В системном мониторе Windows можно посмотреть общее выделение памяти на вкладке "Быстродействие" в разделе "Система".
Если на генерацию модели действительно не хватает памяти, то можно попробовать уменьшить размеры Bounding Box'а.
Поддержки Python'овских модулей Qt в PhotoScan в настоящее время нет. Возможно, такая поддержка будет добавлена в следующих версиях, но в ближайших обновлениях ждать её не стоит.