Forum

Author Topic: Железо для Photoscan  (Read 20464 times)

Sergey

  • Newbie
  • *
  • Posts: 9
    • View Profile
Re: Железо для Photoscan
« Reply #30 on: October 25, 2017, 12:48:24 PM »
Обычно для выполнения подобного рода проектов мы рекомендуем использовать режим сетевой обработки, чтобы избежать возможных проблем с нехваткой памяти. Даже один компьютер может быть запущен в этом режиме.
Вот как раз возник вопрос с сетевым режимом. На одиночном компьютере при включенном сетевом режиме продолжает выбивать сообщение "Недостаточно памяти". А на кластере из двух машин программа уходит в повторяющийся цикл с сообщением в консоли "bad allocation". На кластере машины с 32ГБт и 16 ГБт. 

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #31 on: October 26, 2017, 07:40:00 PM »
Здравствуйте, Сергей,

Какой процесс обработки приводит к нехватке памяти?
Best regards,
Alexey Pasumansky,
AgiSoft LLC

Sergey

  • Newbie
  • *
  • Posts: 9
    • View Profile
Re: Железо для Photoscan
« Reply #32 on: October 31, 2017, 03:18:33 PM »
Процесс создания плотного облака точек.

babazoya

  • Newbie
  • *
  • Posts: 3
    • View Profile
Re: Железо для Photoscan
« Reply #33 on: November 16, 2017, 02:13:00 PM »
Добрый день.

При построении ортофотоплана, столкнулись с проблемой на этапе построения плотного облака, при размере разреженного  облака более 2 млн точек (примерно 4000 фоток). Выдает ошибку в консоли Error bad allocation (при пакетной обработке, при обычной Недостаточно памяти). Эта ошибка свидетельствует о недостаточной оперативной памяти? Возможен ли недостаток памяти видео карты? Возможно ли что не хватает мощности процессора?

Обработка происходит на комплектации:
 Intel i7 6800k 3.4 GHz
GeForce GTX 1060 3 GB
RAM 64 GB

Так же был приобретен ноутбук для попытки обработки в полевых условиях хотя-бы небольшого ортофотоплана, проверки качества полета. При попытке построить плотное облако или ортофотоплана по карте высот, в проекте из 186 снимков выдает ту же самую ошибку - недостаточно памяти и в консоли Error bad allocation.

Характеристики ноутбука:
Intel i7 7700HQ
Geforce GTX 1050 Ti 4 Gb
RAM 32 GB
« Last Edit: November 16, 2017, 02:15:41 PM by babazoya »

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #34 on: November 16, 2017, 02:45:17 PM »
Процесс создания плотного облака точек.
Здравствуйте, Сергей,

Есть ли возможность прислать лог с узла для задачи, которая приводит к ошибке Bad Allocation? Также сообщите, какие настройки обработки используются и столько фотографий (их разрешение) в проекте.
Best regards,
Alexey Pasumansky,
AgiSoft LLC

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #35 on: November 16, 2017, 02:50:39 PM »
При построении ортофотоплана, столкнулись с проблемой на этапе построения плотного облака, при размере разреженного  облака более 2 млн точек (примерно 4000 фоток). Выдает ошибку в консоли Error bad allocation (при пакетной обработке, при обычной Недостаточно памяти). Эта ошибка свидетельствует о недостаточной оперативной памяти? Возможен ли недостаток памяти видео карты? Возможно ли что не хватает мощности процессора?

Обработка происходит на комплектации:
 Intel i7 6800k 3.4 GHz
GeForce GTX 1060 3 GB
RAM 64 GB

Так же был приобретен ноутбук для попытки обработки в полевых условиях хотя-бы небольшого ортофотоплана, проверки качества полета. При попытке построить плотное облако или ортофотоплана по карте высот, в проекте из 186 снимков выдает ту же самую ошибку - недостаточно памяти и в консоли Error bad allocation.

Характеристики ноутбука:
Intel i7 7700HQ
Geforce GTX 1050 Ti 4 Gb
RAM 32 GB

Здравствуйте, ошибка Bad Allocation сообщает о нехватке оперативной памяти (RAM), так что это не проблема графической карты.

Пришлите, пожалуйста, логи обработки из панели Консоль для каждого ноутбука. Один из вероятных источников проблемы - использование 32-битного установщика вместо 64-битного.
Best regards,
Alexey Pasumansky,
AgiSoft LLC

antikuza

  • Newbie
  • *
  • Posts: 1
    • View Profile
Re: Железо для Photoscan
« Reply #36 on: February 24, 2018, 02:18:40 PM »
Подскажите пожалуйста, есть ли сравнительные данные между процессорами AMD Ryzen и Intel 8-го поколения?. При примерно одинаковой цене на процессор, у AMD можно получить в два раза больше ядер/потоков.

raynk

  • Newbie
  • *
  • Posts: 4
    • View Profile
Re: Железо для Photoscan
« Reply #37 on: November 21, 2018, 07:53:26 AM »
Согласно тестам в инете, многоядерные процессоры АМД плохо себя показывают для фотоскана.
Т.е. быстрый 4 ядерник работает лучше того же 16 ядерного Тредриппера.
Планируется ли доработка программы под использование всех доступных ядер?

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #38 on: November 21, 2018, 12:45:21 PM »
Согласно тестам в инете, многоядерные процессоры АМД плохо себя показывают для фотоскана.
Добрый день,

А можете, пожалуйста, поделиться ссылками на такие тесты?

В целом большинство этапов обработки хорошо параллелится на многоядерных системах, исключениями могут быть этап раскладки текстурного атласа, построение полигональной модели в "произвольном режиме" из облака точек.
Best regards,
Alexey Pasumansky,
AgiSoft LLC

raynk

  • Newbie
  • *
  • Posts: 4
    • View Profile
Re: Железо для Photoscan
« Reply #39 on: November 22, 2018, 08:48:42 AM »
https://www.pugetsystems.com/labs/articles/Agisoft-PhotoScan-1-4-1---CPU-Performance-Comparison-1153/

Ну и вообще возникает мысль, что процессор дело десятое, а вот видеокарта и их количество уже реально может ускорить процесс.


« Last Edit: November 22, 2018, 08:55:23 AM by raynk »

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #40 on: November 22, 2018, 12:03:36 PM »
Спасибо за ссылку.

Было бы интересно, конечно, увидеть результаты подобного тестирования с более детальным разбиением на этапы и использованием только CPU без графических карт:
1. Match Photos (Align Photos, part 1)
2. Align Cameras (Align Photos, part 2)
3. Build Depth Maps (Build Dense Cloud, part 1)
4. Build Dense Cloud (Build Dense Cloud, part 2)
5. Build Mesh (причём каждым способом - в режиме Height Field из плотного облака, в режиме Arbitrary из плотного облака и в режиме Arbitrary из карт глубины - последнее, это новый метод в пре-релизе 1.5.0, который также поддерживает ускорение на GPU),
6. Build UV (Build Texture, part 1)
7. Build Texture (Build Texture, part 1)
дополнительные операции  для тестирования Профессиональной версии:
8. Build DEM
9. Build Orthomosaic
10. Build Tiled Model

Как было уже сказано выше, построение полигональной модели из плотного облака в режиме Arbitrary не очень хорошо параллелится, также как и параметризация текстурного атласа (Build UV), что мы и видим в тестах. Однако, поскольку этап выравнивания и построения плотного облака не разделён в результатах на отдельные шаги, то интерпретировать результат сложно из-за использования графической карты, которая даёт ускорения на пером шаге из двух для каждой из этих задач.
Best regards,
Alexey Pasumansky,
AgiSoft LLC

raynk

  • Newbie
  • *
  • Posts: 4
    • View Profile
Re: Железо для Photoscan
« Reply #41 on: December 18, 2018, 10:47:03 AM »

Столкнулся с тем, что процесс filtering depth maps идет 6 часов и показывает общий уровень 10%. Остаток времени более 2 дней.
Задействован  лишь CPU.  У меня 8 ядерный 1900x. Фото 20 мегапикселей, 1200 штук. Память 80 гб. Задействовано на этом этапе 40 гб.

1. На данном этапе GPU не задействуется? Имеет смысл увеличить количество ядер до 16? Хочется понять, в какую сторону апгрейда двигаться для уменьшения общего времени обработки?

2. Все же отключать CPU необходимо при наличии GPU? При отключенном CPU время обработки увеличивается.
Версия 1.4.3. В версии 1.5 в этой части есть улучшения, есть смысл обновить прогу?

3. CUDA какой версии минимально требуется? Заметил особенность. Для GTX 970. C новыми драйверами 400+ загрузка небольшая и это видно по увеличенному времени обработки, загрузке и температуре GPU. На древнем драйвере 347 загрузка 95%, нагрев видеоплаты и сокращение времени обработки.

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 10167
    • View Profile
Re: Железо для Photoscan
« Reply #42 on: December 18, 2018, 02:00:28 PM »
Добрый день,

Какого типа проект Вы обрабатываете - обычная аэрофотосъёмка или какой-то сложный сценарий съёмки?

Операция фильтрация карт глубины выполняется только на CPU и число ядер с повышением частоты должно ускорить процесс. Однако, в случае очень большого перекрытия кадров процесс фильтрации всё равно будет длиться долго. В качестве возможного пути для ускорения, могу посоветовать использовать специальную тонкую настройку "main/dense_cloud_max_neighbors" (диалоговое окно настроек программы -> вкладка "дополнительно" -> кнопка "тонкие настройки"), для которой задать значение, например, 60. Это значение будет ограничивать число перекрывающихся пар для каждой камеры, которые учитываются при фильтрации (по умолчанию ограничения нет - значение "-1"). Если сохранились карты глубины, их можно переиспользовать после задания данного параметра и посмотреть, насколько уменьшилось время обработки.

Если плотное облако как таковое не требуется в виде конечного продукта, а более интересна полигональная модель, то в версии 1.5.0 (сейчас доступна в виде пре-релиза) есть новый метод построения меша напрямую из карт глубины (минуя плотное облако). Также данный метод поддерживает ускорения на GPU.

Что касается драйверов и версии CUDA, то минимальные требования - это CUDA Compute Capability 2.0 и выше. Если действительно наблюдаются серьёзные различия по времени обработки на одной и той же конфигурации с разными драйверами, пришлите, пожалуйста, полные логи обработки, например, для карт глубины, соответствующие различным драйверам. Желательно при сравнительной обработке задействовать только GPU без использования CPU.
Best regards,
Alexey Pasumansky,
AgiSoft LLC

raynk

  • Newbie
  • *
  • Posts: 4
    • View Profile
Re: Железо для Photoscan
« Reply #43 on: December 18, 2018, 02:35:14 PM »
Перекрытие, получается, что большое.
Это небольшой статичный объект стоящий на подставке.
Сфотографирован с разных ракурсов объекта. Точки сьемки  организуют сферу вокруг объекта.
У меня задачи делать 3D модели небольших объектов (детские игрушки) с результатом в виде меша с текстурами.

Если в 1.5 для моих целей можно обойтись без облака, то я полагаю, что это должно ускоить весь процесс. Карты глубин строятся сами по фото?
Качество модели без облака не пострадает?

Дак все же при GPU надо отключать CPU в настройках или тут надо самому подбирать опытным путем?
Релиз 1.5 намечается в ближайшие дни?

floomin

  • Newbie
  • *
  • Posts: 1
    • View Profile
Re: Железо для Photoscan
« Reply #44 on: December 18, 2018, 02:44:33 PM »
Добрый день! Есть задача сделать ортофотоплан 4000-7000 фотографий 12 Мпикс. необходимо что бы этот объём информации обрабатывался не более суток, какое Железо посоветуете. (без ограничения по бюджету)