Forum

« previous next »
Pages: [1]

Author Topic: Network processing Errors  (Read 21820 times)

Alexandiir

  • Newbie
  • *
  • Posts: 6
    • View Profile
Network processing Errors
« on: July 28, 2024, 02:53:25 PM »
Для сетевой обработки настроено 7 машин. Всё работает на небольших проектах нормально.

Сейчас в обработке проект из 35 тыс снимков. Увязался он хорошо в режиме обработки по сети. Сейчас идёт Build Tiled Model, и на 74% висит уже 10-15 часов. При этом все ПК загружены на 100%, периодически меняются сообщение в логах. Работа как бы идёт, но не движутся %.

Пробовал на этом же проекте запустить построение облака, все компы начинают загружаться на 100%, идут процессы, периодически выдаются ошибки, но процессы продолжают идти. Доходит до 60-75% и может так висеть несколько дней. Сам останавливаю.

Вот какие имею ошибки:
2024-07-27 08:06:38 [192.168.1.247:62896] failed #1 BuildDepthMaps.filterDepthMaps (364/623): Can't decompress depth
.....
2024-07-27 18:39:14 [192.168.1.199:63412] failed #1 BuildTiledModel.buildTextureBlock (69/574): Unsupported data type: undefined


Сервер и он же клиент Ryzen 7950x, 192Gb, 4070Ti, NVME RAID 4Tb
Клиенты 12700 + 1080Ti\3080, 128Gb, 2Tb NVME
Сеть 10Gb

Данные лежат на быстром NVME RAID на Ryzen. Сетевых проблем нет в Журнал Windows - Система. Вся сеть постоянно в работе и проблем не доставляет в других ПО. Остальные компоненты так же не глючат в других приложениях.

1. Откуда столько ошибок?
2. Процесс идёт, или можно убивать?
Logged

Alexandiir

  • Newbie
  • *
  • Posts: 6
    • View Profile
Re: Network processing Errors
« Reply #1 on: July 29, 2024, 02:41:01 AM »
Quote from: Alexandiir on July 28, 2024, 02:53:25 PM
Model, и на 74% висит уже 10-15 часов

Всё же он сдвинулся. За 10 часов +4%
Похоже что то не так.
Logged

Alexey Pasumansky

  • Agisoft Technical Support
  • Hero Member
  • *****
  • Posts: 15650
    • View Profile
Re: Network processing Errors
« Reply #2 on: July 29, 2024, 05:28:40 PM »
Добрый день, Александр,

Возможно, есть какие-то проблемы с хранилищем данных (где находится директория проекта) или доступом к нему. Также не исключено, что на каких-то узлах может быть проблема с оперативной памятью - обычно "Can't decompress depth" указывает на это. Однако, судя по тому, что ошибки примерно равномерно распределяются по узлам - проблема вряд ли с узлами.

Какой формат данных у исходных снимков (тип файла, глубина цвета, число каналов)?

Logged
Best regards,
Alexey Pasumansky,
Agisoft LLC

Alexandiir

  • Newbie
  • *
  • Posts: 6
    • View Profile
Re: Network processing Errors
« Reply #3 on: July 29, 2024, 09:39:11 PM »
Quote from: Alexey Pasumansky on July 29, 2024, 05:28:40 PM
Какой формат данных у исходных снимков (тип файла, глубина цвета, число каналов)?
Добрый день Алексей. Спасибо за ответ.

Sony a7
JPG
4000х6000 pix, 24Mpix
RGB
24 bit

Это последовательность фото с многокамерного рига. Но это не имеет значения. Загружена и увязана как обычные фото.

Память компов перетестировал много раз, попадались ранее битые планки, все заменил. Сейчас нет с нею проблем в другом софте. И при замене тестил MemTest

С хранилищем могут быть проблемы конечно, потому что RAID NVME из 4 дисков, два на материнке, два через расширитель PCI-E и bifurcation. И это не прозрачная система. Но опять же, нет в системном журнале винды ошибок о хранилище.

На компе Сервере Metashape появилась постоянная ошибка в журнале винды:
Не удается найти описание для идентификатора события 13 из источника nvlddmkm...
Это касается видеокарты, там 4070Ti, пока непонятно что с нею, драйвер переставлю как закончится процесс, там видно будет.
Logged

Alexandiir

  • Newbie
  • *
  • Posts: 6
    • View Profile
Re: Network processing Errors
« Reply #4 on: July 30, 2024, 11:08:37 AM »
Есть ещё подозрительные сообщения в логах. И так по всем ПК.

2024-07-30 10:44:44 Estimated required video memory: 12683 MB
2024-07-30 10:44:44 Estimated device memory: total 11996 MB, used 345 MB, available 10666 MB
2024-07-30 10:44:44 Cannot use GPU. Reason: Not enough memory on device
2024-07-30 10:44:44 Performing blending on CPU...

---
2024-07-29 09:51:02 Estimated required video memory: 11248 MB
2024-07-29 09:51:02 Estimated device memory: total 10053 MB, used 364 MB, available 8820 MB
2024-07-29 09:51:02 Cannot use GPU. Reason: Not enough memory on device
2024-07-29 09:51:02 Performing blending on CPU...

В настройках установлена галка Advanced - Enable fine-level task subdivision
Так понимаю что это разделяет процессы на более мелкие задачи что бы влезли в память. Увеличивает общее время процесса при этом, но ладно.
Но работает ли это для памяти GPU, или только для RAM ПК.
Logged

Alexandiir

  • Newbie
  • *
  • Posts: 6
    • View Profile
Re: Network processing Errors
« Reply #5 on: July 31, 2024, 11:54:54 AM »
Перенёс на другой ПК
Снова наблюдаю ошибки


2024-07-31 09:06:04 [192.168.1.234:50853] failed #0 BuildTiledModel.buildTextureBlock (8/56): Unsupported data type: undefined
2024-07-31 09:37:08 [192.168.1.199:54921] failed #0 BuildTiledModel.buildTextureBlock (16/56): Unsupported data type: undefined
2024-07-31 09:40:51 [192.168.1.192:54222] failed #0 BuildTiledModel.buildTextureBlock (11/56): Unsupported data type: undefined
2024-07-31 09:45:30 [192.168.1.234:50853] failed #0 BuildTiledModel.buildTextureBlock (23/56): Unsupported data type: undefined
2024-07-31 09:54:05 [192.168.1.116:51055] failed #0 BuildTiledModel.buildTextureBlock (32/56): Unsupported data type: undefined
2024-07-31 09:56:09 [192.168.1.247:56316] failed #0 BuildTiledModel.buildTextureBlock (31/56): Unsupported data type: undefined
2024-07-31 10:26:31 [192.168.1.234:50853] failed #0 BuildTiledModel.buildTextureBlock (16/56): Unsupported data type: undefined
Logged
Pages: [1]
« previous next »