Андрей Пирогов технический экспертцифрового отдела «САТРО-ПАЛАДИН»
Такой конкурс тест дает хорошую возможность оценить новинки, которые появились в системах видеонаблюдения, понять, куда дальше двигаться, что совершенствовать и что можно взять на вооружение. Для нас, как для компании-дистрибьютора многих известных брендов, было очень интересно оценить состояние передовых отечественных разработок, и, разумеется, продемонстрировать то, что есть у нас...
Константин Воробьев руководитель отдела маркетинга «СпецЛаб»
...в отличие от прошлого года, конкурс был подготовлен, были разработаны интересная тестовая программа. Конечно же, представленные тестовые клипы не отражают реальных условий, но для проведения соревнования алгоритмов и математической мысли они были достаточно интересны.Обидно то, что не совсем соблюдался регламент тестирования. Представьте себе такую ситуацию, когда идут соревнования, спортсмены бегут дистанцию и добегают до финиша. А кто-то, возможно, у себя в тренажерном зале и бегает быстрее, но на соревнованиях он показал определенный результат, и именно этот результат должен засчитываться. Также и повторная проверка в «полусинтезированном» тестовом клипе не должна была проводиться.
Кроме того, по регламенту отстройка от шумов должна была проводиться по отдельному фрагменту без использования основной части тестового клипа, а это соблюдалось далеко не всеми участниками, так как были случаи, когда отстройка производилась по всему клипу и выбирались самые удобные для данного случая настройки детектора...
Виталий Котовщиков коммерческий директор, компания «Цифровые Системы»
...Конкурс-тест дает возможность многим компаниям показать себя, продемонстрировать свои системы и их возможности. Но, кроме того, имеется прекрасная возможность увидеть воочию продукцию коллег по цеху, подтянуть свои системы, там, где они отстают, и продемонстрировать свои сильные стороны. В целом, конкурс-тест позволяет разработчикам заявить о себе, а потребителям - увидеть новинки и возможности систем в таких, достаточно сложных условиях, какие были созданы в рамках тестирования....
Алексей Кадейшвили технический директор, компания «Вокорд Телеком»
... подобные тесты - дело нужное и полезное, хотя такое тестирование «на общественных началах» должно трансформироваться в лабораторные испытания (наподобие сертификационных испытаний) с четко проработанной и однозначно трактуемой метрологической и научно обоснованной методикой. Это позволит более полно проверить работу оборудования и гарантирует защиту от случайных ошибок. Публичные мероприятия, как наш «конкурс-тест» больше напоминают шоу и в силу различных ограничений (времени, испытательного оборудования, невозможность проверить воспроизводимость результатов) не позволяют проводить всесторонние тесты. Хотелось бы обратить внимание на то, что наша система PHOBOS не показала в полной мере своих возможностей, и произошло это в первую очередь из-за недостаточно тщательной подготовки к тестам. По нелепой случайности во время тестов были оставлены настройки по умолчанию, что и это привело к плохому результату на тестах «медленных движений».
На будущее хотелось бы сделать тест более приближенными к реальной жизни. В связи с этим есть 3 предложения:
1. Сделать тесты на реальных клипах с сильными естественными помехами (снег, дождь, плохая освещенность). При этом тест состоит из двух частей. Сначала берется клип, в котором «полезное» движение маскируется и присутствуют только помехи. Детектор отстраивается от ложных срабатываний на таких помехах. После этого проигрывается полный клип с «полезным» движением. Оценивается то, насколько много «полезного» движения было записано.
2. Обязательно в ходе тестов нужно контролировать загрузку процессора, и должны быть отдельные тесты на производительность детектора движения. Для этого нужно либо замерять загрузку процессора при работе детектора движения либо включать детектирование сразу по нескольким, например 16 каналам, и смотреть загрузку процессора. Второе предпочтительнее. Эти тесты очень важны, поскольку сложные алгоритмы детектирования, как правило, требуют много вычислительных ресурсов. Разработчики делающие систему для реальной жизни, а не только для тестов, должны искать компромисс между качеством работы детектора и его ресурсоемкостью. Кроме того, один и тот же детектор в зависимости от настроек может либо хорошо детектировать и требовать много ресурсов процессора, либо потреблять мало ресурсов и при этом плохо детектировать движение. Поэтому без контроля производительности тесты детекторов считать полными нельзя.
3. Нужно проверять работу детектора в условиях изменения освещения и возникновения естественных помех. Фиксируются настройки детектора, и после этого воспроизводим клипы с сильно отличающимися условиями съемки. В этих тестах проверяются адаптивные свойства детектора. Этот тест также чрезвычайно важен, поскольку способность адаптироваться к изменяющимся условиям крайне важна на реальных объектах....
