PhotoScan: как делать фотографии фотографий без бликов
19 апреля 2017 мы выпустили обновление PhotoScan, нашего мобильного приложения для iOS и Android, позволяющего оцифровывать бумажные фотографии одним только смартфоном. Одна из ключевых особенностей PhotoScan – возможность удалять блики с фотографий (их часто печатают на глянцевой, хорошо отражающей свет бумаге), а также со страниц пластиковых альбомов или фотографий под стеклом. Для этого мы разработали уникальное сочетание компьютерного зрения и технологии обработки изображений, которые могут точно совместить и скомбинировать несколько немного отличающихся снимков фотографии и отделить блик от самого изображения на фото.
По одному снимку очень сложно автоматически определить, какие участки изображения – это оригинальное фото, а какие – блик. Более того, блик может засветить участки фото, из-за чего будет невозможно восстановить ту его часть, что скрыта под бликом. Но если сделать несколько снимков фотографии, передвигая камеру, расположение блика меняется – он перемещается по разным участкам фото. В большинстве случаев каждый отдельный пиксель окажется не под бликом хотя бы на одном из снимков. И хотя ни один из снимков не будет лишён блика, мы можем скомбинировать несколько снимков распечатанного фото, сделанных под разными углами, и таким образом удалить блик. Сложность в том, что изображения необходимо очень точно совместить, чтобы они правильно комбинировались, и эта обработка должна выполняться на смартфоне достаточно быстро, чтобы получить эффект почти мгновенного результата.
Скрытый текст
Наша технология вдохновлялась нашей предыдущей работой, опубликованной на SIGGRAPH 2015, которую мы назвали «фотографированием без помех» [obstruction-free photography]. Она использует схожие принципы для удаления различных помех из поля зрения. Но первоначальный алгоритм был основан на порождающей модели, в которой оценивались движение и внешний вид основной сцены и помехи. Возможности этой модели велики, и она способна удалять самые разные помехи – но она слишком затратна с вычислительной точки зрения, чтобы её можно было использовать на смартфонах. Поэтому мы разработали упрощённую модель, относящуюся к блику как к некоей аномалии, и пытающуюся распознать лежащее под ним изображение. И хотя модель упрощена, это всё ещё очень сложная задача – распознавание должно быть точным и надёжным.
Как это работает
Мы начинаем с набора снимков фотографии, сделанных пользователем, передвигавшим камеру. Первый снимок – «опорный кадр» – определяет желаемый конечный вид снимка. Затем пользователю рекомендуют сделать четыре дополнительных снимка. В каждом кадре мы определяем ключевые точки (подсчитываем свойства ORB на углах, определённых при помощи алгоритма Харриса) и используем их для определения гомографий, сопоставляющих каждый последующий кадр с опорным.
Скрытый текст
Технология кажется прямолинейной, но у неё есть подвох – гомографии способны сопоставлять только плоские изображения. Но бумажные фотографии часто не плоские (как в примере вверху). Мы используем оптический поток – фундаментальное представление движения в компьютерном зрении, устанавливающее попиксельное соответствие между двумя изображениями, корректирующее отклонения от плоскости. Мы начинаем с кадров, выровненных при помощи гомографии, и подсчитываем «поля потоков» для выпрямления изображений и дальнейшей корректировки. Обратите внимание, как в примере ниже углы левой фотографии немного «двигаются» после определения кадров при помощи одной лишь гомографии. Справа видно, как фото лучше выровнялось после применения оптического потока.
Скрытый текст
Разница не сильно бросается в глаза, но ощутимо влияет на конечный результат. Обратите внимание, как небольшие несоответствия проявляют себя в виде дублированных фрагментов изображения, и как эти огрехи устраняются путём дополнительного уточнения при помощи потоков.
И в данном случае сложность была в том, чтобы заставить изначально медленно работающий алгоритм оптического потока быстрее работать на смартфоне. Вместо традиционного подсчёта потока для каждого пикселя (количество векторов равно количеству пикселей), мы строим поле потока по меньшему количеству контрольных точек, и записываем движение каждого пикселя в изображении как функцию движения контрольных точек. А именно, мы делим каждое изображение на непересекающиеся ячейки, формирующие крупнозернистую решётку, и представляем поток пикселя в отдельной ячейке как билинейную комбинацию потока и четырёх углов ячейки, его содержащей.
Тогда остаётся решить более простую задачу, поскольку количество векторов потока теперь равно количеству точек решётки, которых обычно сильно меньше, чем пикселей. Этот процесс схож с обработкой изображений при помощи сплайнов. С этим алгоритмом мы смогли уменьшить время вычисления оптического потока на телефоне Pixel примерно в 40 раз!
Скрытый текст
Наконец, чтобы создать итоговое изображение без блика, для каждого участка кадра мы берём значения пикселей и вычисляем «мягкий минимум», чтобы найти самый тёмный из вариантов. Конкретно, мы вычисляем ожидаемую минимальную яркость по имеющимся кадрам, и назначаем меньшие веса пикселям, находящимся ближе к изогнутым краям изображений. Мы используем этот метод вместо прямого вычисления минимума из-за того, что у одних и тех же пикселей в разных кадрах яркость может различаться. Попиксельный минимум может привести к появлению видимых стыков из-за резких изменений интенсивности на границах накладывающихся изображений.
Алгоритм способен работать в различных условиях сканирования – матовые и глянцевые фотографии, фотографии в альбомах и без них, обложки журналов.
Скрытый текст
Для подсчёта итогового результата наша команда разработала метод, автоматически определяющий границы изображения и приводящий его к прямоугольному виду. Из-за искажений перспективы отсканированное прямоугольное фото обычно превращается в непрямоугольный четырёхугольник. Метод анализирует сигналы изображений, цвет, края, чтобы выяснить, где проходят точные границы оригинального фото, а затем применяет геометрические преобразования для выпрямления изображения. В результате получается высококачественная цифровая версия бумажной фотографии без бликов.
В общем, много чего происходит под капотом, и всё это почти мгновенно работает на вашем телефоне! Попробовать PhotoScan можно, скачав версию приложения для Android или iOS.
- обработка изображений
- photoscan
- сканирование
- фотографии
как чётко сфоткать паспорт _. что бы было всё идеально видно .
Нужно на камере настроить на режим макро, или на режим для фотографирования текста. И главное чтобы руки не треслись.
Остальные ответы
с помощью штатива
отсканировать, или просто без вспышки снять на мыльницу.
Похожие вопросы
Ваш браузер устарел
Мы постоянно добавляем новый функционал в основной интерфейс проекта. К сожалению, старые браузеры не в состоянии качественно работать с современными программными продуктами. Для корректной работы используйте последние версии браузеров Chrome, Mozilla Firefox, Opera, Microsoft Edge или установите браузер Atom.
Как сделать фото разворота паспорта? Он же складывается, пальцами держишь говорят нельзя нужно чтобы края были видны
самолет самолетов Искусственный Интеллект (278104) Никнейм, ну и что, зато ЛЕГКО добиться хорошего качества. Я думаю что тому кто будет получать ваши изображения не важно ЧЕМ они получены.
Кто говорит? Вообще то, само требование предоставить фотографию паспорта является незаконным.
Для таких целей используют сканер.
Похожие вопросы
Ваш браузер устарел
Мы постоянно добавляем новый функционал в основной интерфейс проекта. К сожалению, старые браузеры не в состоянии качественно работать с современными программными продуктами. Для корректной работы используйте последние версии браузеров Chrome, Mozilla Firefox, Opera, Microsoft Edge или установите браузер Atom.
Как сфотографировать документы, если их листы заворачиваются (см)?
Как в домашних условиях сфотографировать документы, если их листы при развороте постоянно заворачиваются? Держать пальцем — он появится на фото. А как иначе?
в избранное
WinikiRu [182K]
В ответах приветствуются фотографии примеров того, как нужно сделать.
А короткие ответы, как всегда, идут за баню. — 3 месяца назад
комментировать
Рождё нный в С С С Р [633K]
3 месяца назад
Если мы находимся дома или в офисе — выйти из положения всегда можно очень просто: найдите плоское прозрачное стекло достаточно большого размера и прижмите им разворот своего документа.
Останется только расположиться со всем этим так, чтобы не попали на изображение блики от лампы, окна, а также ваше собственное отражение.
Где же взять такое стекло?
Ну, у некоторых стол им накрыт.
Также можно воспользоваться стеклянной полочкой из шкафчика или от зеркала из ванной комнаты.
На худой конец, стекло можно в холодильнике найти — те же полки.
Только вымойте его и протрите насухо, чтобы не замарать документ.
модератор выбрал этот ответ лучшим
комментировать
в избранное ссылка отблагодарить
Ирина важна я [62.6K]
3 месяца назад
Когда документы просят не отсканировать или откопировать, а просто сфотографировать, значит эти документы не будут использоваться как копии, например, в суде. Так что, вполне можно и пальцем придержать, и линейкой -ничего страшного, если не закроете важную информацию.
Когда я работала в предвыборном штабе одной политической партии, люди из районов не могла нам передать документы для заполнения и мы тоже просили их хотя бы сфотографировать для начала. Так эти «умельцы» умудрялись рукой закрыть половину паспорта. Так делать не нужно.
комментировать
в избранное ссылка отблагодарить
Londr inne [77.6K]
3 месяца назад
Возьмите зажимы для бумаги. Такие разноцветные металлические «крокодилы». Просто скрепите ими документ так, как вам нужно. Снимайте, чтобы «крокодилы» по минимуму попали в кадр. Если веса зажима не хватает, можно «распялить» документ, например, прикрепив теми же зажимами к куску картона, линейке и пр. Это — кустарный способ. Вместо зажимов для бумаги можно использовать и простые прищепки. Только фотографировать аккуратнее.
Мой знакомый фотограф снимал документы через специальное стекло с матовой поверхностью, которая не бликовала, не отражала в себе окружающих предметов. Документ под ним лежал идеально расправленный. Если есть дома кусок плексигласа, например, можно попробовать поработать с ним. Но следите, чтобы не было бликов и отражений! Выключите вспышку и снимайте при хорошем освещении.