Зеркалка или камера смартфона?

Казалось бы, ответ очевиден. Но очевиден он для меня или других любителей, энтузиастов и профессионалов, а вот для вновь выходящих на рынок покупателей не всё так очевидно.

По статистике Яndex, камерами смартфона интересуется примерно в два раза больше пользователей, чем зеркальными фотоаппаратами (зеркалками). Правда следует отдать должное производителям «настоящих» фотоаппаратов – они также выпускают и качественные беззеркалки, но основной «–» больших фотокамер победить пока не удаётся и даже наоборот.

Рис. 1. Гигантский объектив от Sigma.

Рис. 1. Гигантский объектив от Sigma.

Собственно, минус – это габариты и вес. Причём в, так называемом, профессиональном сегменте, размеры и вес – это ещё и признаки статуса.

Как бы там ни было, но таскать несколько кг стекла и металла утомительно особенно на повседневе. А вот камера смартфона никаких дополнительных затрат не требует – смартфон-то и так всегда под рукой.

Да и бог с этими преимуществами камер смартфонов, фотки то с них годятся разве что на … А действительно на что?

На что годятся фотки с камеры смартфона? 

Ответ на этот вопрос казался очевидным ещё даже 5, а тем более 10 лет назад. И если произнести его максимально корректно, то звучит он просто и лаконично – ни на что. Однако технологии не стоят на месте. И да, не без помощи маркетологов, но камеры смартфонов привлекают внимание и кошелёк потребителя. Более того, камеры в смартфонах не являются бесплатным довеском, а сами по себе придают ценности смартфону, т.е. формируют его конечную стоимость.

Но довольно лирики, давайте посмотрим какие технологии доступны в топовых камерах смартфонов.

Вычислительная фотография 

По мнению пионера вычислительной фотографии, профессора Стенфорда Марка Левойя (Marc Levoy):

Вычислительная фотография – это набор методов компьютерной визуализации, улучшающих или расширяющих возможности цифровой фотографии, при использовании которых получается обычная фотография, которая не могла технически быть снята на данную камеру традиционным способом.

Камеры смартфонов ничего не могут противопоставить зеркалкам на их поле: крошечные матрицы; нелепые объективы и бесконечно огромное эго. Поэтому инженеры пошли по давно проторенной дорожке, а именно: обратить минусы в плюсы. Собственно, основной плюс – это компактность и то, что смартфон всегда под рукой. Именно эти факторы побуждают ожидания аудитории, которые умело поддерживают и разжигают маркетологи от камер смартфонов.
Дополнительным преимуществом является то, что камера смартфона имеет полный доступ ко всей инфраструктуре смартфона: как внутренней, так и внешней. Экран, вычислительные ресурсы смартфона, интеграция с приложениями, коммуникационные возможности – всё это открывает широкое поле для манёвра.

Instagram-фильтры 

Фильтры X-Pro II, Lo-Fi и Valencia – это были простенькие шейдеры (функции) из трёх компонентов:

1. Настроек цвета (Hue, Saturation, Lightness, Contrast, Levels, и.т.д.);
2. Карты маппинга оттенков (Tone Mapping);
3. Оверлея — полупрозрачной картинки с пылью, зерном, виньеткой, и всем остальным, что можно наложить сверху для получения нисколько не банального эффекта старой плёнки.

Но двигать ползунки вручную оказалось утомительным занятием, а потому производители стали автоматизировать этот процесс, порой лишая пользователя мануального режима.

Камеры смартфонов стали немного дорабатывать изображения, даже не афишируя этого. Несложные алгоритмы делали примерно то же, что функция авто-улучшений в фоторедакторах, вытягивая провалы в свете и тенях, усиливая сочность цвета, убирая эффект красных глаз и делая естественным цвет лица. Публика даже не догадывалась, что грандиозно улучшенная камера смартфона была лишь заслугой пары новых шейдеров.
В iOS 5.0, которая вышла в 2011 году, уже был публичный API для Auto Enhancing Images. А сколько времени он применялся инкогнито? Возможно, что этого не знал даже сам Джобс.

В настоящий момент развитие этого направления идёт по пути нейросетей и машинного обучения. Задача состоит в том, чтобы делать технически приемлемые фотки без или с минимальным участием человека.

В своё время, когда фотики были хуже, а полиграфия востребована, я писал скрипты в Photoshop с разной степенью автоматизации для обработки большого количества фоток в ограниченные временные интервалы. В настоящее время это маловостребовано.

Стекинг фото 

Рис. 2. Фото стекинг

Рис. 2. Фото стекинг

Корни термина стекинг берут начало от термина стек, широко используемого в различных сферах деятельности, например, в программировании, и, в широком смысле, означающего упорядоченный набор данных.

Настоящая вычислительная фотография началась с фото стекинга — наложения нескольких фотографий друг на друга. Для камеры смартфона не является проблемой нащёлкать дюжину кадров за пару секунд. Процессор просто командует матрице сколько микросекунд ей ловить фотоны и считывает результат. Потенциально скорость съёмки ограничена лишь пропускной способностью шины данных, если не брать во внимание время, необходимое матрице для регистрации светового потока.

Камера в современном смартфоне начинает делать фотографии сразу, как только вы активизируете её

Сама идея фото стекинга не нова и применялась цветокорректорами для ручного HDR при наличии нескольких одинаковых снимков с разными настройками экспозиции, либо для склейки панорам ещё аж в прошлом веке.

По факту, сегодня на методах фото стекинга строится большинство всех инноваций в мобильных камерах.

Мало кто знает, но камера в современном смартфоне начинает делать фотографии сразу, как только вы активизируете её. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный фоновый циклический буфер, где хранит их еще пару секунд. Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берёт последнее фото из этого буфера.

При нажатии на кнопку, смартфон заглядывает в прошлое, смотрит на 10-15 последних фото из буфера и начинает их склеивать. Больше не нужно ждать пока телефон нащёлкает кадров для HDR или ночного режима.

Динамический диапазон камер смартфонов настолько мал, что получить приличный кадр без применения технологии HDR просто невозможно. Поэтому на последних iPhone, Pixel и Galaxy режим HDR вообще включается автоматически.

Минус HDR с брекетингом по экспозиции — его беспомощность при плохом освещении. Даже при свете комнатной лампы кадры получаются такими тёмными, что алгоритм не может их «выкрутить» и склеить. Для решения проблемы со светом в 2013-м Google продемонстрировал иной подход к HDR в вышедшем тогда смартфоне Nexus. Он назывался HDR+ и использовал фото стекинг по времени.

Рис. 3. Стекинг по времени

Рис. 3. Фото методом стекинга по времени

Фото стекинг по времени – это симуляция длинной выдержки. Стекинг фото по времени позволяет получить длинную выдержку с помощью серии коротких. Первопроходцами в нём были любители поснимать следы от звёзд на ночном небе, которым было неудобно открывать затвор сразу на два часа. Так было тяжело заранее рассчитать все настройки, а от малейшей тряски весь кадр выходил испорченным. Они решили открывать затвор лишь на пару минут, но много раз, а потом шли домой и клеили полученные кадры в фотошопе.

Вернёмся к Google с его ночным HDR. Оказалось, с помощью брекетинга по времени можно реализовать неплохой HDR в темноте. Технология впервые появилась в Nexus 5 и называлась HDR+. Остальные же телефоны на Android получили её как бы в подарок. Технология до сих пор настолько популярна, что ей хвалятся даже в презентации последних Pixel.

Работает HDR+ достаточно просто: определив, что вы снимаете в темноте, камера выгружает из буфера 8-15 последних фотографий в RAW чтобы наложить их друг на друга. Таким образом алгоритм собирает больше информации о тёмных участках кадра чтобы минимизировать шумы — пиксели, где по каким-то причинам собрать достаточно информации о цвете объекта не получилось.

Рис. 4. Стекинг по времени, режим HDR

Рис. 4. Методом стекинга по времени реализован режим HDR

Наложение снятых с одной точки кадров даёт тот же эффект длинной выдержки как со звёздами выше. Экспозиция десятков кадров суммируется, ошибки на одном замещаются другими кадрами.
Оставалось только решить проблему автоматической цветокоррекции — снятые в темноте кадры обычно получаются жёлтыми или зелёными, а мы хотим сочности дневного освещения. В ранних версиях HDR+ это решали простым подкручиванием настроек, как в фильтрах а-ля инстраграм. Позже на помощь пришли нейросети — подобные тем, что используют для превращения черно-белых фотографий в цветные. Сейчас это не сложно.

Так появился Night Sight — технология «ночной фотографии» в Pixel 2 и 3. В описании так и говорят: «machine learning techniques built on top of HDR+, that make Night Sight work». По сути ими вытягивают цветокоррекцию. Машину обучили на датасете фоточек «до» и «после», чтобы из всякого набора тёмных кривых фотографий делать одну красивую.
В конце 2019 года в iPhone тоже появился ночной режим, который технически работает точно так же.

Рис. 5. Стекинг по фокусу в макро

Рис. 5. Стекинг по фокусу в макро

Фото стекинг по фокусу – управление глубиной резкости. Идея позаимствована из макросъёмки, где малая глубина резкости всегда была краеугольным камнем. Чтобы сделать резким весь объект съёмки необходимо сфоткать несколько снимков плавно сдвигая фокус, а затем склеить снимки в единый в редакторе. Всё это также стало доступно в камерах смартфонов. В 2013-м выходит Nokia Lumia 1020 с «Refocus App», а в 2014 и Samsung Galaxy S5 с режимом «Selective Focus». Работали они по одной и той же схеме: по нажатию на кнопку они быстро делали 3 фотографии — одну с «нормальным» фокусом, вторую со сдвинутым вперед и третью со сдвинутым назад. Программа выравнивала кадры и позволяла выбрать один из них, что преподносилось как «настоящее» управление фокусом.

Карта глубины 

Карта глубины кадра позволяет камере смартфона понять какое расстояние до каждого объекта съёмки. Имея карту глубины можно легко отделить основной объект фокусировки от фонового изображения и в дальнейшем обработать его. Например, фон можно размыть, создав красивое боке.

Рис. 6. Размытие фона

Рис. 6. Мягкое размытие фона

Многие любят полнокадровые зеркалки и беззеркалки именно за возможность отделения объекта фокуса от заднего плана, при этом размытого в красивом боке.
Мои многочисленные попытки сделать программное размытие в редакторах не дало удовлетворительного результата. При этом, они ещё и отнимали много времени на выделение объектов.

Создать карту глубины кадра можно несколькими способами.

Лидары. Лидары – это устройства, позволяющие измерять расстояния до объектов. Их отличие от радаров в том, что действуют они в видимом спектре излучения, а не в радиочастотах, как радары. Своей популярностью лидары обязаны разработкам в области автомобилей с автономным управлением.

В смартфон лазерный лидар не впихнуть, потому разработчики обходятся его младшим братом — time-of-flight камерой. Состоит этот девайс из специальной отдельной камеры, над которой стоит LED-вспышка. Вспышка делает много импульсов, а камера фиксирует отражённый сигнал. На основе этих данных строится карта глубины кадра.

Точность мобильных лидаров — до сантиметра. Флагманские смартфоны используют их для создания боке и для лучшей работы автофокуса в темноте.

Рис. 7. Пленоптическая матрица.

Рис. 7. Пленоптическая матрица.

Пленоптические камеры. Суть этой технологии в том, что пиксели матрицы разбиваются на кластеры и каждый кластер накрывается своей микролинзой. Изображение проецируется на линзу и рассеивается ей на все ячейки (пиксели) кластера. Каждый пиксел кластера содержит как бы материнское изображение, но с небольшим смещением. Если собрать итоговое изображение из, например, первых пикселей кластера, то получится нормальное изображение. Если то же самое проделать со вторыми пикселями кластера, то тоже получится нормальное изображение, но со смещением, снятое как бы с другой точки пространства. Чем больше пикселей в кластере, тем больше как бы точек съёмки. А это, в свою очередь, даёт возможность составить карту глубины кадра. Чем больше смещение изображение у альтернативных пикселей в кластере, тем дальше отстоит один объект от другого.

Рис. 8. Изображения с плеоптической камеры.

Рис. 8. Изображения с плеоптической камеры.

Пионером этой технологии была компания Lytro, недавно её приобрёл Google и «растворил» в себе, но использовал их наработки для своей камеры Pixel. Начиная с Pixel 2 камера впервые стала «немного» пленоптической, т.к. кластер состоит всего из двух пикселей. Это дало возможность Google обойтись всего одной камерой и составлять карту глубины кадра исключительно по одной фотографии.
На рис. 8 представлены изображения с первого (слева) и второго пиксела (в центре) кластера. Правая картинка представляет собой анимацию двух слоёв. На ней видно, что фон смещён.

Есть и много других, пока малоизвестных, но интересных задумок самой раскрученной из которых является технология дополненной реальности.

Технология дополненной реальности 

Рис. 9. Технология дополненной реальности.

Рис. 9. Технология дополненной реальности.

Технология дополненной реальности (англ. augmented reality, AR) развивается достаточно давно, например, я воочию познакомился с ней на выставке «Mercedes-Benz fashion week russia» в марте 2017 г. Прошло более 4-х лет, но до сих пор технология дополненной реальности выглядит как игрушка: как способ примерить кроссовки или иную одежду, увидеть как будет смотреться макияж и т.п. И хотя некоторые обзорщики считают, что за технологией дополненной реальности будущее, никакой области применения технологии AR кроме развлекательной не предлагается.

Применительно к фотографии технология дополненной реальности вообще не несёт ничего нового и захватывающего дух. Что она может дать? Заменить фон или добавить к картинке объект переднего плана. С этой задачей, в настоящий момент, отлично справляется хромакей (англ. chroma key, chromakey – цветовой ключ) и городить более дорогостоящий огород нет никакого смысла.

Промежуточные итоги 

Для подведения окончательных итогов, пожалуй, следует сравнить возможности камеры смартфона из среднего ценового сегмента с бюджетной зеркалкой. И хотя абсурдность такого сравнения, на первый взгляд, очевидна, не будем бежать впереди паровоза и опубликуем результаты в следующей статье.

А пока выразим свою позицию относительно написанного. Часто обзорщики придерживаются примерно такой позиции:

Похоже, камеры смартфонов скоро окончательно потеснят «зеркалки», которые станут нишевым продуктом для энтузиастов и профессионалов. При этом дорожать смартфоны будут именно за счет фотокамер и технологий, связанных с фото и видео съёмкой.
Дополненная реальность и вычислительная фотография в смартфонах — ближайшее будущее, которое уже почти здесь. Выглядеть это будет так: вы сканируете пространство с помощью лидара, получаете 3D-версию кадра и добавляете в него объекты из дополненной реальности. Может, нейросети даже будут сами дорисовывать детали и подкрашивать реальность за вас.
Этот момент станет переломным: вместо того, чтобы максимально точно фиксировать реальность, фотография будет приукрашивать или менять её до неузнаваемости. Хотя, по большому счёту, так уже происходит: когда камера улучшает ваши селфи, а приложение накладывает фильтры или маски дополненной реальности на фото и видео.

Идей, проектов и даже готовых технологий создаётся великое множество, но, чтобы выжить она должна быть востребованной, востребованной у конечного пользователя, который должен проголосовать за неё рублём, а точнее долларом. На хайпе просто в качестве развлечения долго не протянешь. Полнокадровые зеркалки и беззеркалки позволяют зарабатывать своим хозяевам. Фоточки или видео со смартфонов не являются достойной альтернативой. Блогеры, иногда, позволяют себе снимать на камеру смартфона, но стараются выкладывать такие видео на альтернативных каналах. При столь высокой конкуренции пользователь ценит качество: качество съёмки, качество операторской и актёрской работы, качество монтажа и спецэффектов, качество сценария. Съёмка на камеру смартфона была хайпом какое-то время назад, но в этом вопросе публика консервативна и у меня нет сведений, что какой-то профессиональный фотограф решился снять фотосессию (или свадьбу) на камеру смартфона.

Одно дело привлечь средства в технологию на этапе стартапа, совсем другое – сделать технологию зарабатывающей. И если с автономным автотранспортом всё понятно, поэтому мы и видим огромное количество разработок в этой области, то как будут зарабатывать развлекательные технологии совсем не очевидно.

Создавать что-то новое могут только нейросети человека, искуственные – только обучаться на его достижениях. Чрезмерное развитие нейросетей вообще может убить прогресс.

С другой стороны, никто и ничто не мешает производителям традиционных фотокамер (зеркалок и беззеркалок) перенести зарекомендовавшие себя технологии на свои камеры. Такое, впрочем, делается. Например, RAW (NEF у Nikon) позволяет преобразовать цвета изображения в большое количество стандартных предустановок, а также создать свои. В фотокамерах Nikon присутствуют режимы мультиэкспозиции, HDR, фокусировки по глазам и даже по глазам животных и мн. др. По сути современная камера дрейфует в сторону смартфона и в ближайшем будущем станет им – не по размерам, а по функционалу.

Нейросети о которых так много говорят, имеют ряд ограничений. Например, они нуждаются в обучении. А на чём их обучать, если никто не хочет ничего делать ручками и всё старается автоматизировать. Надо понять одну важную вещь, созданные человеком нейросети не способны творить и могут лишь выбирать наилучшую альтернативу из имеющегося набора в базе. Да, если обучить нейросеть пилотированию на образцах лучших пилотов, то, вероятно, мы будем иметь бесконечное множество первоклассных пилотов, но только на момент создания (на существующей технологической базе). Новые люди пилотами просто не станут и пополнять базу новыми примерами станет невозможно. Если создать технологически новые аппараты, то пилотировать их будет попросту некому. Старые нейросети не смогут их освоить, а пилотов людей – нет. Прогресс и эволюция остановятся. То же и в области цветокоррекции и вообще фотографии.

Создавать что-то новое могут только нейросети человека, искуственные – только обучаться на его достижениях. Чрезмерное развитие нейросетей вообще может убить прогресс.

Другой важный аспект – это использование нейросетей для улучшения качества фотографий. Логика работы нейросети примерно следующая. Смазанное или нечёткое фото, сделанное на камеру смартфона, заменяется нейросетью на более качественное и похожее фото сделанное кем-то и когда-то. Во время презентации подобной технологии всё выглядит просто Wow, и, наверняка, найдётся много желающих купить смартфон с такой камерой, особенно если «кухня» технологии будет искусно скрыта маркетологами.

Но давайте задумаемся, подменное фото, пусть и хорошего качества – это не то фото, что сделал я. «Остановись мгновение …» – сказал фотограф и нажал кнопку спуска. А какое мгновение будет запечатлено на обработанном нейросетями снимке? «Нельзя дважды войти в одну реку» – это сказано о времени, с течением которого всё видоизменяется. И пусть достопримечательность на фоне которой я сделал своё селфи на 99,9% похоже на ту, что подставила мне нейросеть, это не та достопримечательность, которую видел я.
А эмоции?! Для человека фотография – это прежде всего эмоции. Когда он смотрит на свой снимок в подсознании оживает множество информации и самое главное эмоциональный фон, на котором делался снимок, именно поэтому мы видим на своих фотках то, чего не видят другие. Если моё фото делалось на позитивных эмоциях и несёт в себе положительно заряженную энергетику, то какими эмоциями и энергетикой заряжено фото, подставленное нейросетью? Вопрос!

К сожалению, вопросов слишком много, а удовлетворяющих меня ответов на них нет, именно поэтому я купил лучшую на сегодняшний день зеркальную фотокамеру Nikon D780 и продолжаю пополнять коллекцию объективов к ней.

На этой оптимистичной ноте позвольте откланяться и закончить данный обзор. А вы, мой читатель, читайте продолжение – сравнение качества фотографий бюджетной зеркалки и среднесегментной камеры смартфона.