Как на смартфоне делается 100 мегапикселей

Цифровая стабилизация изображений

Стабилизация изображения – это технология, позволяющая камере скорректировать размытость, возникающую при небольших движениях камеры при съёмке. Эта технология используется, например, в камерах смартфонов для устранения смазанности изображения из-за дрожания руки при съёмке[1].

В современных смартфонах применяются три основных метода стабилизации изображения – механическая, оптическая и цифровая стабилизация.

Механическая и оптическая стабилизация заключаются в механическом демпфировании камеры, либо её объектива, относительно корпуса смартфона. В настоящее время технология уже считается устаревшее и используется только в бюджетных моделях смартфонов.

1

Рисунок 1. Оптическая стабилизация (источник: mobiguru.ru).

 Цифровая стабилизация использует специальные сенсоры, которые определяют микро-движения камеры при помощи гироскопа. Как только они замечают движение, камера вносит небольшую задержку в момент снимка, который делается только в момент относительной неподвижности.

Кроме того, при цифровой стабилизации могут использовать программные методы повышения резкости изображения.

2

Рисунок 2. Цифровая стабилизация изображения (источник: coolblue.nl).

Применение нейросетей для цифровой стабилизации

В последние годы для цифровой стабилизации стали использоваться свёрточные нейронные сети CNN (Convolutional Neuro Network)[2].

Для фотографических изображений нейронные сети уже применялись для решения таких задач, как стилизация изображения (stylization)[3] и устранение размытости (deblurring)[4].

В настоящее время разрабатываются методы цифровой стабилизации при помощи нейронных сетей для видеоизображений. Нейронная сеть CNN обучается предсказанию трансформации параметров для каждого нового нестабильного кадра, на базе истории уже стабилизированных кадров. Стабилизированные кадры действуют как исторические кадры для стабилизации входящих нестабильных кадров.

3

Рисунок 3. Цифровая стабилизация изображений на безе нейронной сети (источник: arXiv:1802.08091v1 22 Feb 2018).

Вышеизложенное немного проясняет, за счёт чего достигается разрешение камер некоторых современных смартфонов на 100 мегапикселов с микроскопической матрицей, в то время как фотоаппараты с полнокадровой матрицей (24х36 мм) и с таким же разрешением стоят сотни тысяч рублей[5].

5

Рисунок 4. Размер матрицы полнокадровой фотокамеры.

Такое супер-разрешение у смартфонов, размеры матрицы которого физически не позволяют достичь такого количества мегапикселов (по простому говоря, ещё на научились делать такие маленькие пикселы), достигается путем различных ухищрений: программных, аппаратных и нейросетевых. За счёт этого удаётся достичь более высокой четкости контрастных краёв предметов, и поэтому создаётся впечатление, что изображение имеет более высокое разрешение.

Физического количества 100 миллионов пикселов на крошечной матрице в смартфоне достичь невозможно, будь их там даже пять, как в последних флагманских моделях. Пока оно возможно только у полнокадровых фотокамер.

***

4

[1]https://www.coolblue.nl/en/advice/optical-and-digital-image-stabilization.html

[2] Miao Wang, et al. “Deep Online Video Stabilization” (arXiv:1802.08091v1 [cs.GR] 22 Feb 2018).

[3] H. Huang, et al.“Real-time neural style transfer for videos,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 783–791.

[4] S. Su, et al. “Deep video deblurring,” (arXiv:1611.08387, 2016).[5] https://pixel24.ru/catalog/view/id/46079

About Алексей Шалагинов

Независимый эксперт
Gallery | This entry was posted in Ликбез, Технологии and tagged , , , , . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.