Снять фото в почти полной темноте — это всегда компромисс: либо кадр шумный и «сыпется», либо алгоритмы вылизывают картинку так, что мелкие детали превращаются в гладкую кашу. В декабре 2025 года исследователи Apple показали, что у этой проблемы может быть другой выход: не просто сильнее «чистить» готовую фотографию, а встроить генеративную модель в саму цепочку обработки сигнала камеры.

Речь не о новой функции iPhone «на следующей неделе», а о научной работе. Но она хорошо объясняет, почему ночная фотография упирается не только в железо, и как ИИ может вытащить детали из данных сенсора, которые раньше считались почти потерянными.

Кто, что, когда и где показал

Кто: команда исследователей из Apple совместно с Purdue University.

Что: метод DarkDiff — подход к улучшению экстремально тёмных снимков на уровне «сырых» данных (RAW) и встраивание ИИ-модуля в ISP.

Когда: о работе рассказали 19 декабря 2025 года, а сама статья выложена на arXiv.

Где это применимо: в теории — в камерах и смартфонах, где есть классический ISP (Image Signal Processor, процессор обработки сигнала) и достаточно вычислений.

Зачем: чтобы в очень слабом освещении получить резкость, фактуру и цвет без характерного «масляного» сглаживания.

Почему темнота ломает картинку и что делает ISP

Сенсор камеры «считает» фото по фотонам. В ярком свете их много — сигнал уверенный. В темноте фотонов мало, и случайные ошибки (шум) становятся сравнимы с полезным сигналом.

Обычный ISP проходит цепочку шагов: демозаика (сбор цвета из байеровской мозаики), баланс белого, коррекция цвета, шумоподавление, тон-маппинг и прочие этапы. Когда шума слишком много, классические алгоритмы начинают действовать грубо: сглаживают всё подряд. Глазу кажется, что «шум ушёл», но вместе с ним исчезают буквы на вывеске, текстура ткани, мелкая листва, границы объектов.

В этом и главный конфликт: убрать шум — легко, сохранить правду сцены — трудно.

Идея DarkDiff: генеративная модель как часть камеры, а не «фильтр после»

DarkDiff предлагает переставить акценты. Ранние стадии ISP всё равно нужны: они приводят сырой сигнал сенсора в понятный вид (линейный RGB). А дальше в работу вступает ИИ, который не просто усредняет пиксели, а пытается восстановить детали, учитывая контекст сцены.

Ключевой ход — «перенацелить» (retask) уже обученную диффузионную модель, близкую по природе к Stable Diffusion. То есть взять генеративный интеллект, который видел огромное количество изображений, и научить его работать с задачей: из шумного линейного RGB прийти к финальному sRGB, не выдумывая лишнего.

Звучит рискованно, потому что генеративные модели умеют «галлюцинировать». Поэтому авторы добавляют механизм, который держит локальную структуру под контролем: внимание считается не «по всей картинке сразу», а по небольшим участкам. Это помогает сохранить границы и мелкие элементы, которые часто ломаются при глобальной «дорисовке».

Ещё один регулятор — classifier-free guidance. Проще говоря, это ручка «насколько слушаться входной фотографии». Слабое значение даёт более гладкий результат. Сильное — вытягивает фактуру и резкость, но повышает риск артефактов.

Как проверяли и сколько света «не хватало»

Метод тестировали на реальных ночных фото. Один из ярких примеров — съёмка камерой Sony A7SII с экспозицией 0,033 секунды (почти мгновенно) и сравнение с эталоном, снятым на штативе с выдержкой в 300 раз длиннее.

Кроме отдельных примеров, были тесты на трёх «тяжёлых» датасетах для экстремально низкой освещённости: SID, ELD и LRD. В отчёте подчёркивается улучшение по метрике perceptual quality (LPIPS) и конкурентные показатели по «точности восстановления» (PSNR). По-человечески это означает: изображение выглядит естественнее, при этом не превращается в слишком свободную фантазию.

Почему это пока не функция iPhone

У подхода есть цена — вычисления. Диффузионные модели тяжёлые, а камера в смартфоне живёт в режиме «сделал кадр — сразу готово». Авторы прямо отмечают: такой процесс медленнее традиционного ISP и в реальном устройстве может слишком быстро разряжать батарею. Потенциальный обходной путь — облачная обработка, но тогда появляются задержки и вопросы приватности.

Есть и более приземлённый нюанс: в сценах с текстом (особенно не на английском) генеративная реконструкция может ошибаться. Для ночных фото это критично: вывески, номера машин, мелкие надписи — как раз то, что люди хотят «спасти».