Аудио в играх

Исследования показывают: при отключении звука эмоциональная вовлечённость в игру падает на 30%. Half-Life 2, The Last of Us, Red Dead Redemption 2 - игры, которые сформировали эмоциональную память поколений, во многом благодаря звуку.

• **Red Dead Redemption 2** (Rockwell): 60 000+ аудио-ассетов, Wwise, процедурная система ambient звуков для каждой экосистемы - каждый регион звучит уникально
• **Microsoft Flight Simulator 2020**: процедурная генерация звука двигателей через физические модели - не записанные сэмплы, а синтез на основе данных о thrust, RPM, air pressure
• **Gran Turismo 7**: 400+ автомобилей, каждый с уникальным звуком на всех режимах - невозможно без процедурного синтеза и FMOD автоматизации

Пространственный звук: HRTF и 3D позиционирование

2004 год. Half-Life 2. Гейм-дизайнер Valve Марк Лэйдлоу написал в пост-мортем: 'Звук работы в команде сделал шутер тактическим'. Стрельба за углом слышна. Гранаты слышны раньше, чем видны. Пространственный звук превратил игру в информационную систему.

HRTF (Head-Related Transfer Function) - математическая модель того, как ухо воспринимает звук из разных направлений. Фильтруется через форму ушной раковины, голову, торс. Результат: мозг определяет 3D позицию источника через наушники. Microsoft Spatial Sound, Dolby Atmos для игр - все основаны на HRTF.

ML-применение: Valve Research (2023) представили систему генерации HRTF под конкретную форму головы пользователя через фото. Персонализированный HRTF улучшает локализацию звука на 40% по сравнению с усредненным. Архитектура - encoder фотографии + MLP для предсказания filter coefficients.

Адаптивная музыка: состояния и переходы

The Last of Us Part II. Когда Joel и Ellie прячутся от infected, музыка меняется. Не просто fade - она перестраивается на ходу: ударные пропадают, остаётся только низкочастотная подложка. Затем конфликт - и моментально полный оркестр. Это не монтаж треков. Это adaptive music.

Adaptive music работает через конечный автомат состояний. Combat, stealth, exploration, cutscene - каждое состояние имеет свой music layer или theme. Переходы между ними синхронизированы по музыкальным долям (bars, beats) чтобы не было резких обрывов. Wwise Music Switcher реализует это через иерархические Music Segment groups.

SFX: procedural и sampled звуки

Sound Effects в играх делятся на два класса. Sampled: записанные реальные звуки (шаги, выстрелы, голоса). Procedural: синтезированные в реальном времени (двигатель автомобиля, ветер, вода). Gran Turismo 7 синтезирует звук каждого из 400+ автомобилей процедурно - иначе хранить 8000+ часов аудио для всех скоростей и нагрузок невозможно.

Randomization - ключ к живым SFX. Один и тот же звук шага 50 раз подряд - мгновенно заметная монотонность. Решение: pitch variation (±5-10%), volume variation (±3dB), случайный выбор из пула вариантов (4-8 записей одного звука). Call of Duty имеет 6-8 вариантов каждого шага для каждого материала поверхности.

FMOD и Wwise: middleware для серьёзных проектов

Red Dead Redemption 2. 300+ звуковых дизайнеров. 60 000+ уникальных аудио-ассетов. 5 лет разработки. Rockstar использует Audiokinetic Wwise. Не потому что встроенные инструменты не работают - а потому что для такого масштаба нужны профессиональные инструменты с visual authoring, hot-reload и profiler.

FMOD Studio и Wwise - два лидера рынка game audio middleware. Оба предоставляют: визуальный редактор audio events и states, RTPC (real-time parameter control), dynamic mixing, spatial audio processing, profiler. FMOD: проще освоить, лучше документация, немного дешевле. Wwise: мощнее для больших AAA проектов, интерактивная музыка, HDR audio.

Бизнес-модель: FMOD Studio - бесплатно до 200 тыс. долларов дохода от игры, затем лицензия. Wwise - бесплатно для проектов до 200 звуков, затем лицензия. Большинство AAA игр (от BioShock до Cyberpunk 2077) используют один из них. Выбор встроенного движкового аудио (Unity Audio, Unreal Audio) - правильный для инди и небольших проектов.

Связанные темы

Game audio пересекается с несколькими областями:

• Game UI и UX — UI звуки (клики, transitions) - часть аудио системы
• Game Physics — Collision events и материалы поверхности используются для выбора SFX

Ключевые идеи

• **Spatial Audio**: HRTF + distance attenuation + Doppler. spatialBlend=1.0 в Unity. Персонализированный HRTF улучшает локализацию на 40%.
• **Adaptive Music**: конечный автомат состояний + Music Switcher. Beat-synced transitions. RTPC для динамических параметров (интенсивность, близость врага).
• **SFX design**: sampled vs procedural. Pitch/volume randomization + pool вариантов. Процедурный звук двигателя через RPM и throttle параметры.
• **Middleware**: FMOD Studio (проще) vs Wwise (мощнее для AAA). Главное преимущество - visual editor с hot-reload для звуковых дизайнеров.

Вопросы для размышления

• Как отключение звука влияет на восприятие Horror игр? Почему sound design критичнее для horror чем для action?
• Процедурный звук двигателя vs записанные сэмплы: где граница реалистичности? Какие параметры нельзя передать процедурно?
• FMOD/Wwise добавляют зависимость от стороннего middleware. Как это влияет на long-term поддержку игры при обновлениях движка?

Связанные уроки

• gd-14 — Базовые концепции игрового движка необходимы для понимания audio pipeline
• gd-16 — Аудио UX - часть общей Game UI/UX системы
• net-03-physical — Физика звука (волновое уравнение) аналогична физике радиоволн на уровне DSP
• gd-12 — Физика в играх влияет на аудио - reverb, материалы, коллизии
• la-01-vectors-intro