В начале 1931 года на киностудии «Ленфильм» Шолпо при участии Георгия Римского-Корсакова создает звуковую дорожку короткого агитационного фильма «1905 год в буржуазной сатире» (режиссер Ной Галкин, композитор Владимир Дешевов). Метод тот же — перемонтаж записанных ранее натуральных звуков. В том же году они создают несколько экспериментальных орнаментальных звуковых дорожек.
Осенью 1931 года режиссер Эдуард Иогансон предложил Шолпо записать графическую звуковую дорожку к своему новому фильму «Темпы решают». Специально для этой цели Бюро реализации изобретений киностудии «Ленфильм» согласилось финансировать строительство первой версии вариофона, который был, наконец, построен Шолпо вместе с Георгием Римским-Корсаковым в 1931 году.
Прибор позволял синтезировать искусственные звуковые дорожки в технике автоматизированного «бумажного звука». В отличие от Авраамова, Шолпо больше не применяет мультипликационный станок. В инструменте использованы вращающиеся диски с вырезанными зубцами формы звуковой волны (трансверсальный контур), периодически прерывающие луч света, формирующий очертания звуковой дорожки. Съемка производится непосредственно на движущуюся пленку с помощью специальной трансмиссии, передающей вращение электромотора, приводящего в движение контур, к механизму, протягивающему пленку. Соотношение скоростей вращения и протягивания определяет период записываемого колебания. Темперированную шкалу 12 ступеней в октаве получают посредствам специальной коробки передач, глиссандо и микрохроматику — с помощью конического вариатора.
Евгений Шолпо работает с первой версией вариофона. Ленинград. 1932. Личный архив М. Е. Шолпо
В процессе работы вариофон не издает никаких звуков. Создание звуковых дорожек происходит путем последовательного расчета и записи отдельных нот и событий, процесса, который занимал порою несколько месяцев. Создание полифонических произведений осуществлялось методом многократной экспозиции, а результаты работы можно было услышать только после финальной проявки кинопленки.
В дальнейшем в инструменте была применена специальная система, позволяющая синхронизировать все партии, а также контролировать текущее положение в партитуре в процессе записи музыки на кинопленку без возможности слухового контроля.
Части первой версии инструмента были связаны бечевкой, скреплены шурупами и настраивались с помощью специальных веревок. Тем не менее, в сравнении с поздними версиями, первая модель обеспечивала замечательное качество и сложность синтезированного звука. Вариофон допускал произвольное изменение высоты тона, возможности получения глиссандо, вибрато, оттенков, изменения силы звука, построения многоголосных аккордов (до 12 одновременно звучащих голосов).
В конце лета 1932 года Шолпо и Римский-Корсаков создают звуковую дорожку для нового цветного мультфильма «Симфония мира» Эдуарда Иогансона и Георгия Баньковского, а осенью 1933 года они записывают звуковую дорожку для учебного фильма «Карбюрация», музыку к которому написал Георгий Римский-Корсаков. Чуть позднее появляются на свет «Вальс» Н. Тимофеева (композитор фильма «Энтузиазм» Д. Вертова), «Полет Валькирий» Р. Вагнера, 6‐я рапсодия Ф. Листа.
При очевидном сходстве этих работ с опытами Венди (Уолтера) Карлос (Switched-on Bach, 1968) и звучании, напоминающем современную eight-bit music, было одно фундаментальное отличие — ритм. В своей работе Шолпо использовал приборы мелограф и автопианограф[334], созданные им в период работы в Государственном институте истории искусств. В то время как большая часть популярной электронной музыки 1960–1970‐х имела жестко фиксированный ритм, технология Шолпо позволяла моделировать самые тонкие ритмические нюансы живого исполнения — рубато, раллентандо, аччелерандо.
Несмотря на то, что работа с вариофоном проходит успешно, в марте 1935 года киностудия «Ленфильм» прекращает финансирование проекта Шолпо. К счастью, в том же году Борис Красин, назначенный комиссаром советского музыкального отдела Всемирной выставки в Париже 1937 года, приглашает Шолпо принять участие в экспозиции с программой синтетической музыки. Одновременно Шолпо был приглашен принять участие в работе только что созданной АНТЕС. На некоторое время Шолпо получает хорошее финансирование и дополнительный штат сотрудников. Однако вскоре после смерти Красина в 1936 году председатель Комитета по делам искусств при Совнаркоме СССР Платон Керженцев парижский проект Шолпо закрывает.
Конструкция вариофона Евгения Шолпо, третья версия. Конец 1930-х. Личный архив М. Е. Шолпо
Летом 1937 года Шолпо удается провести показ своих работ в Москве для специальной комиссии, включавшей самых авторитетных советских музыкантов и исследователей из Московской государственной консерватории и института НИМИ — Николая Гарбузова, Александра Гольденвейзера, Александра Гедике и Петра Рязанова. Заключение комиссии было вполне позитивным, а Гедике и Гарбузов написали дополнительно собственные рецензии.
Однако это не производит впечатления на председателя Комитета по делам искусств Платона Керженцева, в официальном статусе лаборатории Шолпо ничего не меняется, финансирование лаборатория так и не получает. Тем не менее, после октября 1937 года институту НИМИ удалось продлить договор на развитие вариофона с Шолпо. В 1938 году после некоторых изменений в руководстве института и Комитета по делам искусств (отставка Платона Керженцева), проект Шолпо вновь получил поддержку. В 1941 году, незадолго перед тем, как Вторая мировая война пересекла границы СССР, Шолпо была присуждена степень доктора искусств.
В 1939 году Евгений Шолпо и Борис Янковский решают объединить усилия, основав лабораторию графического звука в Ленинграде. Штат лаборатории включал самого Шолпо (руководитель), Янковского (ученый-изобретатель), Титмана (помощник-фотограф) и Игоря Болдырева (композитор-исследователь). Основные виды деятельности лаборатории должны были быть сосредоточены на записи новых звуков, созданных методом синтонов Бориса Янковского.
Библиотека звуков (оптических дисков) для вариофона первой версии. 1932. Личный архив М. Е. Шолпо
В 1939–1941 годах Шолпо написал книгу «Теория и практика графического звука»[335]. Одна глава книги «Акустический синтез музыкальных красок»[336] была написана Янковским. Работу над публикацией и развитием лаборатории прервала Вторая мировая война — исследования остановились, книга осталась неопубликованной.
В 1941 году в блокадном Ленинграде Евгений Шолпо совместно с композитором Игорем Болдыревым озвучивает мультипликационный фильм «Стервятники». В качестве «гонорара» авторы получают мешок овса — настоящее сокровище в осажденном городе[337]. 31 января 1943 года вторая версия вариофона погибает от снаряда, попавшего в здание.
После войны, в 1946 году, Шолпо становится директором новой Научно-исследовательской лаборатории графического звука при Государственном научно-исследовательском институте звукозаписи в Ленинграде. Однако, несмотря на то что лаборатория Шолпо располагала помещением, финансированием и штатом, работа не шла. Еще в 1939 году Шолпо начинает разработку третьей версии вариофона, который был почти закончен к 1941 году, но так и остался не вполне функциональным до 1946 года из‐за нескольких критических ошибок в его конструкции. Последняя, четвертая версия вариофона так и не была закончена, несмотря на очень интересные исследования в области музыкальной интонации и математического моделирования ритма и временных особенностей живого музыкального исполнения, проведенных Игорем Болдыревым. Не имея навыков в управлении и ведении бухгалтерии, Шолпо «увяз» в документах и бюрократии.
Вариофон, вторая и третья версии. Конец 1930‐х. Личный архив М. Е. Шолпо
В 1948 году Евгения Шолпо снимают с должности директора, лабораторию переводят в Москву, а в 1950 году — закрывают решением специальной комиссии в составе Т. Хренникова, А. Пузина, А. Плановского, Н. Беспалова, В. Кеменова. 5 января 1951 года Евгений Шолпо умирает.
Архивы лаборатории графического звука частично были переданы в акустическую лабораторию Московской консерватории. В середине 1970‐х они были выброшены вместе с другими «ненужными» архивами, старыми акустическими устройствами и множеством макетов Льва Термена, оставшихся после его изгнания из Московской консерватории в 1972 году. К счастью, сотрудники акустической лаборатории спасли большую часть архива и передали его в Термен-центр после его образования в 1992 году. Сотни исторических документов сохранились в личном архиве Марины Шолпо, дочери изобретателя. Больше часа графических звуковых дорожек были обнаружены и сохранены историком кино Николаем Изволовым. В настоящее время они находятся в Красногорском архиве кинофотодокументов.
По замечательному стечению обстоятельств программа графического звука все‐таки была представлена в Париже семьдесят лет спустя в октябре 2008 года в рамках экспозиции «Sound in Z» в музее современного искусства Palais de Tokyo, здание которого было построено в 1937 году специально для французского павильона Парижской всемирной выставки.
6.5. Борис Янковский и синтетическая акустика
В 1931–1932 годах молодой художник и акустик Борис Янковский (1905–1973) входил в штат лаборатории «Мультзвук» Арсения Авраамова. В 1932 году, разочаровавшись в технике «орнаментального звука», Янковский покидает группу и создает собственную лабораторию. В то время как Авраамов целиком посвятил себя экспериментам с ультрахроматизмом, Янковский пришел к созданию принципиально новых техник спектральных трансформаций и синтеза звука. Он писал позднее:
«В январе 1931 года, войдя в группу “рисованного звука” А. Авраамова, я думал начать работу с изучения сложно-синусоидальных тембров симфонического оркестра и с синтеза. Но основной курс нашей лаборатории был в течение двух лет на “Вельттон-систему” и заняться этой специфической задачей тогда не пришлось. После роспуска группы, еще 2 года прошли в борьбе идеи синтеза за свое существование: делались доклады, строились в Н [аучно] И [исследовательском] Кино-фото Институте деревянные модели станков для заготовки и съемки на пленку синтетических графиков и — наконец — 1‐й этап синтеза»[338].
В декабре 1932 года Янковский подает заявку на изобретение собственного метода синтеза звука. В 1933 году ему предлагают организовать лабораторию синтетической звукозаписи на киностудии «Мосфильм», где в 1934–1935 годах с помощью одной из первых советских систем оптической записи звука «Кинап» он создает большую коллекцию фонограмм («сэмплов») инструментов симфонического оркестра Большого театра, а к 1936 году рассчитывает и вычерчивает библиотеку из 110 синтезированных шаблонов «синтонов».
Он занимается исследованием методов спектрального анализа, декомпозиции и ресинтеза звука, мечтая о создании новой науки «синтетической акустики». Янковский, в отличие от большинства своих коллег, ясно понимает, что графический орнамент, определяющий форму звуковой волны, еще не определяет тембр. Только спектр звука, со всеми нюансами динамики переходных процессов, дает полную акустическую картину.
Он утверждал: «Пусть еще не вполне изучена учеными природа этих явлений; — нам важнее завоевать и расширить эту плавность оттенков, переливы цветов радуги в звуке, вместо монотонного колорита стационарных звучаний геометрических фигурок.
Предпосылку к расширению этого явления — жизни внутри звукового спектра — дает сама природа музыкальных инструментов, а — “природа — лучший наставник”, — как говорил Леонардо да Винчи <…> навстречу тенденциям музыкального обновления идет техника, помогающая оформлению новых путей, на которые уже встает музыкальное искусство. Эта новая техника, способная помочь раскрепощению музыки от связанных с ней шумов и от какофонии темперации есть электро-акустика и на ее почве возникли “электро-музыка” и “графический звук”»[339].
Подход Янковского имел много общего с опытами немецкого исследователя Рудольфа Пфеннингера. Оба были, прежде всего, сосредоточены на акустике. По словам исследователя Томаса Левина, «Кривые Фишингера не получены из звука, они генерируют звук, тогда как кривые Пфеннингера находятся в результате анализа звука, который они в дальнейшем аналитически воссоздают <…> Кривые Пфеннингера — вовсе не орнаменты, но скорее, как справедливо отмечают многочисленные критики, “шаблоны или отпечатки”, то есть семиотические единицы, которые могут быть объединены для того, чтобы произвести звуки лингвистическим, так сказать, полностью технически управляемым способом. В отличие от непрерывных кривых Фишингера, кривые Пфеннингера являются дискретными единицами»[340].
Янковский пошел гораздо дальше, чем другие исследователи. Он был единственным пионером графического звука, разрабатывавшим методы спектрального анализа, декомпозиции и ресинтеза. Его графические кривые — «спектростандарты» — также являлись семиотическими единицами, комбинируя которые можно получить новые звуковые гибриды. Янковский верил в возможность создания универсальной библиотеки звуковых элементов, аналогичной таблице Менделеева. В своем исследовании он предложил методы гибридизации звуков, аналогичные технике спектральных мутаций (кросс-синтез): «Приоткрываются перспективы тембровых наплывов и тембровых вибрато, переходов из одной звуковой окраски в другую, невозможных в современном оркестре и сулящих новые горизонты композиторам»[341].
Янковский рассуждал: «…идея синтеза возникла у меня еще в процессе кропотливого “рисованного звука” и вот в какой цепи соображений:
1. Окраска звука зависит от формы звуковой волны, график которой может быть разложен математически в ряд Фурье, т. е. на отдельные составляющие — синусоиды, а стало быть, и обратно — может быть гармонически сложен из синусоид же. Заниматься этим никому не приходило в голову просто потому, что до появления графического (или рисованного) звука отсутствовала самая техника и методология воспроизведения звука с подобного рода акустических графиков.
2. Подобно электронам (нейтронам и протонам), количество которых определяет качество атома, синусоиды, как бы являются электронами, (нейтронами и протонами), количество которых образует качестве звука — его тембр.
3. Отсюда вывод: почему бы не положить начало новой отрасли знания — синтетической акустике, если только удастся хотя-бы эскизно составить таблицу звуковых элементов, подобную периодической таблице химических элементов Менделеева? Система оркестровых красок имеет пробелы в своих рядах, которые могут быть заполнены синтезом, подобно тему, как пробелы я рядах менделеевской таблицы заполнялись позднейшими открытиями в химии… Очевидно, что данный, подобный мичуринскому, метод селекции, скрещивания звуков и инструментов даст еще невиданные, неизведанные плоды-гибриды технически недостижимые для обычного оркестра…»[342].
В дополнение он разрабатывает ряд методов трансформации звука, включая технику изменения продолжительности звука не меняя его высоты и технику транспонирования, основанную на разделении спектрального состава и формант, аналогичных современным методам кросс-синтеза и фазового вокодера, широко применяемых в компьютерной музыке.
Владимир Солев писал в статье «Синтетический звук»: «После большой работы над анализом натуральных фонограмм, проделанной в научно-технической лаборатории Мосфильм, ставится проблема “растяжения” любого звука, или, наоборот, многократного помножения таких звуков, которые мы обычно слышим только очень бегло (например, некоторые согласные). При этом можно итти как по пути чистого мультипликационного анализа и синтеза, так и путем акустическим, обсуждавшимся не так давно в европейской кинотехнической печати по почину С. Зилка. Трудности заключаются в тембровых искажениях, которые теперь можно преодолеть только используя для “растяжения” оптимальную (сохраняющую тембр лучшей октавы инструмента) темброграмму Янковского. Решение задач такого рода представляет интерес не только для лингвистов, но и для разного рода научно-технических целей»[343].
Объясняя свои методы в ряде рукописей, Янковский намечает план исследований:
1) провести объективное исследование и классификацию звуковых спектров, существующих музыкальных инструментов;
2) исследовать спектральные переходы в динамично изменяющихся звуках, особенно во время установления колебательного процесса;
3) в соответствии с полученными результатами синтезировать сложные тембры из чистых синусоидальных тонов;
4) создать искусственные фонограммы и перенести их на пленку;
5) добиться независимого управления высотой звука, интенсивностью, продолжительностью и тембром;
6) получить независимое управление спектральным составом звука и его формантами;
7) разработать методы получения 72‐ступенной темперации;
8) разработать средства автоматизации всего процесса синтеза звука;
9) исследовать ритм и временные особенности живого музыкального исполнения и найти соответствующие методы математического моделирования артистической выразительности[344].
Для практической реализации своих работ Янковский изобрел специальный инструмент «виброэкспонатор». Для минимизации расчетов в процессе аддитивного синтеза сложных звуков он предложил свой метод синтонов, основанный на исследовании структурных сходств и различий акустических спектров звуков разных характеров. Для достижения своей цели Янковский решил проанализировать спектры специально записанных звуков, разделив их на классы в соответствии с общими свойствами спектров, соответствующих сходным тембрам. Выделив «спектральные шаблоны» — группы обертонов, отвечающих за сходство тембров, рассчитав и нарисовав их волновые формы, он предполагал построить библиотеку синтонов — графических элементов, необходимых для последующего синтеза звуков произвольного характера. Для этого он предлагал выбирать из библиотеки соответствующие синтоны, графически транспонировать их на требуемые частоты и микшировать в нужных пропорциях.
Описывая способ получения звука со сложной динамикой, Янковский предвосхитил современные методы быстрого преобразования Фурье (FFT), предложив использовать последовательность кадров, в каждом из которых звук статичен и представляет собой очередную фазу изменения тембра во времени. Непрерывность изменения звука достигается путем соединения отдельных кадров в непрерывную последовательность методом перекрестного затухания (cross-fade).
В 1935 году Янковский присоединяется к Автономной научно-технической секции (АНТЕС) Союза композиторов. После смерти Красина в 1936 году АНТЕС закрывают, Министерство культуры прекращает финансирование лаборатории Янковского. Ее передают в ведение Научно-исследовательского музыкального института Московской консерватории (НИМИ). Сотрудник НИМИ Андрей Володин разрабатывает специальную систему звукоусиления для виброэкспонатора[345], и к концу 1937 года Янковскому, наконец, удается озвучить свои синтоны. Работы Янковского и Володина отражены в Тематическом плане и смете расходов по акустическому разделу НИМИ за 1937 год:
«Электро-музыка и графический звук.
1) Исследование и конструирование электро-музыкальных инструментов. Действующий макет инструмента и статья. Исп. — Володин.
2) Синтетическая запись звука на пленке (без использования оркестра). 4 прибора и статья. Приборы “Вибро-Экспонатор”, “станок сквозящей копировки”, “фото-стол”, “Ритмограф”. Синтетическая фонограмма. Исп. — Янковский. Срок — 31, XII. Сумма по договору — 4800 руб.»[346].
В 1939 году Янковский объединяется с Евгением Шолпо. Возникает новая лаборатория графического звука при ленинградском Институте театра и кино. Янковский переезжает в Ленинград. Он рассчитывает закончить виброэкспонатор в 1940 году, но работа затягивается, и война нарушает все планы.
Борис Янковский. 1938. Личный архив М. Е. Шолпо
Во время войны Янковский и его семья были эвакуированы в Алма-Ату. Вернувшись в Москву из эвакуации в 1949 году, Янковский переключается на исследовательскую работу по акустике скрипок. Он работает на Экспериментальной фабрике смычковых инструментов в Москве, проводит серьезные исследования, за которые получает ряд государственных наград. К теме графического звука он больше не возвращается. В конце 1960‐х, посещая Московскую консерваторию, Янковский встречает звукооператора Льва Болотского — единственного человека, отнесшегося серьезно к его идеям, связанным с графическим звуком. Янковский дарит Болотскому свои рукописи, которые тот впоследствии передает в архив Термен-центра, и приглашает в свою лабораторию, где показывает ему большую картонную коробку, наполненную фотопластинками с записями синтонов. Это было приблизительно в 1970 году, незадолго до смерти Бориса Янковского. Никто не знает, что в дальнейшем произошло с этой коллекцией. Хочется верить, что сокровище все еще ждет удачливого исследователя.
6.6. Вычислительные методы в синтезе звука
Метод, предложенный Борисом Янковским, основан на исследовании общих структурных свойств и различий спектров звуков разного характера с целью максимально сократить количество вычислений, необходимых для реализации аддитивного синтеза. Для достижения цели Янковский решил:
1) провести спектральный анализ различных звуков;
2) получить данные о структурных особенностях спектров в зависимости от их характера;
3) разделить все звуки на классы согласно общим свойствам тембров и соответствующих свойств спектров и их динамики;
4) установить общие свойства звуков, принадлежащих к одному классу (например, наличие формант);
5) разделить спектры звуков на группы обертонов (спектральные шаблоны), ответственных за те или иные особенности характера звучания;
6) рассчитать и начертить волновые формы, соответствующие этим спектральным группам шаблонам;
7) построить библиотеку спектральных шаблонов в форме рисованных волновых форм для решения будущих задач синтеза звука.
Спектральные шаблоны Янковский также назвал «спектро-стандартами». Он ожидал, что, комбинируя и смешивая эти волновые формы, можно синтезировать любой желаемый звук. Таким образом, полагал Янковский, для конечной стадии звукового синтеза нет никакой необходимости иметь дело со спектрами, достаточно манипулировать заранее рассчитанными и созданными спектро-стандартами, выбирая их из библиотеки. Этими шаблонами можно манипулировать, варьируя их амплитуду и транспонируя на нужную высоту, изменяя их размеры оптическими средствами или путем математических расчетов, суммируя результаты оптически или посредством вычислений для получения окончательной волновой формы.
Метод, разработанный Янковским, был основан исключительно на математических вычислениях и обладал многими свойствами, характерными для современных цифровых технологий, такими как дискретизация и квантование звуковых сигналов и соответствующих спектральных данных, операции с базовыми примитивами (шаблонами), выбранными из базы данных. Эту технику можно рассмотреть как своего рода протокомпьютерную музыкальную технологию, основанную на вычислительных методах синтеза и обработки звука.
Для выполнения сложных математических вычислений формы волны и других важных параметров звукового синтеза и автоматизированного музыкального исполнения, таких как ритм, в штате лаборатории графического звука Бориса Янковского и Евгения Шолпо были специальные сотрудники, задача которых состояла в том, чтобы выполнять сложные математические вычисления.
Практические методы Янковского были основаны на анализе описаний спектров, доступных в литературе, случайных возможностях использовать первый в СССР спектроанализатор, приобретенный Первой московской фабрикой смычковых инструментов, а также на богатом практическом опыте, благодаря которому Янковский умел оценивать спектральный состав звуков, исследуя структуру формы волны. Янковский заметил, что острые резонансы приводят к появлению довольно очевидных высокочастотных колебаний в рельефе волновой формы. Измеряя частоту и относительную амплитуду этих колебаний при помощи специальной линейки, он мог дать грубую оценку формантной структуры звука.
В результате долгосрочного исследования Янковский установил, что все естественные звуки могут быть разделены на классы по характерным типам спектров и соответствующих акустических свойств источников, в числе которых:
1) особенности спектрального состава звука (например, преобладание четных или нечетных гармоник и т. п.);
2) наличие формант, отражающих резонансные свойства источника звука;
3) особенности переходных процессов в спектре, особенно во время атаки звука;
4) характерные амплитудные огибающие (атаки и затухания);
5) характерные процессы амплитудной и спектральной модуляции (например, различные формы вибрато).
Он также установил, что в пределах одного класса возможно выделить свойства, характерные для других классов. Янковский считал наличие общей форманты самой важной общей особенностью различных звуков в пределах одного класса.
В серии синтонов, названных Янковским «пятиобертонки», он предпринял попытку синтезировать узкие спектральные зоны, напоминающие острые форманты. Его идея состояла в том, чтобы вычислить формы волны, соответствующие наборам по пять соседних высоких гармоник, сгруппированных вокруг некоторой средней частоты с отсутствующими низкими гармониками, включая первую. Он ожидал, что, соединяя последовательно пятиобертонки и сегменты тишины с варьируемой продолжительностью, определяющей общий период волны, он сможет синтезировать звуки с различными высотами, зависящими от продолжительности пауз, в то время как частота форманты останется неизменной. Несмотря на то, что для чистоты опыта форма волны одного периода, включая промежуточный сегмент, должна быть вычислена согласно желаемому спектру, идея была вполне функциональна: на спектрограмме хорошо видна сильная фиксированная форманта, в то время как спектральное содержание зависит от основной частоты, хотя количество гармоник также зависит от основной частоты и в большинстве случаев не равно пяти. Эта идея дает возможность изменения высоты звука, а также создания сложной формантной структуры, независимой от высоты, с минимальным количеством вычислений.
Экспериментируя с оптически записанными звуками, Янковский обратил внимание, что транспонирование их вверх и вниз посредством изменения скорости воспроизведения разрушает характер звука. «Звучание профиля “графического звука”, сфотографированного на кино-пленку с изменением одной лишь длины периода при неизменной форме, на всех частотах определенного диапазона, отличается постоянством спектра и текучестью или непостоянством окраски. Его форманта (если только можно говорить в этом случае о форманте, точнее весь зафиксированный состав его обертонов) движется параллельно основному тону, на протяжении всего данного диапазона»[347].
В штате Лаборатории графического звука Шолпо были специальные сотрудники, в задачу которых входило осуществление сложных математических вычислений. Ленинград. 1946. Личный архив М. Е. Шолпо
Чтобы решить проблему изменения высоты при сохранении неизменных формант, Янковский предложил вычислять по три шаблона на каждую октаву для всего диапазона частот каждого конкретного звука, транспонируя каждый шаблон посредством изменения скорости воспроизведения в диапазоне, не превосходящем одной трети октавы. Он писал: «Вопрос сводится к выбору количества нот в диапазоне инструмента, для которых надо производить синтез обертонов <…> я наметил для синтеза по 3 профиля на октаву каждого тембра. Этим самым был принят, конечно, своеобразный компромис по отношению к требованию абсолютной устойчивости формант, (так как я допустил сдвиг на большую терцию), но практически этот сдвиг совершенно не заметен»[348]. Интересно, что подобный метод используется сегодня в большинстве современных сэмплеров.
6.7. Синтоны и синтетические инструменты
Согласно классификации Янковского, он работал с четырьмя базовыми уровнями спектральной организации звуков:
1) «простой (чистый) тон» — простое гармонической колебание;
2) «сложный тон» — суперпозиция нескольких простых тонов;
3) «синтон» (синтетический тон) — искусственный сложный тон на основе математического сложения простых тонов, связанных с некоторым конкретным спектральным шаблоном и созданных методом графического звука.
4) «синтетический инструмент» — библиотека синтонов, связанных с некоторым особым звуковым характером (инструментом), с фиксированными формантами, предназначенный для синтеза звука методом графического звука. Фактически, речь идет о базе данных, не имеющей ничего общего с обычными «музыкальными инструментами», на которых играют традиционными способами[349].
На третьем этапе своей работы Янковский планировал «создание типов извлечения звука и красочностей промежуточных, для заполнения провалов между оркестровыми, следующими техническими приемами: 1. Путем медленных “наплывов”, спектральных переходов с помощью двойной фото-экспозиции. 2. Путем быстрых, радужных переливов из спектра — при громкостном вибрато со сдвигом на полуцикл, так что максимумы силы звука приходятся между максимумами другого. 3. Воспроизведением всех звуковых красок всеми способами извлечения звука, свойственными всевозможным инструментам и зависящими от изменения стационарных звучаний, как по амплитуде, так и по форме колебаний: pizzicato и обратная ему мягкая атака звука, громкостное вибрато (филирование звука) и разные процессы в начале звуков и в переходе между ними»[350].
Например, чтобы синтезировать человеческий голос, напевающий гласный звук, нужно было бы выбрать несколько шаблонов, связанных с формантами (рисованные волновые формы, наподобие пятиобертонок), добавить дополнительные шаблоны по мере необходимости (такие как «равно-амплитудный полный»), с помощью виброэкспонатора настроить каждый шаблон на требуемую частоту и интенсивность и затем смикшировать их. Конечный результат походил бы на «замороженный звук», подобный одному фрейму преобразования Фурье, временного «кванта» звука, физически связанного с одним кадром фильма. Чтобы произвести звук, изменяющийся во времени, необходимо вычислить последовательность статических кадров, каждый из которых представляет собой очередную фазу изменения звука во времени. Чтобы произвести финальную звуковую дорожку нужно соединить кадры в последовательность внахлест, переводя один кадр в другой через перекрестное микширование для достижения плавности переходов и минимизации помех на стыках кадров. Для реализации этого метода Янковский разработал свой виброэкспонатор.
«Пятиобертонки». 1935–1936. Математически рассчитанные волновые формы звуков с сильной формантой. Коллекция А. И. Смирнова
6.8. Виброэкспонатор
Разработанный Янковским специальный модифицированный анимационный станок «виброэкспонатор» позволял не только фотографировать последовательные сегменты рисованных звуковых дорожек, но также производить все необходимые манипуляции со спектро-стандартами в процессе создания синтонов. Это означало, что временная дискретизация соответствовала 24 кадрам в секунду, а каждый кадр представлял собой один «квант», своего рода мгновенную фотографию постоянно изменяющегося звука. При этом волновая форма каждого кадра последовательности вычислялась согласно спектральному составу на основе определенного набора спектральных шаблонов.
Несмотря на то, что Янковский ссылается на конструкцию виброэкспонатора в ряде своих рукописей, он нигде не дает полного его описания. Тем не менее, согласно имеющимся упоминаниям, можно представить себе принципы его работы. Являясь надстройкой над анимационным станком, виброэкспонатор имел несколько уровней, позволявших осуществлять полный цикл создания синтонов, а также покадровый перенос готовой звуковой дорожки на кинопленку.
Важной частью виброэкспонатора был станок скользящей копировки, позволявший конвертировать исходные синтоны, выполненные трансверсальным методом, в «интенсивные» негативы, необходимые для последующей обработки. Для осуществления скользящей копировки фотопластинка с изображением синтона помещалась в специальную кассету с тонкой щелью (апертурой), расположенной вдоль синтона, через которую параллельный пучок света попадал на вторую, не экспонированную фотопластинку, установленную позади апертуры. Широкое интенсивное изображение синтона получалось путем перемещения второй фотопластинки сверху вниз перед апертурой. «Интенсивное» (переменной плотности) изображение звуковой волны было необходимо для последующего транспонирования синтона с понижением высоты до требуемого значения. Для этого фотопластинку с «интенсивной» звуковой дорожкой устанавливали перед другой тонкой апертурой, которую поворачивали на определенный угол, соответствующий требуемому интервалу транспонирования, и фотографировали на третью фотопластинку, установленную позади второй апертуры.