«Машина для разрушения ваших стереотипов»: исследователь новых медиа Лев Манович рассказывает, что можно узнать из анализа миллионов инстаграмов и твитов

Эксперт теории новых медиа и профессор Городского университета Нью-Йорка Лев Манович возглавляет в США Лабораторию культурной аналитики. Она изучает культурные тренды с помощью больших данных и технологий искусственного интеллекта. Например, сейчас Манович сравнивает все твиты, опубликованные с изображениями и геотегами. В Петербурге на лектории «Культура 2.0» ученый рассказал о результатах исследования инстаграма.

Как соцсети отражают жизнь общества и городов, почему из-за алгоритмов фотографии становятся однообразными и каким образом большие данные разрушают стереотипы о культуре? «Бумага» поговорила с Мановичем о том, что дает анализ тысяч селфи и всех произведений Ван Гога.

— Когда вы анализировали выложенные в инстаграмы разных стран селфи, то пришли к выводу, что, например, где-то улыбаются чаще, где-то — реже. Как много такой анализ изображений может рассказать о культуре в целом?

— Мы сделали проект SelfieCity в 2013 году. Собрали несколько тысяч селфи из шести городов, включая Москву, Лондон, Сан-Паулу, и применили к ним «компьютерное зрение» (область искусственного интеллекта — прим. «Бумаги»). Сейчас таких сервисов десятки. Компьютер проанализировал каждое изображение и выдал нам где-то 20 характеристик лица: размер, поворот головы, шеи, присутствие разных эмоций и улыбки. Посмотрев статистику, мы выяснили, что, например, больше всего улыбаются в Бангкоке и Сан-Паулу, а меньше всего — в Москве.

Но искусственный интеллект, программы тренируются на каких-то определенных изображениях. Мы не знаем, что им давали — возможно, какую-то американскую выборку данных. Поэтому вполне возможно, что они не очень улавливают культурную разницу. Так что что-то объективно, а что-то — нет. Это я понял только несколько лет спустя.

Я работаю с большими данными, инстаграмом, твиттером, анализировал 1 млн картин в сети, 1 млн манги (проект Мановича 2010 года, во время которого был проанализирован 1 млн страниц комиксов манга — прим. «Бумаги») — сначала это было очень интересно. Но в конечном итоге у автоматической обработки и анализа изображений или вообще объектов культуры есть много ограничений. Когда люди стали заниматься искусственным интеллектом, это дало более четкое понимание того, что может компьютер, а что — человек. В этом смысле нужен некий симбиоз.

То, что мы в основном используем, это не просто анализ, а скорее визуализация. Вы собираете миллионы изображений, компьютер помогает сортировать их — и тогда ваш глаз, ваш мозг начинает видеть там разные тренды. Вы можете измерить вещи, о которых не задумывались. Но для этого нужно самим смотреть эти данные.

— С помощью больших данных можно анализировать как современность, так и прошлое. Можно таким образом получить какое-то принципиально новое знание о старой культуре, которая уже, как нам кажется, хорошо изучена?

— То, чем я занимаюсь, это часть огромной области, которая тоже стала развиваться лет десять назад и называется цифровые гуманитарные науки. Это применение компьютерных методов к изучению культуры через какие-то большие коллекции. Например, люди изучают сотни тысяч литературных произведений XIX века.

В России, где ученые всегда испытывали большое уважение к культуре, даже есть целая традиция. Скажем, наш математик Колмогоров написал в 1960-е годы серию статей, в которых, используя статистику, проанализировал поэзию. Андрей Белый опубликовал книгу про символизм, где он придумал свой язык диаграмм и проанализировал математические шаблоны в стихах. Всё это было — только без возможности обрабатывать большие данные через компьютер.

Я не могу сказать, что всегда нахожу какие-то новые вещи. Но каждый раз существующие у меня стереотипы разрушаются

Мы, например, взяли и посмотрели на все картины Ван Гога и произведения импрессионистов. И выяснилось, что у Ван Гога на самом деле нет четких периодов: его стиль меняется, но в каждый период он создает много традиционных изображений. Когда мы анализировали импрессионистов, то оказалось: то, что мы понимаем под импрессионизмом, — эти светлые или цветные картины, буржуазная жизнь, — составляет буквально 30 процентов.

Когда вы собираете все произведения, то выясняется, что всё совсем не так, как вы считали. Потому что на самом деле стереотипы построены на исключениях.

Я не могу сказать, что всегда нахожу какие-то новые вещи. Но каждый раз существующие у меня стереотипы разрушаются. Это такая машина для разрушения ваших стереотипов — некоторых пугает, а мне очень интересно.

— Анализ соцсетей дает объективное представление об обществе или его среде? Или это все-таки далеко от реальности?

— Анализ больших данных или соцсетей — это не то, что можно делать или нет. На этом уже основано всё общество. Facebook, «ВКонтакте» сами собирают эту информацию, анализируют ее и используют — например,  для рекомендаций или рекламы.

Наша культура за последние десять лет фундаментально изменилась. Ее технической базой стал именно анализ больших данных. Нам надо просто это понять и посмотреть, можем ли мы его использовать в других направлениях.

Что касается среза общества — это зависит от места. Где-то 80–90 процентов людей используют интернет, а 80–90 процентов подростков используют снэпчат или инстаграм. Россия по количеству пользователей инстаграма на четвертом месте в мире. В развивающихся странах, где есть какие-то культурные ограничения — например, на Ближнем Востоке, [среди пользователей] будут в основном мужчины.

Но, например, количество твитов в городах дает нам возможность понять, сколько людей живет в этом районе, хотя мы и знаем, что твиттером пользуется только определенная часть общества. Как ни странно, это всё равно некое зеркало, которое искажает реальность, но при этом показывает нам больше, чем кажется.

— Вы делали проект про неравенство, проанализировав активность в соцсетях в разных районах города. То есть таким образом соцсети позволяют вскрывать какие-то социальные проблемы? Как это могут использовать города?

— Мы собрали инстаграмы, опубликованные в Нью-Йорке за пять месяцев, и проанализировали Манхэттен. Выяснилось, что он разделен на две вселенные. В одной части — более обеспеченные люди, бизнес, туда приезжают работать. А вторая часть по уровню активности социальных сетей близка к нулю. То же самое можно посмотреть в Петербурге. Я до конца не довел это исследование, но тут немножко по-другому: есть спальные районы, потом внезапно начинаются пригороды — и там снова какая-то активность. У каждого города есть свой портрет, свое пространство в социальных сетях. Какие-то районы и феномены освещены, а какие-то вообще невидимы.

Увидеть активность всего города, некий пульс: кто, когда, где — как это можно сделать по-другому? Конечно, это не заменяет другие способы, этнографию и опросы, но великолепно их дополняет.

Конечно, главная причина, по которой люди используют большие данные, — это стремление всё рационализировать. Чтобы города были более эффективными. Но нам же нужно, чтобы города были как Петербург: поэтичными, чтобы в них можно было запутаться. Поэтому художникам и дизайнерам очень важно предлагать проекты, которые будут использовать эти данные не только для рационализации, но и для некой поэтизации. Чтобы наша жизнь была интересной, а не только эффективной.

— Вы говорили, что инстаграм стал местом, где формируются современные субкультуры. Почему и каким образом это происходит?

— В инстаграме, как и в других сетях, есть сотни разных субкультур, но возникает вопрос: насколько понятие субкультуры, которое использовалось в 1980–90-е годы, актуально сегодня? Несколько лет назад я суммировал все свои исследования и опубликовал книгу «Инстаграм и современное изображение». Там я говорю, что субкультуры ХХ века — какие-нибудь байкеры или рокеры — свою идентичность строили очень жестко. Она отличалась от мейнстрима. Скажем, в офис вы ходили в костюме и галстуке, а тут надевали всё кожаное и садились на байк — была такая бинарная оппозиция. Сегодня же все одеваются приблизительно одинаково: минимализм, серое. Мы отдалены [друг от друга] гораздо меньше, чем байкеры были отдалены от бизнесменов в 80-е годы.

Мы видим глобальное течение — инстаграмизм. Это некая визуальная эстетика — эстетика обнаженного бетона, японская, минималистическая

Или, например, в 80-е было такое понятие, как «продаваться». Художник говорил: «Я продаюсь, иду работать в компанию». Теперь же человек может сегодня делать выставку, завтра — коммерческий дизайн, послезавтра — работать в офисе. Такое впечатление, что границы, которые раньше отличали авангард от мейнстрима, инновативное — от классического, стерлись.

В каком-то смысле мы видим в инстаграме глобальное течение — инстаграмизм. Это некая визуальная эстетика — эстетика обнаженного бетона, всех наших кафе, скандинавская, японская, минималистическая, но при этом дружелюбная. Этих людей миллионы. То, что раньше считалось хипстерским, очень быстро стало мейнстримом.

Поэтому для меня, наверное, самое интересное в изучении больших данных и инстаграмов — то, что оно позволяет подумать, какие нужны термины. Это интеллектуальный вызов, который заставляет нас искать новые понятия для описания собственной культуры или пытаться понять, можно ли применить старые.

— А этому мейнстриму есть какое-то явное противостояние, если говорить про инстаграм? Или это все-таки может быть заметно только в офлайне?

— Есть, 99 процентов фотографий в инстаграме — мейнстрим. Это такие семейные кадры, когда люди фотографируют себя для семьи и друзей: праздники, первые шаги ребенка. Фотографии, где главное — содержание. Эстетика там порой вообще отсутствует. Но зато там есть определенные конвенции: если вы делаете портрет — лицо в центре; если фотографируете жену на фоне памятника во время путешествия — линия горизонта прямая. Но с точки зрения хорошей фотографии эти снимки очень плохие.

А инстаграмизм — как некую альтернативную молодежную хипповую культуру — отличает даже не определенная эстетика, а просто внимательность к визуальной форме. Фотографии более скомпонованные, лучше поданы, их редактируют. А мейнстрим [в инстаграме] — это любительская массовая фотография: конечно, иногда люди пытаются сделать хорошую фотографию, но у них это редко получается, потому что для этого надо отредактировать ее в десяти приложениях, а это требует времени.

Поэтому я бы не сказал, что эти — беленькие, а эти — красненькие, эти — в костюмах, а эти — байкеры. Эстетик может быть много, необязательно минимализм. Но эти фотографии просто хорошие.

— Но есть какой-то глобальный мейнстрим?

— Мне кажется, глобального мейнстрима тоже нет. Есть большое различие между поколениями. Будь то Москва, Казань или Сеул — несколько лет назад что-то в обществе феноменально поменялось. Молодые люди, которые гораздо умнее всех предыдущих поколений, огромная креативность в городах, всякие общественные пространства. Все всё знают и понимают, и, наверное, это связано с пользованием интернетом. Культурного мейнстрима, возможно, уже нет, но есть некие кластеры по возрасту, поскольку наше общество быстро меняется с точки зрения вкусов. Есть мейнстрим людей, которым 18 лет, есть мейнстрим тех, кому 50.

Границы, которые раньше отличали авангард от мейнстрима, инновативное — от классического, стерлись

XIX и XX века — это время, когда наше государство и наша наука пытались сделать нас одинаковыми. Это и отделы статистики, и производство одинаковой продукции. Люди читают газету и верят в одно и то же. Так было и в Советском Союзе, и в Америке. Потом на Западе в 60-е годы, здесь — в 90-е начинается новый период, когда говорят: «Я не хочу думать как все, хочу делать всё по-другому». И вся культура начинает перестраиваться. Но наши социальные науки — психология, социология — по-прежнему думают мерками XIX века: мы взяли 20 человек, что-то измерили, и, наверное, весь мир думает так же. Но так нельзя, социальные науки нужно взрывать. Потому что идея всё суммировать, найти один тренд и говорить, что он существует везде, — неправильно. Чтобы увидеть разнообразие человеческой жизни, нужны не 100 миллионов — нужны все. В этом смысле больших данных нужно как можно больше.

— Как алгоритмы соцсетей, на ваш взгляд, влияют на культуру? Например, когда в твиттере можно было использовать только 140 символов, его пользователи были вынуждены мыслить такими короткими сообщениями. Свои стандарты и рамки есть и в инстаграме.

— Это очень интересный вопрос. Здесь есть два момента. Первый: люди сознательно и подсознательно понимают, что ваш телефон — это специальный медиум, у которого есть свои преимущества и недостатки. Например, они увеличивают на фотографиях контраст, чтобы вы сразу обратили на нее внимание. Какие-то детальные и очень нежные фотографии вы просто не заметите [в ленте].

Но есть второй момент: наша культура довольно быстро алгоритмизуется. Эти алгоритмы пытаются нам помочь, но их создают компании, а коммерческое понимание нашей жизни иногда отстает [от реальности].

Есть определенные сервисы типа Google Photos, которые могут автоматически повысить яркость или добавить цвет. В каком-то смысле эти алгоритмы навязывают нам некую эстетику. У меня уже несколько лет есть вопрос: можно ли это просчитать, можно ли это заметить?

Вопрос, как использовать алгоритмы так, чтобы культуру разнообразить, а не свести к некому идеальному, но абсолютно монотонному виду

Это непростая вещь, потому что искусственный интеллект используется в обществе, компаниями и правительствами так, чтобы всё сделать эффективно. Каждый человек, который пишет пост в блоге, хочет, чтобы его все посмотрели. Десять лет назад, когда вы делали пост, кто-то начинал с картинки, кто-то — с текста. Было разнообразие. Потом люди подсчитали, что если, допустим, начинать с картинки, у вас будет в пять раз больше просмотров. И сейчас все посты выглядят абсолютно одинаково.

Во всех программах встроена аналитика. Это прекрасно, но и страшно. Потому что мы уже видим, как происходит уравнивание. Что будет через 10–20 лет? Мы все будем делать одинаковые идеальные фотографии? Вопрос в том, как использовать алгоритмы так, чтобы культуру разнообразить, а не свести к некому идеальному, но абсолютно монотонному виду.

— Ваш последний проект — это анализ всех твитов с изображениями, опубликованных по всему миру. Что вам удалось благодаря этому установить?

— В 2014 году у твиттера был конкурс: им было интересно, что люди могут сделать с их данными. Подали заявку, как стало известно, 1300 лабораторий по всему миру. Твиттер выбрал шесть, одной из которых были мы. Тогда нам сказали, что могут дать любые данные, и я запросил все изображения из твиттера с геотегом — сколько есть. Нам дали изображения по всему миру за три года — с тех пор, как эта функция была добавлена. Получилось 270 миллионов.

Сначала мы посмотрели, как развивалась активность в твиттере. Например, выяснилось, что в развивающихся странах сначала всё было тихо, но потом темп роста там стал гораздо быстрее. Мы сделали прогноз, что к 2022 году Африка и Юго-Восточная Азия по объему активности [в твиттере] достигнут уровня Запада. Но мне показалось, что этот разрыв, наоборот, будет оставаться.

Следующие два-три года еще пара миллиардов присоединится. Это только начало — какой-то новой, непонятной, интересной стадии культуры.

Кстати, очень странно, что, когда функция [загрузки изображений] была добавлена в августе 2011 года и ей стали пользоваться люди, почему-то из 100 городов самый медленный рост был в Москве. Это загадка. Теперь мы будем писать статьи и это анализировать.

Дигитальной культуре, если смотреть на World Wide Web, уже 25 лет. Социальным сетям — 12–15 лет. Можно через них изучать историю. Меня интересует вопрос: как изменилось содержание? Мы сейчас делаем случайную выборку — скажем, по 10 тысяч изображений из пяти городов — и сравниваем 2012 и 2014 годы. Мы будем смотреть, как изменилась визуальная сторона: яркость, насыщенность, цвета. А также как изменилось содержание. Пока мы ведем подсчеты, но уже можно сказать, что изображения, конечно, стали ярче. Потому что камеры стали лучше, а телефоны начали автоматически улучшать фотографии.

— Почему рост активности оказался быстрее именно в развивающихся странах?

— В западных и не только столицах — например, Токио или Лондоне — стали пользоваться [соцсетями] сразу. Активность, конечно, росла, но люди быстро насытились. А в развивающемся мире это происходило постепенно.

Когда мы стали искать возможные объяснения, то заметили, что существует довольно сильная корреляция между средним возрастом в стране и темпами роста: чем он ниже, тем сильнее рост. Наверное, это связано со следующей причиной. Если взять Россию или Америку, то здесь все пользуются или инстаграмом, или «ВКонтакте», или «Фейсбуком». Но в большом количестве развивающихся стран это пока некая элитная молодежь, потому что не у всех есть айфон, не все знают английский.

Что это значит? Мы думаем: есть дигитальная культура, инстаграму семь лет, мобильным телефонам вроде айфона десять лет, но на самом деле всё только начинается. Следующие два-три года еще пара миллиардов присоединится. Тот сумасшедший шеринг, который мы сейчас видим, это только начало — какой-то новой, непонятной, интересной стадии культуры.

— Вы можете объяснить на опыте ваших исследований соцсетей, как там возникают массовые явления вроде мемов или коллективных истерий, связанных с какими-то инфоповодами? Есть ли какой-то очевидный механизм, который объясняется с точки зрения больших данных?

— Эти феномены создают сети и тот факт, что все они построены на алгоритмах. Если пост на «Фейсбуке» лайкнут два человека, ничего не произойдет. Если его лайкнут 50 человек, то через два часа их будет уже 200, потому что «Фейсбук» начинает его всем показывать. Конечно, это могут быть какие-то фейковые новости или приколы — алгоритмы же не знают, что это такое. Сейчас — по крайней мере, в Америке — все понимают, что это искусственный интеллект и там могут быть искажения, что алгоритмы могут многое натворить. Поэтому среди ученых основная тема не как сделать искусственный интеллект лучше, а как его понять, как можно его ограничить и контролировать. Думаю, скоро эта проблема будет решена. Например, десять лет назад был жуткий спам, но сейчас он уже так сильно не мешает.

Недавно прочитал, что посчитали: одна треть всех людей, которые писали про Трампа в твиттере, были ботами. А у Клинтон — одна пятая. Это 2016 год, а что будет в 2020-м? Представьте, проходит десять лет, и уже нет ни России, ни Америки, ничего — есть команда «Яндекса» или команда Baidu (китайская интернет-компания — прим. «Бумаги»), и они борются за власть в мире. Такое вполне можно представить, если это не контролировать.