Как TikTok читает ваши мысли

Существует четыре основные цели алгоритма TikTok: 用户价值, 用户价值 (长期), 作者价值 и 平台价值, что компания переводит как "ценность пользователя", "долгосрочная ценность пользователя", "ценность создателя" и "ценность платформы".

Этот набор целей взят из откровенного и откровенного документа для сотрудников компании, который предлагает новые подробности того, как самое успешное видеоприложение в мире создало такой увлекательный - некоторые бы сказали, вызывающий привыкание - продукт.

Документ, озаглавленный "TikTok Algo 100", был подготовлен инженерной командой TikTok в Пекине. Представитель компании Хилари Маккуэйд подтвердила его подлинность и сказала, что он был написан, чтобы объяснить нетехническим сотрудникам, как работает алгоритм. Документ предлагает новый уровень детализации о доминирующем видеоприложении, предоставляя откровенный взгляд как на математическое ядро приложения, так и на понимание компанией человеческой природы - нашей склонности к скуке, нашей чувствительности к культурным признакам - что помогает объяснить, почему приложение так трудно опустить. Документ также приоткрывает завесу над беспрепятственной связью компании с ее китайской материнской компанией ByteDance, в то время как Министерство торговли США готовит отчет о том, представляет ли TikTok угрозу безопасности Соединенных Штатов.

Если вы относитесь к миллиарду людей (буквально!), которые ежемесячно проводят время на TikTok, вы знакомы с этим приложением как с центральным средством молодежной культуры 2021 года и онлайн-культуры в целом. Оно отображает бесконечный поток видеороликов и, в отличие от приложений социальных сетей, которые оно все больше вытесняет, служит скорее для развлечения, чем для связи с друзьями.

Он преуспел там, где другие приложения для создания коротких видеороликов потерпели неудачу, отчасти потому, что он делает создание видео таким простым, предоставляя пользователям фоновую музыку для танцев или мемы, а не заставляя их заполнять мертвый эфир. И для многих пользователей, которые потребляют, не создавая, приложение потрясающе хорошо считывает ваши предпочтения и направляет вас на одну из своих многочисленных "сторон", независимо от того, интересуетесь ли вы социализмом, советами Excel или сексом, консервативной политикой или конкретной знаменитостью. Он поразительно хорош в раскрытии желаний людей даже для них самих - "Алгоритм TikTok знал мою сексуальность лучше, чем я", - гласит один из заголовков в серии заголовков о людях, восхищенных тем, что приложение сделало рентген их внутренней жизни.

TikTok публично поделился общими чертами своей системы рекомендаций, заявив, что она учитывает такие факторы, как лайки и комментарии, а также информацию о видео, такую как подписи, звуки и хэштеги. Сторонние аналитики также пытались взломать ее код. Недавний отчет Wall Street Journal показал, что TikTok в значительной степени полагается на то, сколько времени вы тратите на просмотр каждого видео, чтобы направить вас к большему количеству видео, которые вы будете прокручивать, и этот процесс иногда может привести молодых зрителей в опасные кроличьи норы, в частности, к контенту, пропагандирующему самоубийство или членовредительство - проблемы, которые, по словам TikTok, он пытается остановить, агрессивно удаляя контент, нарушающий его условия обслуживания.

Новым документом с The New York Times поделился человек, который был уполномочен прочитать его, но не делиться им, и который предоставил его на условиях анонимности. Этот человек был обеспокоен тем, что приложение стремится к "грустному" контенту, который может побудить к самоповреждению.

В документе откровенно объясняется, что в погоне за "конечной целью" компании - увеличением числа ежедневных активных пользователей - она решила оптимизировать два тесно связанных показателя в потоке видео, который она обслуживает: "удержание" - то есть, возвращается ли пользователь - и "проведенное время". Приложение хочет, чтобы вы оставались там как можно дольше. Этот опыт иногда описывают как зависимость, хотя он также напоминает частую критику поп-культуры. Драматург Дэвид Мамет, презрительно написав в 1998 году о "псевдоискусстве", заметил, что "людей тянет на летние фильмы, потому что они не приносят удовлетворения, а значит, дают возможность повторить принуждение".

Аналитики, считающие, что алгоритмические рекомендации представляют социальную угрозу, подтверждают свои подозрения в документе TikTok.

"Эта система означает, что время просмотра является ключевым фактором. Алгоритм пытается вызвать у людей зависимость, а не дать им то, что они действительно хотят", - сказал Гийом Шасло, основатель Algo Transparency, группы, базирующейся в Париже, которая изучала систему рекомендаций YouTube и придерживается мрачного мнения о влиянии этого продукта, в частности, на детей. Г-н Шаслот ознакомился с документом TikTok по моей просьбе.

"Я думаю, что это безумная идея - позволить алгоритму TikTok управлять жизнью наших детей", - сказал он. "С каждым видео, которое смотрит ребенок, TikTok получает о нем информацию. За несколько часов алгоритм может определить его музыкальные вкусы, физическую привлекательность, депрессию, наркотики и многие другие важные сведения. Существует большой риск, что часть этой информации будет использована против него. Потенциально она может быть использована для микро-таргетинга или для того, чтобы сделать его более зависимым от платформы".

В документе говорится, что время просмотра - не единственный фактор, который учитывает TikTok. В документе приводится примерное уравнение для оценки видео, в котором прогноз, сделанный с помощью машинного обучения, и фактическое поведение пользователя суммируются для каждого из трех битов данных: лайков, комментариев и времени воспроизведения, а также индикатора того, что видео было воспроизведено:

Plike X Vlike + Pcomment X Vcomment + Eplaytime X Vplaytime + Pplay X Vplay

"Система рекомендаций выставляет оценки всем видео на основе этого уравнения и возвращает пользователям видео с самыми высокими оценками", - говорится в документе. "Для краткости уравнение, приведенное в этом документе, сильно упрощено. На самом деле используемое уравнение гораздо сложнее, но логика в его основе та же".

В документе подробно показано, как компания настраивает свою систему для выявления и подавления "приманки для лайков" - видео, созданных для того, чтобы обмануть алгоритм, явно прося людей поставить им лайк, - и как компания продумывает более тонкие вопросы.

"В видео некоторых авторов могут присутствовать культурные отсылки, и пользователи могут лучше понять эти отсылки, только просмотрев больше видео автора. Поэтому общая ценность просмотра пользователем всех этих видео выше, чем ценность просмотра каждого отдельного видео", - говорится в документе. "Другой пример: если пользователю нравится определенный тип видео, но приложение продолжает навязывать ему один и тот же тип, ему быстро надоест и он закроет приложение. В этом случае общая ценность, создаваемая пользователем, просматривающим однотипные видео, ниже, чем при просмотре каждого отдельного видео, потому что повторение приводит к скуке".

"Есть два решения этой проблемы", - говорится далее в документе. "Сделать некоторые предположения и разбить ценность на уравнения. Например, с точки зрения повторного воздействия мы можем добавить значение 'same_author_seen', а для проблемы скуки мы также можем добавить отрицательное значение 'same_tag_today'. Кроме уравнения значений могут работать и другие решения, например, принудительная рекомендация в фиде пользователей, дисперсия и т.д. Например, проблема скуки может быть решена с помощью дисперсии".

Другая диаграмма в документе указывает, что "монетизация создателей" является одной из целей компании, что говорит о том, что TikTok может отчасти благоприятствовать видео, если они будут прибыльными, а не просто развлекательными.

Джулиан МакОли, профессор информатики Калифорнийского университета в Сан-Диего, который также ознакомился с документом, сказал в электронном письме, что в документе мало деталей о том, как именно TikTok делает свои предсказания, но описание его рекомендательного механизма "абсолютно разумно, но традиционно". По его словам, преимущество компании достигается за счет сочетания машинного обучения с "фантастическими объемами данных, высокой вовлеченностью пользователей и обстановкой, в которой пользователи готовы потреблять алгоритмически рекомендованный контент (подумайте, как мало других условий имеют все эти характеристики!). А не какая-то алгоритмическая магия".

Г-н МакОли добавил, что он немного озадачен тем, почему люди постоянно спрашивают его о TikTok.

"Создается впечатление (в СМИ? или в обществе?), что они взломали какой-то волшебный код для рекомендаций, но большинство из того, что я видел, кажется вполне нормальным", - написал он.

И действительно, документ многое делает для демистификации того типа рекомендательных систем, которые технологические компании часто представляют как невероятно сложные для понимания критиков и регуляторов, но которые обычно сосредоточены на функциях, понятных любому обычному пользователю. Например, в статье Journal, посвященной утечке документов Facebook, было показано, как решение Facebook придавать больший вес комментариям способствовало распространению противоречивого контента. Хотя модели могут быть сложными, в алгоритме рекомендаций TikTok, описанном в документе, нет ничего зловещего или непонятного.

Но документ также дает понять, что TikTok не сделал ничего, чтобы разорвать свои связи с китайской материнской компанией ByteDance, чья собственность стала предметом спора в конце правления президента Дональда Трампа в 2020 году, когда он попытался заставить продать TikTok американской компании Oracle, союзной его администрации.

Документ TikTok отсылает вопросы к инженерному менеджеру, в биографии которого на LinkedIn указано, что он работает как над TikTok, так и над аналогичным китайским приложением Douyin компании ByteDance, предлагая взглянуть на оставшийся глобальный элемент все более разделенной технологической индустрии - инженерные кадры. В документе говорится, что инженерный менеджер учился в Пекинском университете, получил степень магистра в области компьютерных наук в Колумбийском университете и два года работал в Facebook, прежде чем прийти в ByteDance в Пекине в 2017 году. Документ написан на понятном, но неродном английском языке и составлен с точки зрения китайской технологической индустрии. В нем нет ссылок, например, на конкурирующие американские компании, такие как Facebook и Google, но есть рассуждения на тему "если Toutiao/Kuaishou/Weibo сделали что-то подобное, можем ли мы запустить ту же стратегию, что и они?".

Процесс разработки TikTok, говорится в документе, тесно переплетается с процессом разработки Douyin. В одном месте документ отсылает сотрудников TikTok к "Процессу запуска стратегии рекомендаций Douyin" и ссылается на внутренний документ компании, который, как говорится, является "одним и тем же документом для TikTok и Douyin".

Сотрудники TikTok также глубоко вплетены в экосистему ByteDance. Они используют продукт ByteDance под названием Lark, корпоративную систему внутренних коммуникаций, подобную Slack, но с агрессивными функциями управления эффективностью, направленными на то, чтобы заставить сотрудников больше пользоваться системой. Например, там есть график, который показывает, выполняли ли вы действия - например, открывали сообщения - больше или меньше, чем ваши коллеги, согласно скриншотам, которые мне предоставили.

Озабоченность по поводу китайских потребительских технологий в Соединенных Штатах носит двухпартийный характер. В указе президента Трампа о попытке запретить приложение в августе 2020 года предупреждалось, что "сбор данных TikTok угрожает предоставить китайской коммунистической партии доступ к личной и служебной информации американцев". Китайское правительство может "создавать досье личной информации для шантажа и вести корпоративный шпионаж", - говорилось в запрете. Этот запрет застопорился в суде и сошел на нет после президентских выборов. Президент Байден отменил указ, но затем его администрация объявила о собственном расследовании угроз безопасности, исходящих от TikTok. Неназванный высокопоставленный представитель администрации заявил журналистам, что Китай "работает над тем, чтобы использовать цифровые технологии и американские данные таким образом, который представляет неприемлемый риск для национальной безопасности".

В заявлении по электронной почте г-жа Маккуэйд сказала, что "несмотря на некоторую общность кода, приложения TikTok и Douyin работают совершенно отдельно, на отдельных серверах, и ни один из них не содержит данных пользователей".

Она также сказала: "TikTok никогда не предоставлял данные пользователей китайскому правительству, и мы не стали бы предоставлять их, если бы нас попросили".

Компания TikTok, главный исполнительный директор которой живет в Сингапуре, наняла целый ряд хорошо знакомых американских и европейских руководителей и экспертов по безопасности, поскольку политическое давление усилилось при г-не Трампе. Компания утверждает, что у нее нет официальной штаб-квартиры. Она попыталась успокоить американские опасения, храня данные пользователей в США, а резервные копии - в Сингапуре.

Опасения американского правительства по поводу безопасности проявляются в двух формах. Первая, как предположил г-н Трамп в своем указе, заключается в том, следует ли рассматривать огромный массив данных, хранящихся в TikTok, - например, о частных сексуальных желаниях поклонников приложения, которые в конечном итоге могут стать американскими государственными чиновниками, - как вопрос национальной безопасности. Нет никаких доказательств того, что эти данные когда-либо использовались таким образом, и TikTok - едва ли не единственное место, где американцы делятся подробностями своей жизни в социальных сетях. Вторая проблема заключается в том, подвергает ли TikTok цензуре политически значимые сообщения.

Отчет, подготовленный в этом году Citizen Lab, организацией по наблюдению за кибербезопасностью в Торонто, показал, что оба эти опасения в лучшем случае латентны: В нем не было обнаружено никаких признаков того, что TikTok подвергает цензуре чувствительные темы или передает данные в Китай.

Но взгляды TikTok на внутреннюю жизнь людей необычны. Другой скриншот, которым я поделился, показывает, что модераторы контента имеют доступ не только к видео, размещенным в открытом доступе, но и к контенту, отправленному друзьям или загруженному в систему, но не опубликованному - отличие от таких приложений, как WhatsApp и Signal, которые обеспечивают сквозное шифрование.

Второй вопрос заключается в том, может ли китайское правительство использовать платформу для распространения пропаганды. После цензуры видеоролика, осуждающего массовые задержания мусульманских меньшинств в Китае, TikTok разрешил критику правительства страны. Например, хэштег #whereispengshuai, ссылка на китайскую звезду тенниса, обвинившую высшего китайского руководителя в сексуальном насилии, автозаполняется в системе, хотя видеоролики TikTok с этим хэштегом имеют мало просмотров. Нет независимого способа определить, подавляет ли компания поиск, который имеет гораздо больше вовлеченности в Twitter, но так же мало в Instagram.

Некоторые американские аналитики видят в TikTok серьезную угрозу; другие считают, что это своего рода невежественная паника, с которой сталкивались американцы, приближающиеся к среднему возрасту, когда их родители предупреждали их, что если они будут делиться подробностями своей жизни в социальных сетях, то никогда не получат работу. Многие, многие другие продукты, от социальных сетей до банков и кредитных карт, собирают более точные данные о своих пользователях. Если бы иностранные службы безопасности захотели получить эти данные, они, вероятно, нашли бы способ купить их у теневой индустрии брокеров данных.

"Беспокойство по поводу слежки или цензуры в TikTok отвлекает внимание от того факта, что эти проблемы гораздо серьезнее, чем любая конкретная компания или ее китайский владелец", - сказал Сэмм Сакс, научный сотрудник по вопросам политики кибербезопасности в исследовательской организации New America. "Даже если бы TikTok принадлежал американцам, нет ни одного закона или постановления, которое мешало бы Пекину покупать данные на открытом рынке брокеров данных".

Эта колонка напомнила мне об одной вещи: Угроза, которую TikTok представляет для американской национальной безопасности, кажется совершенно гипотетической и зависит от вашего анализа отношений между США и Китаем и будущего технологий и культуры. Но то, что алгоритм понял, что меня привлекает - между трюковыми ударами в теннисе, видео о турецкой кухне и всем остальным, что, как он выяснил, я люблю смотреть, - создало явную и настоящую угрозу моей способности закончить эту колонку.