Нейросети
Нейронные сети
Нейротехнологии

Основные статьи:

• Искусственный интеллект
• Машинное обучение (Machine Learning)
• Обучение искусственного интеллекта

Нейросети способны самостоятельно обучаться и развиваться, строя свой опыт на совершенных ошибках. Анализируя и обрабатывая информацию из какого-то конкретного источника, либо из сети Интернет в целом, самоорганизующаяся система способна создавать новые продукты, не только воспроизводя и структурируя вводные данные, но и формируя качественно иной результат, ранее недоступный искусственному интеллекту.

Нейронные сети и байесовские модели машинного обучения

Две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объемов данных, дав начало новому направлению, получившему название глубинное обучение. Вторые традиционно применялись для обработки малых данных. Математический аппарат, разработанный в 2010 годы, позволяет конструировать масштабируемые байесовские модели. Это дает возможность применить механизмы байесовского вывода в современных нейронных сетях. Даже первые попытки построения гибридных нейробайесовских моделей приводят к неожиданным и интересным результатам. Например, благодаря использованию байесовского вывода в нейронных сетях удается сжать сеть приблизительно в 100 раз без потери точности ее работы.

Нейробайесовский подход потенциально может решить ряд открытых проблем в глубинном обучении: возможность катастрофического переобучения на шумы в данных, самоуверенность нейронной сети даже в ошибочных предсказаниях, неинтерпретируемость процесса принятия решения, уязвимость к враждебным атакам (adversarial attacks). Все эти проблемы осознаются научным сообществом, над их решением работают многие коллективы по всей планете, но готовых ответов пока нет.

Как использовать нейросети

Большие языковые модели (LLM)

Основная статья: LLM (Большие языковые модели)

Большая языковая модель — это по сути очень большая нейросеть, построенная на архитектуре трансформер, которая была обучена на огромном объеме текстовых данных (книги, статьи, код, веб-страницы и т.д.).

Нейросети для создания картинок

Основная статья: Нейросети для создания картинок

Нейросети в радиологии

Основная статья: Искусственный интеллект в медицине

Нейросети в СМИ

2023: Какие нейросети уже сегодня можно использовать в СМИ

Сегодня все больше людей понимают, что за нейросетями будущее, и что на них можно делать вещи, которые раньше были невозможны. Как и любой инновационный продукт - широкой аудитории нейросети кажутся чем-то малоприменимым, но любопытным. Они умеют писать музыку, обрабатывать и генерировать изображения, выделять главное, озвучивать текст, поддерживать несложный диалог. Но после первого восторга все наиграются, и новинка станет рабочей обыденностью во всех сферах. Например, специально для СМИ было отобрано несколько способов потенциального применения нейросетей для решения реальных задач.

В статье «Медиа будущего: какие нейросети уже сегодня можно использовать в СМИ» представлены результаты исследования экспертов, которые, опираясь на свой многолетний опыт работы в онлайн-СМИ, проанализировали: что могло бы упростить журналистам работу, улучшить качество материалов и повысить эффективность бизнеса. Подробнее здесь.

Нейросети для работы PR-специалиста

• Perplexity AI - умный поисковик информации, который поможет найти нужные данные в море информационного шума.
• Stable Diffusion обеспечивает работу с текстом, транскрипцией, переводом, а также с YouTube.
• Writesonic генерирует тексты на основе актуальной информации из сети.
• 300.ya.ru предлагает выжимку тезисов из различного видео контента.
• Gerwin AI поможет с генерацией постов для российских социальных сетей.
• DeepL - прекрасный инструмент для работы с текстами на иностранных языках.
• Gamma - инструмент для создания интерактивных и креативных презентаций.
• @smartspeech_sber_bot - возможность для расшифровки аудиосообщений в Telegram.
• ChatGPT для YouTube - поможет быстро транскрибировать видеоролики с YouTube.

Нейросети в сфере продаж

2024: 5 этапов воронки продаж, в которые можно (и нужно) внедрить нейросеть

Со всех сторон сыпятся отчёты, сколько компаний уже используют ИИ (искусственный интеллект; он же обычно подразумевается под AI, нейросетями и ML-моделями) и какие отрасли – самые передовые.

Эта статья рассмотрит применение нейросетей, встроенных в CRM, коммерческими департаментами. За "контрольные точки" будут взяты пять классических этапов воронки продаж, которые есть в абсолютно любом бизнесе: маленьком и большом, b2c и b2b, узконаправленном и для широкой аудитории, эконом и luxury. Подробнее читайте здесь.

Нейросети в спорте

Основная статья: Искусственный интеллект в спорте

Нейронет - один из наиболее вероятных этапов развития Интернета

Нейронет (NeuroNet) – один из предполагаемых и наиболее вероятных этапов развития Интернета. На новом этапе развития всемирной паутины взаимодействие участников будет осуществляться на принципах нейрокоммуникаций, т.е. на основе передачи информации об активности головного мозга.

В 2017 г ученые прогнозировали формирование рынка Нейронета к 2030-2040 г. Причем, ожидалось, что в это время на рынке уже будут функционировать не менее 10 российских компаний с общей капитализацией около 700 млрд рублей.

Нейросети в России

В России разработками в области нейросетевого программирования занимаются крупнейшие интернет-холдинги, в частности, VK (ранее Mail.ru Group) и Яндекс, используя нейросети для анализа изображений и обработки текстов в поисковике. Самыми знаменитыми примерами стали технологии компаний Microsoft, Google, IBM и Facebook, а также стартапы MSQRD, Prisma^[1].

2024

В России нашли способ повысить эффективность работы нейросетей на 40%

Ученые Smart Engines нашли способ повысить эффективность работы нейросетей. В основе метода лежит принципиально новая схема квантования, благодаря которой скорость работы повышается на 40%. Результаты исследования были опубликованы в журнале Mathematics (Q1). Об этом Smart Engines сообщила 25 апреля 2024 года.

Разработка уже используется при решении прикладных задач компьютерного зрения – для поиска объектов и распознавания текстов. Она также может стать неотъемлемой частью беспилотных автономных систем нового поколения, расширив класс задач, которые могут выполнять бортовые компьютеры. Алексей Федоров, WinByte: Проблема в том, что злоумышленники читают отчеты SAP об уязвимостях внимательнее, чем бизнес 23.3 т

Речь идет о прорыве отечественных ученых в области оптимизации исполнения нейронных сетей. На апрель 2024 года в основном нейросети выполняются на специализированных видеокартах, однако не каждый компьютер ими оснащен. При этом любое пользовательское устройство имеет центральный процессор, мировым стандартом для которых является использование 8-битных нейронных сетей. Однако глубокие нейронные сети усложняются, содержат сотни миллионов и более коэффициентов, что требуют большей вычислительной мощности. Это ограничивает возможность использования центральных процессоров в системах искусственного интеллекта.

Исследователи Smart Engines решили эту проблему, предложив качественное улучшение 8-битной модели – 4,6-битные сети. Она работает быстрее 8-битной модели на 40%, но практически не уступает ей по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств.

Для этого входные данные и коэффициенты модели квантуются таким образом, чтобы их произведения помещались в 8-битные регистры. Суммирование результатов сделано с помощью двухуровневой системы 16- и 32-битных аккумуляторов для достижения максимальной эффективности. В результате в среднем на одно значение приходится 4,6 бита информации.

Такая схема квантования выгодно отличается от существующих, так как позволяет гибким образом задавать разрядность входных данных в зависимости от задачи и не привязывается к степеням двойки. Поэтому эта разработка обеспечивает заметно более высокое качество распознавание, чем, например, 4-битные модели.

Задачи компьютерного зрения должны решаться на конечных устройствах – мобильных телефонах, камерах наблюдения, бортовых компьютерах беспилотников. Все эти задачи характеризуются невысокими вычислительными возможностями устройств и существенными ограничениями по энергопотреблению. И наша разработка позволяет почти в полтора раза увеличить возможности решения этих задач. Классические сети в наших системах распознавания уже заменены на 4,6-битные аналоги, и мы продолжаем работу над более оптимальными схемами квантизации и обучения нейронных сетей — сказал генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров.

Во всех программных продуктах Smart Engines «тяжелые» нейросети заменены их 4,6-битными аналогами.

Российские ученые улучшили модель диффузионной нейросети

Ученые Центра искусственного интеллекта и факультета компьютерных наук НИУ ВШЭ, а также Института искусственного интеллекта AIRI и Sber AI разработали структуру диффузионной модели, для которой возможно задать восемь видов распределения шума. Вместо классической структуры модели в виде цепи Маркова и применения нормального распределения ученые предложили звездообразную модель, где возможно выбирать тип распределения. Это поможет решать задачи в разных геометрических пространствах с помощью диффузионных моделей. Об этом 15 февраля 2024 года сообщили представители НИУ ВШЭ. Подробнее здесь.

Российские ученые научили нейросети распознавать юмор по-человечески

Группа ученых факультета компьютерных наук НИУ ВШЭ провела исследование способности нейросетей распознавать юмор. Выяснилось, что для более надежного распознавания следует изменить подход к созданию наборов данных, на которых обучаются нейросети. Такой информацией с TAdviser поделились представители НИУ ВШЭ 11 января 2024 года.

𝓲

Фото: Freepik

Как известно, голосовые помощники могут только рассказать готовый анекдот, придумать же свой или распознать шутливый тон они не в состоянии. При этом пользователи голосовых помощников, созданных на основе технологии искусственного интеллекта, хотят от них большей человечности — способности распознать шутку и пошутить.

С середины 2000-х годов ученые занимаются распознаванием юмора как задачей классификации «смешно — не смешно», в этой же рамке собираются и размечаются датасеты (набор данных). Группа ученых из ВШЭ предложила изменить подходы к формированию таких датасетов — сделать их более разнообразными, причем наборы данных не обязательно должны быть очень большими.

Как пояснили представители НИУ ВШЭ, задача распознавания юмора сложна еще и потому, что отсутствуют формальные критерии для определения того, что смешно, а что нет. Большинство существующих датасетов для обучения и оценки моделей распознавания юмора содержат каламбуры (puns). Сарказм и ирония еще более сложны, как и ситуативный юмор, требующий знания контекста или культурного кода.

«Мы хотели оценить переносимость и устойчивость моделей, обученных на разных датасетах. Переносимость — это то, насколько обученная на датасете с одним типом юмора модель хорошо определяет другой тип юмора. Было совсем не очевидно, как будет работать обучение, потому что юмор бывает разным», — поделился Павел Браславский, доцент факультета компьютерных наук НИУ ВШЭ.

Устойчивость же ученые проверяли «состязательными атаками» — попытками заставить нейросеть увидеть юмор там, где его нет. Нейросеть получала несмешной, но формально похожий на юмористический текст — вместо каламбура в диалоге использовалось «неправильное» созвучное слово. Чем меньше сеть попадается в такие ловушки, тем она более устойчива.

Исследователи обучали модели на стандартных датасетах для распознавания юмора и на их смесях. Кроме того, модели проходили проверку диалогами из «Алисы в Стране чудес» Льюиса Кэрролла, «Лавки древностей» Чарльза Диккенса, «Троих в лодке, не считая собаки» Джерома К. Джерома, сериалов «Ходячие мертвецы», «Друзья» и коллекцией ироничных твитов.

Оказалось, что некоторые модели переобучаются и считают все смешным.

«Мы показали разным моделям `Лавку древностей` Диккенса, а это очень грустная история, и попросили оценить происходящее. Выяснилось, что некоторые модели считают, что все диалоги из литературы XIX века смешные. И даже больше — все, что слишком непохоже на новости XXI века, принимается как юмор», — рассказал Александр Баранов, аспирант факультета компьютерных наук НИУ ВШЭ.

Модели, натренированные на каламбурах, чаще ошибаются, если в несмешном тексте одно слово заменено на созвучное. Также выяснилось, что нейросети, натренированные на небольших частях разных датасетов, распознают юмор лучше, чем обученные на большом объеме однотипных данных. Авторы делают вывод, что существующие датасеты слишком узкие, юмор в каждом из них сильно ограничен, и это снижает качество распознавания шуток.

Исследователи предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, например ChatGPT, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились.

«Мы сейчас говорим только о бинарном распознавании юмора: смешно или не смешно. До определения оттенков юмора, различения сарказма и иронии, распознавания ситуативного, контекстуального юмора очень далеко. У наших голосовых помощников шутки пока `гвоздями приколочены` и обложены фильтрами, определяющими, какую шутку выдать в зависимости от слов пользователя. Такая запрограммированность ответов ощущается как неестественная. Запрос на большую человечность искусственного интеллекта абсолютно понятен, но удовлетворить его будет непросто», — подчеркнул Владимир Князевский, один из авторов исследования, студент факультета компьютерных наук НИУ ВШЭ.

Исследование выполнено в рамках проекта Научно-учебной лаборатории моделей и методов вычислительной прагматики.^[2]

2017: Бум нейросетевых стартапов

В мире созданы нейронные сети, способные рисовать картины в любом существующем художественном стиле, уверенно обыгрывать чемпиона мира в самую сложную логическую игру на планете, записывать музыкальные альбомы и подражать поведению человека в электронной переписке. Всё перечисленное – пока лишь демонстрация части возможностей технологии, реальное применение которой как в бизнесе, так и в быту, мы увидим в ближайшем будущем.

Другими словами, нейронные сети позволят не только и не столько заменить человеческий труд в более сложных трудовых активностях, сколько стать полезным инструментом для специалистов и управленцев множества областей.

Влад Шершульский, Директор по перспективным технологиям, Microsoft Rus комментирует: «Эта область окончательно стала в 2016 году «горячей»: примерно с 2009 года наблюдается быстрый прогресс в создании все более сложных, и при этом все более эффективных, глубоких нейронных сетей, а в самое последнее время мы увидели впечатляю щие приложения и стали свидетелями создания целого ряда успешных стартапов. Порог входа на рынок нейросетевых сервисов существенно снизился, а проекты, построенные вокруг идеи одного интересного приложения, реализуются за считанные месяцы. Все это породило бум нейросетевых стартапов, вызвало интерес крупных корпораций и способствовало росту спроса на специалистов в этой области, в том числе и в России. Приятно отметить, что важнейший вклад в создание нового поколения технологий работы с естественными языками внесли специалисты компании Microsoft. В известном телевизионном сериале «Звездный путь» создание онлайнового перевод чика устной речи прогнозировали в XXII веке, а он у нас уже есть сегодня. Конечно, другие применения – от прогнозирования поломок автомобилей и банкротства контрагентов до новых средств кибербезопасности – тоже развиваются весьма успешно».

Нейросети в мире

2024

На основе трудов советских академиков Андрея Колмогорова и Владимира Арнольда создана принципиально новая архитектура нейросетей

В конце апреля 2024 года американские исследователи из ряда научных организаций сообщили о разработке принципиально новой архитектуры нейросетей — Kolmogorov-Arnold Networks (KAN). В основу платформы положены труды советских академиков Андрея Колмогорова и Владимира Арнольда. Подробнее здесь.

Создана нейросеть, которая имитирует почерк человека

В конце декабря 2023 года специалисты из Университета искусственного интеллекта имени Мохамеда бен Заида в ОАЭ (MBZUAI) сообщили о создании нейросети, способной имитировать почерк человека. Разработчики зарегистрировали свою технологию в Управлении по патентам и товарным знакам США (USPTO). Подробнее здесь.

2023: Объем мирового рынка глубоких нейронных сетей за год вырос на треть до $24,4 млрд

По итогам 2024 года затраты на глобальном рынке глубоких нейронных сетей (DNN) достигли $24,4 млрд. Для сравнения, годом ранее объем отрасли оценивался в $18,46 млрд. Таким образом, расходы поднялись практически на треть. Об этом говорится в исследовании Market Research Future, результаты которого опубликованы 1 ноября 2024 года.

Одним из главных драйверов рынка является стремительное развитие и внедрение технологий искусственного интеллекта, в том числе генеративного. Организации все чаще используют глубокое обучение для самых разных приложений, таких как распознавание изображений и речи, обработка естественного языка и автономные системы. Этот всплеск спроса во многом обусловлен инновациями и достижениями в области вычислительных ресурсов, которые расширяют возможности и повышают эффективность DNN. Благодаря появлению мощных графических ускорителей, тензорных процессоров и других специализированных решений организации могут обрабатывать огромные массивы данных с высокой скоростью.

Передовые решения на основе ИИ внедряются во многих сферах, включая здравоохранение, финансы, автомобилестроение и розничную торговлю. Такие системы предлагают развитые аналитические возможности, что позволяет оптимизировать операции, снижать издержки и повышать выручку. Отрасль еще больше подпитывается потребностью в улучшении клиентского опыта с помощью персонализированных услуг, которые стали возможными благодаря применению ИИ-сситем. Организации, которые эффективно используют большие объемы структурированных и неструктурированных данных с помощью технологий DNN, получают конкурентное преимущество. Еще одним стимулирующим фактором названы растущие инвестиции в научно-исследовательские и опытно-конструкторские работы, связанные с технологиями глубокого обучения. Значительные средства в развитие ИИ вкладывают как частные компании, так и государственные структуры.

Авторы исследования выделяют пять основных областей применения DNN: это распознавание изображений, обработка естественного языка, распознавание речи, видеоанализ и обнаружение аномалий. В 2023 году на первый из перечисленных сегментов пришлось $6,8 млрд, на второй — $5,5 млрд. В сфере распознавания речи затраты оцениваются в $4,6 млрд, тогда как анализ видеоматериалов принес $4 млрд. Выявление аномалий обеспечило еще $3,5 млрд. Основная часть выручки приходится на программное обеспечение, включая фреймворки и платформы, необходимые для разработки и развертывания нейронных сетей. Значительный вклад вносят аппаратные решения, включая графические процессоры и специализированные ускорители. Вместе с тем все более значимыми становятся услуги, которые охватывают самые разные области — от консалтинга до развертывания и поддержки.

В географическом плане лидирует Северная Америка с оценкой в $10,5 млрд. Далее следуют Азиатско-Тихоокеанский регион с $6 млрд и Европа с $5,7 млрд. Южная Америка, Ближний Восток и Африка сообща обеспечили $2,2 млрд. В список ведущих игроков отрасли входят:

• Tencent;
• Oracle;
• Intel;
• Huawei;
• OpenAI;
• Microsoft;
• Amazon;
• Apple;
• Facebook;
• IBM;
• Baidu;
• Salesforce;
• Nvidia;
• Alibaba;
• Google.

Аналитики Market Research Future полагают, что в дальнейшем среднегодовой темп роста в сложных процентах (CAGR) на рассматриваемом рынке составит 32,15%. Таким образом, к 2032 году затраты в области глубоких нейронных сетей в глобальном масштабе, согласно представленным оценкам, могут достичь $300 млрд.^[3]

2018: Графовые нейросети: мимолетный тренд или за ними будущее

Основная статья: Графовые нейронные сети

Графовые нейронные сети активно применяются в машинном обучении на графах для решения локальных (классификация вершин, предсказание связей) и глобальных (схожесть графов, классификация графов) задач. Локальные методы имеют много примеров применения в обработке текстов, компьютерном зрении и рекомендательных системах. Глобальные методы, в свою очередь, применяются в аппроксимации задач, эффективно не решаемых на современных компьютерах (за исключением квантового компьютера будущего), и используются на стыке компьютерных и естественных наук для предсказания новых свойств и веществ (это актуально, например, при создании новых лекарственных препаратов).

Пика популярности графовые нейросети достигли в 2018 году, когда они стали использоваться и показали высокую эффективность в различных приложениях. Самый известный пример – модель PinSage в рекомендательной системе сервиса Pinterest. С тех пор находится все больше новых применений технологии в областях, где раньше существующие методы были не способны эффективно учитывать в моделях связи между объектами. Подробнее здесь.

Робототехника

Примечания