Демонстрация того, почему ИИ не может добиться высоких результатов

Сюрприз Сюрприз. При всем волнении и беспокойстве по поводу того, что ИИ скоро достигнет уровня человеческого интеллекта или превзойдет его, оказывается, что с 1950-х годов ИИ добился очень незначительного прогресса.

ChatGPT и подобные чат-боты, основанные на новейших и лучших моделях большого языка, до сих пор этого не понимают — они не проходят тест на семантическую неоднозначность.

Знак чат-бота для концепции службы поддержки.

В своем предыдущем посте об Иеошуа Бар-Гиллеле, пионере машинного перевода в начале 1950-х годов, я рассказал истории, которые он рассказал об укрощении львов и компьютеров на Первом ежегодном симпозиуме Американского общества кибернетики в 1967 году. Гилель также перечислил три требования к «машинному интеллекту»: способность манипулировать языком; наличие базовых знаний о мире; а также рассуждения и вычислительные способности — все на уровне выпускника средней школы. По словам Бар-Гиллеля, необходимые усилия для достижения этих предпосылок искусственного интеллекта «будут несравненно больше, чем те, которые необходимы для доставки человека на Венеру».

Пятнадцатью годами ранее, в своем вступительном слове на конференции по машинному переводу, которую он организовал в Массачусетском технологическом институте в июне 1952 года, Бар-Гилель был гораздо более оптимистичен: «Даже если окажется, что ни одно из возможных партнерств машины и мозга не будет более эффективным чем переводчик-человек, в том смысле, что они не будут ни быстрее, ни дешевле, ни точнее, чем переводчик-человек, в условиях, существующих сегодня или в ближайшем будущем, я бы решительно выступал за продолжение этого исследования. Электронные машины, несомненно, станут дешевле, а человеческий мозг, вероятно, станет дороже».

Однако к 1955 году Бар-Гилель стал настроен очень пессимистично. В «Демонстрации неосуществимости полностью автоматического качественного перевода» он писал, что качественный перевод с помощью компьютеров «это всего лишь мечта, которая не сбудется в обозримом будущем». Исследователи машинного перевода, не осознающие «практической бесполезности этой цели», писал Бар-Гилель, ввели в заблуждение своих спонсоров, «не удовлетворившись частично автоматизированной системой перевода, принципы которой сегодня хорошо понятны», вместо этого попросив их подождать «Настоящая вещь, во которую верили и заставили поверить, будет не за горами».

Не за горами, или, как заявила OpenAI в недавнем объявлении, в этом десятилетии может появиться сверхразумный ИИ, «самая впечатляющая технология, которую когда-либо изобрело человечество», и «может привести к лишению человечества возможностей или даже к его исчезновению».

Примером, который Бар-Хилель использовал в своей статье, чтобы продемонстрировать тщетность реализации мечты о высококачественном машинном переводе, было следующее предложение:

Коробка была в загоне.

А вот лингвистический контекст, из которого взято это предложение:

Маленький Джон искал свою коробку с игрушками. Наконец он нашел его. Коробка была в загоне. Джон был очень счастлив.

Бар-Хилель объясняет этот пример семантической двусмысленности:

Предположим, для простоты, что ручка в английском языке имеет только два значения: (1) определенный письменный прибор, (2) ограждение, где маленькие дети могут играть. Я сейчас утверждаю, что ни одна существующая или мыслимая программа не позволит электронному компьютеру определить, что слово ручка в данном предложении в данном контексте имеет второе из вышеперечисленных значений, тогда как каждый читатель, обладающий достаточным знанием английского языка, сделает это «автоматически». ."

Обсуждая решения, предложенные другими исследователями машинного перевода, Бар-Хилель говорит: «Это старое, но тем не менее предубеждение, что учет достаточно обширной лингвистической среды как таковой достаточен для уменьшения семантической двусмысленности данного слова. »

Что ж, таково было состояние обработки естественного языка (НЛП) в 1950-х годах. Однако я был абсолютно уверен, что сегодняшние модели большого языка (LLM), обученные на бесчисленном количестве текстов и способные (параллельно) обрабатывать их, получат «лингвистический контекст» и всегда будут делать это правильно.