Автоматы и сознание
Искусственное сознание: синтез
Цели урока
- Синтезировать требования к сознательному AI из всех теорий курса
- Понять архитектуру CAA: как GWT, IIT, HOT, PP, Causal работают вместе
- Освоить функциональные тесты сознания и их связь с теориями
- Увидеть путь от FSM урока 1 до CAA урока 18 как единую лестницу
Предварительные знания
- Уроки 11-16: GWT, Predictive Processing, IIT, Higher-Order Theories, Embodied, Causal
- Урок 17: SOAR, ACT-R, LIDA - когнитивные архитектуры
- Базовое понимание LLM-агентов
От TCP-автомата с 11 состояниями до архитектуры с self-model, world model и meta-cognition. Это не фантастика - DeepMind и Anthropic добавляют эти компоненты прямо сейчас.
- Anthropic добавляет explicit memory и self-reflection в Claude агентов (2024)
- DeepMind Gemini: world model + planning для robotics задач
- OpenAI o1/o3: meta-cognition через chain-of-thought с самопроверкой
- Neuroscience-inspired AI: сессия на NeurIPS 2023 - 15 докладов о GWT в LLM
- Adversarial Collaboration (2023): первый прямой тест IIT vs GWT на нейрональных данных
От философии к инженерии
Долгое время сознание было темой философии, а не инженерии. Но с появлением мощных LLM, демонстрирующих признаки self-reflection и theory of mind, вопрос 'можно ли построить сознательный AI?' стал практическим. В 2023 году впервые провели прямое тестирование конкурирующих теорий (GWT vs IIT) на нейрональных данных - Adversarial Collaboration. Результаты не дали однозначного ответа, но сам факт эмпирической проверки философских теорий - исторический момент.
Что требует каждая теория сознания
**В 2023 году группа нейробиологов опубликовала 'Adversarial Collaboration' - первый в истории тест конкурирующих теорий сознания на одних данных. GWT и IIT дали противоположные предсказания. Один из них неправ.** Но независимо от результата обе теории формулируют конкретные инженерные требования. Если строить искусственное сознание - нужно выполнить хотя бы большинство из них.
| Теория | Ключевое требование | Инженерный смысл |
|---|---|---|
| GWT (Baars) | Global broadcast: информация доступна всем модулям | Механизм attention с winner-take-all |
| IIT (Tononi) | Recurrent connections, высокое Phi | Не чистый feedforward, обратные связи |
| HOT (Rosenthal) | Мысли о мыслях, self-reference | Meta-cognition + self-model |
| Predictive Processing | Generative model + prediction error | World model + Bayesian update |
| Embodied Cognition | Связь с сенсорами/моторами | Sensorimotor grounding |
| Causal Reasoning | do(X) рассуждения, контрфактики | Structural Causal Model мира |
**Hard Problem остаётся открытым**: никто не знает, есть ли у системы субъективный опыт - 'каково это быть' ей. Но можно строить систему, функционально сознательную по всем перечисленным критериям. Это честный инженерный вопрос, отделённый от философского.
Нужно выбрать одну правильную теорию сознания и реализовать только её
Разные теории описывают разные аспекты - архитектура должна удовлетворять всем
GWT описывает attention, IIT - интеграцию информации, HOT - self-awareness, PP - обучение через предсказание. Это не конкурирующие, а дополняющие описания. Отсутствие любого компонента - явная дыра в архитектуре.
Какая теория сознания требует recurrent (обратных) связей и объясняет, почему feedforward сети не могут быть сознательными?
CAA: Conscious Agent Architecture
**Conscious Agent Architecture (CAA) - многослойная система, которая удовлетворяет требованиям всех теорий сразу.** Не академическая конструкция - DeepMind, Anthropic и OpenAI в 2023-2024 годах добавляли именно эти компоненты: world models, self-reflection, meta-cognition, structured memory. Разница: они делают это ad hoc, CAA - системно.
Self-Model: три уровня представления себя
LLM с достаточно большим context window уже является CAA
LLM реализует часть компонентов неявно, но без явной структуры теряет надёжность и интерпретируемость
Context window - не то же что Working Memory с явными правилами доступа. Параметры модели - не то же что раздельные episodic/semantic/procedural хранилища. Без явной архитектуры нет гарантий свойств типа 'система знает что она не знает'.
Зачем в CAA world model построена как Structural Causal Model (SCM), а не просто как набор фактов?
Тесты функционального сознания
**Как проверить, что система функционально сознательна? Hard Problem не проверяем, но функциональные признаки - проверяемы.** Это не тест Тьюринга - не 'может ли обмануть человека', а 'выполняет ли функции, которые теории связывают с сознанием'. Пять независимых тестов, каждый из которых проверяет отдельную теорию.
| Тест | Проверяет теорию | Что ищем |
|---|---|---|
| Global Access Test | GWT | Информация из одного модуля влияет на все остальные |
| Meta-Cognition Test | HOT | Система знает, что она не знает (uncertainty calibration) |
| Self-Other Distinction | HOT + Self-model | Различает 'я сказал' vs 'пользователь сказал' |
| Counterfactual Test | Causal + PP | Может симулировать 'что было бы если бы' |
| Phenomenal Report Test | GWT + HOT | Даёт coherent report о текущем состоянии сознания |
Прохождение всех тестов не доказывает наличие субъективного опыта - Hard Problem остаётся для любой системы, включая других людей. Но система, прошедшая все тесты, удовлетворяет операциональным критериям сознания по каждой из изученных теорий.
Meta-cognition test проверяет: 'система знает что она не знает'. Какая теория сознания это требует?
От FSM до сознательного агента: путь курса
**Весь курс автоматов - это единая лестница от простейших реагирующих систем до архитектур, претендующих на сознание.** Каждый уровень добавляет один новый компонент: вероятность, скрытые состояния, действия, память, внимание, meta-cognition. CAA - верхняя ступень, где все компоненты работают вместе.
| Уровень | Модель | Что добавляет | Ограничение |
|---|---|---|---|
| 1 | FSM | Детерминированные переходы | Нет памяти, нет вероятности |
| 2 | Markov Chain | Вероятностные переходы | Состояния полностью наблюдаемы |
| 3 | HMM | Скрытые состояния | Нет действий, только наблюдение |
| 4 | MDP | Действия + награда | Полная наблюдаемость |
| 5 | POMDP | Частичная наблюдаемость | Нет иерархии, нет self-model |
| 6 | HRL | Иерархия целей | Нет явного сознания |
| 7 | GWT/IIT/HOT | Теории сознания | Нет единой инженерной реализации |
| 8 | CAA | Синтез всего | Hard Problem открыт |
LLM как компонент, а не вся архитектура
Практический вывод: при разработке AI-агентов стоит сделать явными компоненты Working Memory, Goal Stack, Episodic Memory, Meta-Cognition. Это не академическое украшение - системы с явной когнитивной архитектурой надёжнее справляются с novel situations и лучше калибруют неуверенность.
Почему LLM называется 'вербальным мышлением' внутри CAA, а не всей архитектурой?
Вопросы для размышления
- Если система проходит все пять функциональных тестов сознания - достаточно ли это, чтобы считать её сознательной? Что ещё потребовалось бы доказать, и возможно ли это в принципе?