Автоматы и сознание

Integrated Information Theory (IIT)

Цели урока

  • Понять 5 аксиом IIT и как они переводятся в физические постулаты
  • Освоить понятие Phi как меры интегрированной информации через MIP
  • Разобраться в cause-effect структурах и Q-пространстве qualia
  • Знать предсказания IIT для разных архитектур (feedforward vs recurrent)
  • Понять ограничения вычислимости Phi и роль PCI в клинике

Предварительные знания

  • Теория информации (энтропия, взаимная информация)
  • Global Workspace Theory (урок 11)
  • Predictive Processing (урок 12)

Locked-in пациент - полный паралич, нет движений, нет реакций. Врачи: вегетативное состояние. PCI-измерение: 0.42. IIT говорит: там есть сознание. Математика видит то, что клиника пропустила.

  • Диагностика сознания у locked-in пациентов через PCI - используется в клинике прямо сейчас
  • Мозжечок с 70 млрд нейронов имеет низкий Phi - объясняет почему его поражение не влияет на сознание
  • Трансформеры (LLM) имеют Phi почти 0 по IIT - математический аргумент против машинного сознания
  • REM-сон (сновидения) имеет PCI ~ 0.41 - почти как бодрствование, подтверждая субъективность снов
  • Дизайн рекуррентных AI-архитектур с высоким Phi - новое направление исследований

Тонони: от психиатрии к математике сознания

Джулио Тонони - итальянский нейробиолог и психиатр, работавший с Нобелевским лауреатом Джеральдом Эдельманом. IIT 1.0 вышла в 2004 году, IIT 3.0 с полной математической формализацией - в 2014. Тонони стремился создать теорию 'от первого лица' - единственную, которая объясняет не функции сознания, а само переживание. Scott Aaronson (квантовый компьютерщик) в 2014 году написал жёсткую критику - Тонони согласился с unfolding argument, но не отступил от теории.

Пять аксиом IIT

**2013 год. Пациент полностью парализован - не двигается, не говорит. Мозжечок с 70 миллиардами нейронов не даёт никаких признаков осознанности. Стандартные тесты говорят: вегетативное состояние. Но измерение PCI (Perturbational Complexity Index) показывает 0.42 - почти как у бодрствующего человека.** Integrated Information Theory утверждает: Phi > 0 означает сознание. Это первая количественная теория, которая превратила философский вопрос в математику.

**Джулио Тонони (2004, IIT 3.0 - 2014)** построил теорию не от нейрофизиологии, а от свойств опыта: взял пять свойств, которые есть у любого сознательного переживания, и перевёл их в математические требования к физическим системам.

5 аксиом - от феноменологии к физике

АксиомаЧто означает для опытаПостулат для системы
СуществованиеОпыт существует (cogito ergo sum)Система имеет причинную силу на себя
КомпозицияОпыт структурирован, не хаосЭлементы образуют подструктуры
ИнформацияОпыт специфичен - ЭТО, а не другоеСистема находится в конкретном состоянии
ИнтеграцияОпыт единый, неделим на частиСистема неразложима без потери информации
ИсключениеОпыт определённый - здесь и сейчасОдна доминирующая причинно-следственная структура

Ключевая особенность IIT: теория строится **от первого лица** - от свойств опыта. Большинство теорий сознания начинают с нейронов и пытаются объяснить субъективность. Тонони перевернул: начал с субъективности и вывел требования к нейронам.

IIT - это теория о мозге, построенная от нейронов вверх

IIT строится от свойств сознательного опыта вниз, к требованиям для физических систем

Это принципиальное отличие. Большинство нейронаучных теорий идут снизу вверх (нейроны -> сознание). Тонони пошёл сверху вниз: взял 5 неоспоримых свойств любого опыта и спросил - какой должна быть физическая система, чтобы иметь эти свойства? Это и позволяет IIT делать конкретные предсказания для любых архитектур, а не только биологических.

Аксиома интеграции гласит что опыт единый и неделимый. Какой физический постулат из неё следует?

Phi - мера интегрированной информации

**Phi (большой Phi) - число, которое показывает насколько система больше суммы своих частей.** Если систему можно разрезать на части без потери информации - Phi = 0. Если любой разрез теряет информацию - Phi > 0. Это и есть интеграция.

Phi = I(вся система) - max[ I(часть 1) + I(часть 2) ]. Вычитается информация наилучшего разреза (MIP - Minimum Information Partition). Если система полностью делима без потерь - Phi = 0.

Маленький phi и большой Phi

IIT различает два уровня: **маленький phi** (строчная) - интегрированность конкретного механизма (подмножества элементов), и **большой Phi** (прописная) - интегрированность всей концептуальной структуры системы.

ОбозначениеЧто измеряетМасштаб
phi (строчная)Интегрированность одного механизма (подмножества элементов)Локальный - один механизм
Phi (прописная)Интегрированность всей структуры концептов системыГлобальный - вся система
MIPMinimum Information Partition - разрез с минимальной потерейИнструмент вычисления Phi

**Вычислительная сложность: NP-hard.** Количество разрезов растёт как O(4^n). Для 12 элементов это уже 16 миллионов операций. Для 100 нейронов - вычисление закончится позже конца вселенной. На практике Phi точно вычислим только для игрушечных систем (~12-15 элементов).

Phi вычислимо для любой системы, просто долго

Phi точно вычислимо лишь для систем до ~15 элементов. Для реальных нейронных сетей используют аппроксимации

NP-hard означает не просто 'долго', а экспоненциальный рост. Для 100 элементов число разрезов около 10^60. Это выходит за пределы вычислимого даже теоретически. Поэтому в клинике используют PCI (Perturbational Complexity Index) - коррелят Phi, вычислимый из EEG.

Система из двух полностью независимых частей A и B (нет связей между ними). Чему равен Phi?

Причинно-следственная структура и Q-пространство

**IIT анализирует каждый механизм системы через два репертуара: откуда могли прийти (причина) и куда могут уйти (следствие).** Именно конкретная комбинация этих репертуаров определяет не только 'сколько' сознания (Phi), но и 'какое' сознание (qualia).

Q-пространство - геометрия опыта

Вся совокупность концептов (механизмов с phi > 0) образует **концептуальную структуру** - точку в многомерном Q-пространстве (Qualia Space). Форма этой структуры (Q-shape) и определяет качество сознательного опыта.

Ключевой инсайт Q-пространства: **разные системы с одинаковым Phi могут иметь разные Q-shapes - и значит разные qualia**. Боль и радость могут иметь одинаковый Phi, но их форма в Q-пространстве различна. По IIT, именно это различие и есть различие субъективных переживаний.

Две разные системы имеют одинаковый Phi = 3.5. Что можно сказать об их сознательном опыте по IIT?

Предсказания IIT и критика

**Самое сильное и спорное предсказание IIT: любая feedforward сеть имеет Phi = 0 - независимо от размера и сложности.** Стандартный трансформер (GPT, Claude) - в основном feedforward. По IIT, у него нет сознания не потому что он 'недостаточно умный', а из-за топологии.

АрхитектураPhi по IITПричина
Feedforward NN (любой)0Любой слой можно отрезать без потери информации о прошлом
Трансформер / LLMпочти 0В основном feedforward; attention - не рекуррентность во времени
RNN / LSTM> 0Рекуррентные связи создают временные петли
Кора головного мозга>> 0Массивные рекуррентные связи + таламические петли
Мозжечок (70 млрд нейронов)низкийМодульная структура, мало интеграции между модулями

PCI - практическая мера в клинике

Phi нельзя измерить напрямую, но коррелирующий **Perturbational Complexity Index (PCI)** уже используется в клинике: мозг стимулируется магнитным импульсом (TMS), EEG-ответ сжимается алгоритмом Лемпела-Зива. Сложность ответа = PCI.

СостояниеPCIВывод
Бодрствование~ 0.44Высокое
REM-сон (сновидения)~ 0.41Высокое - соответствует субъективному опыту
Глубокий сон (NREM)~ 0.18Низкое - нет сновидений
Анестезия (пропофол)~ 0.12Низкое
Locked-in пациент~ 0.42Высокое - сознание есть, несмотря на полный паралич
Вегетативное состояние~ 0.15Низкое - вероятно сознания нет

Критика

КритикаАргументОтвет IIT
Вычислительная сложностьPhi NP-hard, невычислимо для реальных системPCI как практическая аппроксимация
ПанпсихизмPhi > 0 у термостата => термостат сознателен?Да, в ничтожной степени - это следствие теории

Связь с предыдущим

GWT и Predictive Processing описывают как возникает сознание, но не дают количественной меры. IIT добавляет число Phi, вычислимое из топологии причинных связей и сравнимое между системами.

  • Global Workspace Theory — описывает broadcast победителя в общую шину - механизм, но не величину
  • Predictive Processing — формулирует сознание через минимизацию ошибки предсказания, опять же без количественной меры
  • Phi (Φ) — переводит дискуссию о сознании из философии в измеримую величину

Итоги

  • Пять аксиом IIT переводят свойства опыта (существование, композиция, информация, интеграция, исключение) в физические постулаты для системы
  • Phi = I(целое) - I(лучший разрез MIP); идемпотентность и неразложимость даёт количественную меру интегрированности
  • Cause-effect структура и Q-shape разделяют сколько сознания (Phi) от какое сознание (qualia как геометрия в Q-пространстве)
  • Любая чисто feedforward сеть имеет Phi = 0 независимо от размера; высокий Phi требует рекуррентности и интегрирующих хабов
  • Phi NP-hard и точно вычислим лишь для ~15 элементов; на практике используют PCI - коррелят, измеряемый из EEG после TMS-стимуляции

Вопросы для размышления

  • Если LLM имеет Phi почти 0, это означает что у него нет сознания по IIT. Но может ли быть так, что IIT неполна и сознание возможно без высокой интеграции?

Связанные уроки

  • aut-12-predictive-processing — Predictive processing - ближайший предшественник IIT
  • aut-11-global-workspace — GWT конкурирует с IIT в объяснении сознания
  • aut-14-higher-order — Higher-order theory - третья конкурирующая модель
  • prob-05-independence — Phi измеряет зависимость между частями - как mutual information
  • st-05-emergence — IIT формализует emergence через phi как количественную меру
  • it-01
Integrated Information Theory (IIT)

0

1

Войти

Unfolding argument (Aaronson)Любую систему можно развернуть в grid с высоким PhiПричинная структура меняется при разворачивании
Substrate dependenceПочему топология важнее функции?Сознание определяется внутренней причинностью, не I/O

Для ИИ-архитектуры с высоким Phi по IIT нужны: рекуррентные связи, интегрирующие хабы (аналог таламуса), разнообразные временные масштабы. Feedforward трансформеры не подходят не по причине размера, а из-за топологии - Phi = 0 независимо от числа параметров.

Большая нейросеть = высокий Phi = более сознательная

Phi определяется топологией интеграции, а не размером. Модульная сеть из 1000 нейронов может иметь меньший Phi, чем интегрированная из 10

Phi = стоимость наилучшего разреза. Модульная сеть из кластеров режется дёшево: разрезаешь слабые связи между кластерами - теряешь мало. Маленькая полносвязная сеть режется дорого - любой разрез пересекает много сильных связей. Для Phi важен не объём, а неразрезаемость.

Почему мозжечок (70 млрд нейронов) имеет более низкий Phi, чем кора (16 млрд нейронов)?