The first experiment ended with a negative verdict that we had announced in advance, and the honest move was not to argue with it but to ask what exactly had failed: the idea, the instrument, or the world. It turned out to be the world. This note explains how a dead end in one experiment became the hypothesis of the next one, and what would count as a refutation.
We run a tiny world on a grid: creatures with a small neural network, food, energy, death, no reward and no judge. The rule of the project is that criteria are declared before the runs and the verdict is not rewritten afterwards. That rule is what makes a failure informative.
Stage 1 asked whether selection alone, with no reward function, makes behaviour depend on a creature's own internal state. The treatment let a creature sense its own energy; the control shuffled that same signal among creatures, preserving the distribution exactly and removing only self-knowledge. We declared a double criterion in advance: a paired test at p<0.01, and a gap larger than twice the between-seed spread of the world itself.
At forty accumulated seeds the paired test is overwhelming, p = 6·10⁻⁷, and the effect is specific: knowing yourself beats a neighbour's signal, which in turn is indistinguishable from noise. The second criterion never came close. The gap between treatment and control is 0.019 bits, and two sigma of the between-seed spread is 0.053 bits.
The useful number is the ratio of the two. At twelve seeds it was 0.47, at forty it is 0.37. Three orders of magnitude of extra statistical confidence bought no movement at all towards the criterion that mattered. That is not a call for more seeds. It says the world produces swings between seeds larger than the effect we are chasing, and no amount of accumulation fixes that.
Stage 1 drowned in the noise of the world. Stage 2, cooperation under scarcity, failed to reproduce a published phase transition, and we found out why: our giving action created net energy, so cooperation was tangled up with population growth and the test was invalid on this engine, artefact rather than result.
Stage 3 is where it got interesting. We gave creatures marks they could leave in the world and lifetime plasticity to learn with, and asked Vygotsky's question: does a sign made for another become a tool for oneself? The answer was no, and worse, the developmental order test returned the verdict instinct: self-directed use of a mark was there from birth, influence on others was near zero, and the mark worked as private external memory.
But the pilot also reported something we filed as a side note: with plasticity switched on, the evolving learning rate fell by half in fifteen thousand ticks, while with plasticity off the same gene drifted at random. Selection was actively switching learning off. We recorded it as an obstacle, because it makes the developmental test impossible: with nothing changing within a life, there is nothing to measure the order of.
Kozielska and Weissing (PLoS Computational Biology, 2024) modelled exactly this and state the conditions under which learning evolves: the environment must change often and strongly, life must be long enough for learning to repay its cost, and feedback must be informative. Against learning: rare or small changes, short lives, and a narrow spread of outcomes that makes sampling uninformative.
Now look at our world. Median life is five to eight hundred ticks; the season is a sine wave with a period of five thousand. Everything worth knowing about such a world can be written into the genome, so learning within a life buys nothing and its cost is selected away. Our C.1 result was not a failure of the idea of development. It was the second half of someone else's prediction, reproduced by accident.
Which immediately hands us the first half as a question we had never tested: does selection switch learning on where the world changes its rules faster than generations turn over? If it does, the developmental order test finally gets a world it can be run in.
Food comes in two colours in fine patches. At any moment one colour is nourishing and the other is poisonous: a bite of the wrong one takes away half of what the right one would give. The rule flips at unpredictable moments, on average once per lifetime, with the switching schedule drawn from a separate generator seeded only by the seed, so every condition with the same interval sees the same schedule and the comparison stays paired.
The point of unpredictability is that a genome cannot encode it. A creature cannot be born knowing which colour is edible today, because the moments of change are random. It can learn it within a life, and the only thing it can learn is a single plastic connection from colour to the act of eating, which we call taste. Taste is inherited like any other weight, mutates like any other weight, and changes during life by a three-factor rule: what you ate, what it did to your energy, and how fast you learn. That last quantity, the learning rate, is itself a gene: it is inherited, it mutates, and selection can raise or lower it. It is the number the whole experiment watches.
One synapse is a deliberate restriction, and it cost us a day of pilots to accept. A general Hebbian rule over the whole output layer does not work here: at a learning rate fast enough to relearn a taste in a few bites, it tears the rest of the policy apart within a hundred ticks, and at a rate slow enough to leave the policy intact, relearning takes hundreds of bites and the population dies at the first switch. Per-synapse rates, a hand-built reflex neuron and a dead zone on the modulator did not rescue it. With one plastic synapse the question becomes when lifetime learning is worth having, rather than whether one particular plasticity rule can hold a whole behaviour together. We will not generalise the answer beyond that.
Six conditions run on the same seeds from the same ancestor: the rule never changes; it changes every five thousand ticks; every six hundred, which is about one lifetime, and this is the treatment; every hundred and fifty, which is several times per lifetime; then the same six-hundred world with learning disabled, and the stationary world with learning disabled. The last two are ablations: the learning rate gene exists and drifts, but the rule is never applied. That gives us a measurement of what the gene does when it does nothing, which is the honest baseline for calling any change in it selection.
The main hypothesis needs three things at once. The learning rate in the changing world must be higher than in the stationary one by a paired test at p<0.01. The gap must exceed twice the spread of the same gene in the world where it is inert. And the ablation must show that learning actually helps: worlds without it must die more often, by an exact paired test on the seeds where the two outcomes differ.
The third condition was added after an outside reading of our design, before a single line of data existed. The argument for it is short. A parameter can rise for reasons that have nothing to do with its usefulness: linkage with a neighbouring gene, the bottleneck of the first switch where a small random sample survives and its value becomes the population's value, or plain drift at low effective population size. None of those predicts a difference in survival between a world that learns and a world that does not. The ablation separates them, we already have it, so it belongs in the main criterion rather than beside it. If the gene grows and the ablation shows nothing, the verdict is not a confirmation; it is called growth without benefit.
The learning rate does not rise in any changing condition: the rule or the world gives learning no chance, and the result is negative and published as is. The rate rises in the stationary world too: then the rise has nothing to do with the changing rule. More than half of the treatment worlds die out: the world does not survive its own switch, there is nothing to compare, and the protocol is replaced by a new version rather than tuned until it behaves. Learning does not help survival: growth without benefit, as above. Fewer than five informative pairs: the instrument is blind and we wait. And the whole design rests on lives being long enough to relearn within one, which the pilot checked before anything else.
The first switch is a bottleneck by construction: most creatures born with an innate taste are poisoned or starve, and the survivors are the ones that relearned in time. Sometimes nobody survives. We consider that a legitimate outcome rather than a bug, which is why it is written down as a failure boundary in advance and counted separately in the journal.
It will not show that a general learning rule evolves, because we deliberately made only one synapse plastic. It will not show anything about a different world: one grid, one metabolism, one brain size. It will not say anything about mind or consciousness, and we have stopped using those words for what we measure.
The connection to the larger argument is narrower than it looks, and worth stating precisely. Continual learning is currently named by several people building large models as the thing that is missing, and there is a matching result on the other side: standard backpropagation run continually loses its ability to learn at all (Dohare, Sutton and colleagues, Nature, 2024). Their learning breaks by itself; ours is switched off by selection. The shared question underneath is when learning within a life is worth its cost. We are testing that question at the scale of a toy, on a grid, with one synapse. That is the whole claim.
Every day the GitHub servers compute two new seeds across all six conditions and the observation journal recalculates everything accumulated. Three readings are declared: at ten, twenty and forty seeds. Everything between them is marked as interim and claims nothing, because stopping the moment a number looks good is the fastest way to fool yourself.
The live version in your browser is a showcase of the method rather than a source of numbers, and it differs from the daily run in four documented ways. Its worlds die and restart in front of you, which is the honest picture of what the first switch does.
Первый эксперимент закончился отрицательным вердиктом, объявленным заранее, и честным ходом было не спорить с ним, а спросить, что именно не сработало: идея, прибор или мир. Оказалось, мир. Эта заметка о том, как тупик одного эксперимента стал гипотезой следующего, и что мы засчитаем за опровержение.
Мы гоняем крошечный мир на сетке: существа с маленькой нейросетью, еда, энергия, смерть, никакой награды и никакого судьи. Правило проекта простое: критерии объявляются до прогонов, а вердикт задним числом не переписывается. Именно это правило и делает провал информативным.
Первый этап спрашивал, достаточно ли одного отбора, без всякой функции награды, чтобы поведение стало зависеть от собственного внутреннего состояния существа. В лечении существо чувствовало свою энергию, в контроле тот же сигнал переставлялся между особями: распределение сохранялось бит в бит, убиралось ровно одно, знание о себе. Двойной критерий был объявлен заранее: парный тест при p<0,01 и разрыв больше удвоенного разброса самого мира между семенами.
На сорока накопленных семенах парный тест подавляюще уверен, p = 6·10⁻⁷, и эффект специфичен: знание о себе обгоняет сигнал соседа, а тот неотличим от шума. Второй критерий не был пройден даже близко. Разрыв между лечением и контролем 0,019 бита, а две сигмы межсидового разброса 0,053 бита.
Полезно смотреть не на них по отдельности, а на их отношение. На двенадцати семенах оно было 0,47, на сорока стало 0,37. Три порядка дополнительной статистической уверенности не сдвинули нас к тому критерию, который имел значение. Это не повод копить дальше. Это значит, что мир производит колебания между семенами больше того эффекта, который мы ловим, и накоплением такое не лечится.
Первый этап утонул в шуме мира. Второй, кооперация при нехватке ресурса, не воспроизвёл опубликованный фазовый переход, и мы выяснили почему: наше действие «отдать» создавало чистую энергию, поэтому кооперация оказалась связана с ростом численности, и тест на этом движке был некорректен. Артефакт, а не результат.
Интереснее всего вышло на третьем этапе. Мы дали существам метки, которые можно оставлять в мире, и прижизненную пластичность, чтобы было чем учиться, и задали вопрос Выготского: становится ли знак, возникший для другого, средством для себя? Ответ был отрицательный, и хуже того: тест порядка развития дал вердикт «инстинкт». Самонаправленное использование метки присутствовало с рождения, влияния на других почти не было, и метка работала как приватная внешняя память.
Но пилот сообщил и то, что мы записали как побочное наблюдение: при включённой пластичности эволюционирующая скорость обучения падала вдвое за пятнадцать тысяч тиков, а при выключенной тот же ген дрейфовал случайно. Отбор активно выключал обучение. Мы занесли это в помехи, потому что без изменений внутри жизни тест порядка развития невозможен в принципе: измерять просто нечего.
Kozielska и Weissing (PLoS Computational Biology, 2024) смоделировали ровно это и называют условия, при которых обучение эволюционирует: среда должна меняться часто и сильно, жизнь должна быть достаточно длинной, чтобы обучение окупилось, а обратная связь должна быть информативной. Против обучения работают редкие или малые изменения, короткая жизнь и узкий разброс исходов, при котором выборка ничего не сообщает.
Теперь посмотрите на наш мир. Медианная жизнь пятьсот-восемьсот тиков, сезон синусоида с периодом в пять тысяч. Всё, что стоит знать о таком мире, записывается в геном, поэтому обучение при жизни не даёт ничего, а его цену отбор снимает. Наш результат C.1 был не провалом идеи развития. Это была вторая половина чужого предсказания, воспроизведённая нечаянно.
И тем самым первая половина превращается в вопрос, который мы никогда не проверяли: включает ли отбор обучение там, где мир меняет правила быстрее, чем сменяются поколения? Если включает, у теста порядка развития наконец появляется мир, в котором его можно поставить.
Еда бывает двух цветов, мелкими пятнами. В каждый момент один цвет питателен, другой ядовит: укус не того отнимает половину того, что дал бы правильный. Правило переворачивается в непредсказуемые моменты, в среднем раз в жизнь, а расписание смен берётся из отдельного генератора, засеянного только семенем, поэтому все условия с одним интервалом видят одно и то же расписание и сравнение остаётся парным.
Смысл непредсказуемости в том, что геном её не запишет. Существо не может родиться со знанием, какой цвет съедобен сегодня, потому что моменты смен случайны. Выучить при жизни можно, и учится ровно одна пластичная связь: от цвета к действию «есть». Мы называем её вкусом. Вкус наследуется как обычный вес, мутирует как обычный вес и меняется при жизни по трёхфакторному правилу: что ел, что это сделало с энергией и с какой скоростью ты учишься. Последняя величина, скорость обучения, сама является геном: наследуется, мутирует, и отбор может её поднять или опустить. Это и есть число, за которым следит весь эксперимент.
Один синапс это намеренное ограничение, и принять его стоило дня пилотов. Общее правило Хебба на всём выходном слое здесь не работает: при скорости, достаточной, чтобы переучить вкус за несколько укусов, оно разваливает остальную политику за сотню тиков, а при скорости, при которой политика цела, переучивание занимает сотни укусов и популяция гибнет на первой же смене. Поштучные скорости на синапсах, рукописный рефлекторный нейрон и мёртвая зона модулятора этого не спасли. С одним пластичным синапсом вопрос становится про то, когда прижизненное обучение выгодно, а не про то, удержит ли конкретное правило пластичности всё поведение. Обобщать ответ за эти пределы мы не будем.
Шесть условий на одних и тех же семенах и с одним предком: правило не меняется; меняется раз в пять тысяч тиков; раз в шестьсот, то есть примерно раз в жизнь, и это лечение; раз в полтораста, то есть несколько раз за жизнь; затем тот же мир с шестьюстами, но с отключённым обучением, и стационарный мир с отключённым обучением. Последние два это абляции: ген скорости существует и дрейфует, но правило не применяется. Так мы получаем измерение того, что делает ген, когда он не делает ничего, и это честная точка отсчёта, чтобы называть любое его изменение отбором.
Главной гипотезе нужны три вещи сразу. Скорость обучения в меняющемся мире должна быть выше, чем в стационарном, по парному тесту при p<0,01. Разрыв должен превышать удвоенный разброс того же гена в мире, где он инертен. И абляция должна показать, что обучение действительно помогает: миры без него обязаны гибнуть чаще, по точному парному тесту на тех семенах, где исходы разошлись.
Третье условие добавлено после внешнего разбора нашего дизайна, до того как появилась хоть одна строка данных. Аргумент за него короткий. Параметр может расти по причинам, не имеющим отношения к его полезности: сцепление с соседним геном, горлышко первой смены, где выживает малая случайная выборка и её значение становится значением всей популяции, или обычный дрейф при малой эффективной численности. Ни одно из этих объяснений не предсказывает разницы в выживании между миром, который учится, и миром, который не учится. Абляция их разводит, она у нас уже есть, и потому ей место в главном критерии, а не рядом с ним. Если ген вырос, а абляция ничего не показала, это не подтверждение, и называется оно «рост без пользы».
Скорость обучения не растёт ни в одном меняющемся условии: значит, правило или мир не дают обучению шанса, результат отрицательный и публикуется как есть. Скорость растёт и в стационарном мире: значит, рост не связан со сменой правила. Больше половины миров-лечений вымирают: мир не переживает собственной смены, сравнивать не на чем, и протокол заменяется новой версией, а не подкручивается, пока не начнёт вести себя прилично. Обучение не помогает выжить: тот самый «рост без пользы». Меньше пяти информативных пар: прибор слеп, ждём. И весь дизайн держится на том, что жизнь достаточно длинна, чтобы переучиться внутри неё, а это пилот проверил раньше всего остального.
Первая смена правила это узкое горлышко по построению: большинство существ с врождённым вкусом травится или голодает, а выживают те, кто успел переучиться. Иногда не выживает никто. Мы считаем это законным исходом, а не сбоем, поэтому он записан как граница провала заранее и считается в журнале отдельно.
Он не покажет, что эволюционирует общее правило обучения, потому что пластичным мы намеренно сделали один синапс. Он не скажет ничего про другой мир: одна сетка, один метаболизм, один размер мозга. И он не скажет ничего про разум или сознание, а этими словами мы перестали называть то, что измеряем.
Связь с большим спором уже, чем кажется, и её стоит сформулировать точно. Непрерывное обучение сейчас называют недостающим сразу несколько человек, строящих большие модели, и с другой стороны есть парный результат: обычное обратное распространение в непрерывном режиме само теряет способность учиться (Dohare, Sutton и соавторы, Nature, 2024). У них обучение ломается само, у нас его выключает отбор. Общий вопрос под этим один: когда обучение внутри жизни окупает свою цену. Мы проверяем этот вопрос в масштабе игрушки, на сетке, на одном синапсе. Вот и всё заявление.
Каждый день серверы GitHub считают два новых семени по всем шести условиям, а журнал наблюдений пересчитывает всё накопленное. Объявлено три чтения: на десяти, двадцати и сорока семенах. Всё между ними помечено как промежуточное и ничего не заявляет, потому что остановиться в тот момент, когда число понравилось, это самый быстрый способ обмануть себя.
Живая версия в вашем браузере это витрина метода, а не источник чисел, и она отличается от суточного прогона четырьмя заявленными пунктами. Её миры гибнут и перезапускаются у вас на глазах, и это честная картина того, что делает первая смена правила.
Das erste Experiment endete mit einem negativen Urteil, das wir vorab erklärt hatten, und der ehrliche Zug war nicht, mit ihm zu streiten, sondern zu fragen, was genau gescheitert ist: die Idee, das Messgerät oder die Welt. Es war die Welt. Diese Notiz erzählt, wie die Sackgasse eines Experiments zur Hypothese des nächsten wurde, und was wir als Widerlegung gelten lassen.
Wir betreiben eine winzige Welt auf einem Gitter: Wesen mit einem kleinen neuronalen Netz, Futter, Energie, Tod, keine Belohnung und kein Schiedsrichter. Die Regel des Projekts ist einfach: Kriterien werden vor den Läufen erklärt, und das Urteil wird nachträglich nicht umgeschrieben. Genau diese Regel macht ein Scheitern informativ.
Stufe 1 fragte, ob Selektion allein, ganz ohne Belohnungsfunktion, das Verhalten vom eigenen inneren Zustand eines Wesens abhängig macht. In der Behandlung spürte das Wesen seine eigene Energie, in der Kontrolle wurde dasselbe Signal unter den Wesen gemischt: die Verteilung blieb Bit für Bit erhalten, entfernt wurde genau eines, das Wissen über sich selbst. Ein doppeltes Kriterium war vorab erklärt: ein gepaarter Test bei p<0,01 und ein Abstand grösser als das Doppelte der Streuung der Welt selbst zwischen den Samen.
Bei vierzig gesammelten Samen ist der gepaarte Test erdrückend, p = 6·10⁻⁷, und der Effekt ist spezifisch: Selbstwahrnehmung schlägt das Signal des Nachbarn, und dieses ist von Rauschen nicht zu unterscheiden. Das zweite Kriterium wurde nicht einmal annähernd erreicht. Der Abstand beträgt 0,019 Bit, zwei Sigma der Streuung zwischen den Samen 0,053 Bit.
Aufschlussreich ist nicht jede Zahl für sich, sondern ihr Verhältnis. Bei zwölf Samen lag es bei 0,47, bei vierzig bei 0,37. Drei Grössenordnungen zusätzlicher statistischer Sicherheit haben uns dem entscheidenden Kriterium keinen Schritt näher gebracht. Das ist kein Grund weiterzusammeln. Es heisst, dass die Welt zwischen den Samen stärker schwankt als der Effekt, den wir jagen, und dagegen hilft kein Sammeln.
Stufe 1 ertrank im Rauschen der Welt. Stufe 2, Kooperation bei Knappheit, reproduzierte einen veröffentlichten Phasenübergang nicht, und wir fanden heraus warum: unser Geben erzeugte Nettoenergie, sodass Kooperation mit dem Populationswachstum verkoppelt war und der Test auf dieser Engine ungültig blieb. Ein Artefakt, kein Ergebnis.
Am interessantesten wurde es auf Stufe 3. Wir gaben den Wesen Markierungen, die sie in der Welt hinterlassen können, und lebenslange Plastizität, mit der sich lernen lässt, und stellten die Frage Wygotskis: wird ein Zeichen, das für einen anderen entstand, zum Mittel für sich selbst? Die Antwort war nein, und schlimmer: der Test der Entwicklungsreihenfolge ergab das Urteil Instinkt. Der selbstbezogene Gebrauch war von Geburt an da, der Einfluss auf andere nahezu null, und die Markierung wirkte als privates äusseres Gedächtnis.
Der Pilot meldete aber noch etwas, das wir als Randnotiz ablegten: bei eingeschalteter Plastizität halbierte sich die evolvierende Lerngeschwindigkeit in fünfzehntausend Ticks, bei ausgeschalteter driftete dasselbe Gen zufällig. Die Selektion schaltete das Lernen aktiv ab. Wir verbuchten es als Hindernis, denn ohne Veränderung innerhalb eines Lebens ist der Entwicklungstest grundsätzlich unmöglich: es gibt schlicht nichts zu messen.
Kozielska und Weissing (PLoS Computational Biology, 2024) haben genau das modelliert und nennen die Bedingungen, unter denen Lernen evolviert: die Umwelt muss sich oft und stark ändern, das Leben muss lang genug sein, damit Lernen sich rechnet, und die Rückmeldung muss informativ sein. Gegen das Lernen wirken seltene oder kleine Änderungen, kurze Leben und eine enge Streuung der Ergebnisse, bei der Stichproben nichts mitteilen.
Nun unsere Welt: das mittlere Leben dauert fünf- bis achthundert Ticks, die Jahreszeit ist eine Sinuskurve mit Periode fünftausend. Alles, was über eine solche Welt zu wissen lohnt, lässt sich ins Genom schreiben, also bringt Lernen im Leben nichts, und seine Kosten nimmt die Selektion weg. Unser Ergebnis C.1 war kein Scheitern der Entwicklungsidee. Es war die zweite Hälfte einer fremden Vorhersage, versehentlich reproduziert.
Damit wird die erste Hälfte zur Frage, die wir nie geprüft haben: schaltet die Selektion das Lernen dort ein, wo die Welt ihre Regeln schneller ändert, als die Generationen wechseln? Wenn ja, bekommt der Test der Entwicklungsreihenfolge endlich eine Welt, in der er sich stellen lässt.
Futter gibt es in zwei Farben, in feinen Flecken. Zu jedem Zeitpunkt ist eine Farbe nahrhaft und die andere giftig: ein Biss der falschen nimmt die Hälfte dessen, was die richtige gäbe. Die Regel kippt zu unvorhersehbaren Zeitpunkten, im Schnitt einmal pro Leben, und der Wechselplan stammt aus einem eigenen Generator, der nur vom Samen abhängt, sodass alle Bedingungen mit gleichem Intervall denselben Plan sehen und der Vergleich gepaart bleibt.
Der Sinn der Unvorhersehbarkeit ist, dass ein Genom sie nicht speichern kann. Ein Wesen kann nicht mit dem Wissen geboren werden, welche Farbe heute essbar ist, denn die Zeitpunkte sind zufällig. Im Leben lernen lässt es sich, und gelernt wird genau eine plastische Verbindung: von der Farbe zur Handlung Fressen. Wir nennen sie Geschmack. Der Geschmack wird wie jedes Gewicht vererbt, mutiert wie jedes Gewicht und ändert sich im Leben nach einer Drei-Faktoren-Regel: was du gefressen hast, was es mit deiner Energie tat, und wie schnell du lernst. Diese letzte Grösse, die Lerngeschwindigkeit, ist selbst ein Gen: vererbt, mutierend, und die Selektion kann sie heben oder senken. Sie ist die Zahl, auf die das ganze Experiment schaut.
Ein Synapse ist eine bewusste Einschränkung, und sie zu akzeptieren kostete einen Tag Piloten. Eine allgemeine hebbsche Regel über die ganze Ausgabeschicht funktioniert hier nicht: bei einer Geschwindigkeit, die zum Umlernen in wenigen Bissen reicht, zerreisst sie die übrige Politik in hundert Ticks, und bei einer Geschwindigkeit, die die Politik heil lässt, dauert das Umlernen Hunderte Bisse und die Population stirbt beim ersten Wechsel. Geschwindigkeiten pro Synapse, ein handgebautes Reflexneuron und eine Totzone am Modulator retteten es nicht. Mit einer plastischen Synapse lautet die Frage, wann lebenslanges Lernen sich lohnt, statt ob eine bestimmte Plastizitätsregel ein ganzes Verhalten zusammenhält. Über diese Grenze hinaus verallgemeinern wir die Antwort nicht.
Sechs Bedingungen auf denselben Samen und mit demselben Ahnen: die Regel ändert sich nie; sie ändert sich alle fünftausend Ticks; alle sechshundert, also etwa einmal pro Leben, und das ist die Behandlung; alle hundertfünfzig, also mehrmals pro Leben; dann dieselbe Sechshundert-Welt mit abgeschaltetem Lernen und die stationäre Welt mit abgeschaltetem Lernen. Die letzten beiden sind Ablationen: das Geschwindigkeitsgen existiert und driftet, die Regel wird aber nie angewandt. So messen wir, was das Gen tut, wenn es nichts tut, und das ist der ehrliche Nullpunkt, um jede Veränderung Selektion zu nennen.
Die Haupthypothese braucht drei Dinge gleichzeitig. Die Lerngeschwindigkeit in der wechselnden Welt muss höher sein als in der stationären, nach einem gepaarten Test bei p<0,01. Der Abstand muss die doppelte Streuung desselben Gens in der Welt übertreffen, in der es untätig ist. Und die Ablation muss zeigen, dass Lernen tatsächlich hilft: Welten ohne Lernen müssen häufiger sterben, nach einem exakten gepaarten Test auf den Samen, bei denen die Ausgänge auseinandergehen.
Die dritte Bedingung kam nach einer externen Durchsicht unseres Designs hinzu, bevor eine einzige Datenzeile existierte. Das Argument ist kurz. Ein Parameter kann aus Gründen wachsen, die mit seinem Nutzen nichts zu tun haben: Kopplung mit einem Nachbargen, das Nadelöhr des ersten Wechsels, bei dem eine kleine zufällige Stichprobe überlebt und ihr Wert zum Wert der Population wird, oder schlichter Drift bei kleiner effektiver Populationsgrösse. Keines davon sagt einen Unterschied im Überleben zwischen einer lernenden und einer nicht lernenden Welt voraus. Die Ablation trennt sie, wir haben sie ohnehin, also gehört sie ins Hauptkriterium und nicht daneben. Wächst das Gen und zeigt die Ablation nichts, ist das keine Bestätigung, sondern heisst Wachstum ohne Nutzen.
Die Lerngeschwindigkeit steigt in keiner wechselnden Bedingung: dann geben Regel oder Welt dem Lernen keine Chance, das Ergebnis ist negativ und wird so veröffentlicht. Sie steigt auch in der stationären Welt: dann hat der Anstieg mit dem Regelwechsel nichts zu tun. Mehr als die Hälfte der Behandlungswelten stirbt aus: die Welt übersteht ihren eigenen Wechsel nicht, es gibt nichts zu vergleichen, und das Protokoll wird durch eine neue Version ersetzt, statt so lange gedreht zu werden, bis es sich benimmt. Lernen hilft dem Überleben nicht: eben Wachstum ohne Nutzen. Weniger als fünf informative Paare: das Messgerät ist blind, wir warten. Und das ganze Design steht darauf, dass ein Leben lang genug ist, um darin umzulernen, was der Pilot vor allem anderen geprüft hat.
Der erste Wechsel ist konstruktionsbedingt ein Nadelöhr: die meisten Wesen mit angeborenem Geschmack werden vergiftet oder verhungern, und es überleben die, die rechtzeitig umgelernt haben. Manchmal überlebt niemand. Wir halten das für einen legitimen Ausgang und keinen Fehler, deshalb steht es vorab als Fehlergrenze fest und wird im Journal getrennt gezählt.
Es zeigt nicht, dass eine allgemeine Lernregel evolviert, denn plastisch haben wir absichtlich nur eine Synapse gemacht. Es sagt nichts über eine andere Welt: ein Gitter, ein Stoffwechsel, eine Hirngrösse. Und es sagt nichts über Geist oder Bewusstsein, und diese Wörter benutzen wir für das, was wir messen, nicht mehr.
Die Verbindung zur grösseren Debatte ist enger, als sie aussieht, und sollte genau benannt werden. Kontinuierliches Lernen wird derzeit von mehreren Leuten, die grosse Modelle bauen, als das Fehlende bezeichnet, und von der anderen Seite gibt es ein passendes Ergebnis: gewöhnliche Rückpropagierung verliert im kontinuierlichen Betrieb von selbst die Fähigkeit zu lernen (Dohare, Sutton und Kollegen, Nature, 2024). Dort bricht das Lernen von allein, bei uns schaltet es die Selektion ab. Die gemeinsame Frage darunter ist, wann Lernen im Leben seine Kosten wert ist. Wir prüfen sie im Massstab eines Spielzeugs, auf einem Gitter, an einer Synapse. Mehr behaupten wir nicht.
Täglich rechnen die GitHub-Server zwei neue Samen über alle sechs Bedingungen, und das Beobachtungsjournal rechnet alles Gesammelte neu. Drei Ablesungen sind erklärt: bei zehn, zwanzig und vierzig Samen. Alles dazwischen ist als Zwischenstand markiert und behauptet nichts, denn genau in dem Moment aufzuhören, in dem eine Zahl gefällt, ist der schnellste Weg, sich selbst zu täuschen.
Die Live-Fassung in deinem Browser ist ein Schaufenster der Methode und keine Quelle von Zahlen, und sie weicht in vier erklärten Punkten vom täglichen Lauf ab. Ihre Welten sterben und starten vor deinen Augen neu, und das ist das ehrliche Bild dessen, was der erste Wechsel anrichtet.
第一个实验以我们事先声明过的否定结论收场。诚实的做法不是跟这个结论争辩，而是追问究竟是什么失败了：是想法，是量具，还是这个世界。结果是这个世界。这篇札记讲的是，一个实验的死胡同如何变成了下一个实验的假设，以及什么才算是对它的反驳。
我们在一张网格上运行一个极小的世界：带有微型神经网络的生物、食物、能量、死亡，没有奖励，也没有裁判。项目的规则很简单：判据在运行之前声明，结论事后不改写。正是这条规则，让失败变得有信息量。
第一阶段问的是：仅凭选择，完全不设奖励函数，能否让行为依赖于生物自身的内部状态。在处理组里，生物能感知自己的能量；在对照组里，同一个信号在个体之间被打乱，分布逐位保持不变，被拿走的恰好只有一样东西：关于自身的知识。双重判据事先已经声明：配对检验达到 p<0.01，且差距要大于世界本身在不同种子之间散布的两倍。
在累积四十颗种子时，配对检验的把握极强，p = 6·10⁻⁷，而且效应是特异的：了解自己胜过邻居的信号，而邻居的信号与噪声无从区分。第二条判据连边都没沾到。处理组与对照组的差距是 0.019 比特，种子间散布的两个标准差是 0.053 比特。
有价值的不是这两个数字本身，而是它们的比值。十二颗种子时是 0.47，四十颗时是 0.37。多出三个数量级的统计把握，并没有让我们向真正重要的那条判据靠近半步。这不是继续累积的理由。它说明：这个世界在种子之间造成的起伏，比我们追逐的效应还要大，而累积治不了这个毛病。
第一阶段淹没在世界的噪声里。第二阶段，资源稀缺下的合作，没能重现一项已发表的相变，而我们查清了原因：我们的“给予”动作会凭空产生净能量，于是合作与种群增长纠缠在一起，这个检验在本引擎上是无效的。那是人为假象，不是结果。
最有意思的是第三阶段。我们给了生物可以留在世界里的记号，以及一生之内的可塑性作为学习的凭借，并提出了维果茨基的问题：为他人而生的符号，会不会变成为自己所用的手段？答案是否定的，而且更糟：发展顺序检验给出的判定是“本能”。自我指向的使用从出生起就在，对他人的影响几乎为零，记号只是充当了私人的外部记忆。
但试点还报告了一件我们当作旁注收起来的事：在可塑性打开时，演化中的学习速度在一万五千步内下降了一半；而在可塑性关闭时，同一个基因只是随机漂移。选择在主动关掉学习。我们把它记为障碍，因为一生之内若无变化，发展顺序检验根本无从谈起：没有东西可以测量。
Kozielska 与 Weissing（PLoS Computational Biology, 2024）恰恰建模了这一点，并给出了学习得以演化的条件：环境必须频繁而剧烈地变化，寿命必须长到让学习收回成本，反馈必须有信息量。不利于学习的是：变化稀少或幅度太小、寿命过短，以及结果分布过窄以致采样说明不了什么。
再看我们的世界：寿命中位数是五百到八百步，季节是周期五千的正弦曲线。关于这样一个世界，凡是值得知道的都能写进基因组，于是一生之内的学习毫无收益，而它的成本会被选择拿掉。我们的 C.1 结果并不是发展这一想法的失败。它是别人预言的后半句，被我们无意中重现了。
于是前半句立刻变成了一个我们从未检验过的问题：在世界改换规则的速度快于世代更替的地方，选择会不会把学习打开？如果会，发展顺序检验终于有了一个可以施展的世界。
食物有两种颜色，呈细密的斑块。在任一时刻，一种颜色有营养，另一种有毒：咬错的那一口，会拿走咬对时本可获得的一半。规则会在不可预测的时刻翻转，平均每一生一次；翻转的时刻表来自一个只由种子播种的独立生成器，因此所有采用相同间隔的条件看到的是同一张时刻表，比较也就始终是配对的。
不可预测的意义在于：基因组存不下它。生物无法一出生就知道今天哪种颜色可吃，因为变化的时刻是随机的。一生之内却学得会，而它能学会的恰好是一条可塑连接：从颜色到“吃”这个动作。我们称它为口味。口味像任何一个权重一样被继承、像任何一个权重一样发生突变，并在一生之内按三因素规则改变：你吃了什么、它对你的能量做了什么、以及你学得多快。最后这个量，也就是学习速度，本身也是一个基因：可继承、会突变，选择可以把它调高或调低。它就是整个实验所盯住的那个数字。
只让一条突触可塑是有意为之的限制，接受这个限制花掉了我们一整天的试点。在这里，作用于整个输出层的一般赫布规则行不通：速度快到能在几口之内重新学会口味时，它会在一百步内把其余的策略撕碎；速度慢到能让策略保持完整时，重新学习要花掉几百口，而种群在第一次翻转时就死光了。逐突触的速度、手工搭建的反射神经元、以及调制量上的死区，都没能救回来。只有一条可塑突触时，问题就变成了“一生之内的学习何时才划算”，而不是“某一条特定的可塑性规则能否撑住整套行为”。越出这条界线，我们不会推广这个答案。
六种条件跑在相同的种子上、来自同一位祖先：规则永不改变；每五千步改变一次；每六百步改变一次，也就是大约一生一次，这是处理组；每一百五十步改变一次，也就是一生之内好几次；然后是同样的六百步世界但关闭学习，以及关闭学习的稳定世界。后两者是消融：速度基因存在并漂移，但规则从不施加。这样我们就测到了这个基因在什么也不做时会怎样，而这正是把它的任何变化称作“选择”的诚实基准。
主假设需要同时满足三件事。变化世界中的学习速度必须高于稳定世界，按配对检验达到 p<0.01。这个差距必须超过同一基因在其失效世界中散布的两倍。而消融必须表明学习确实有用：没有学习的世界必须更频繁地灭绝，依据的是在结局出现分歧的那些种子上所做的精确配对检验。
第三个条件是在外部审读了我们的设计之后加上的，那时还没有任何一行数据。理由很短。一个参数上升的原因可能与它是否有用毫无关系：与相邻基因连锁；第一次翻转的瓶颈，其中只有一小撮随机样本存活下来，而它们的取值就成了整个种群的取值；或者在有效种群很小时的单纯漂移。上述任何一种都不会预言“会学习的世界”与“不会学习的世界”在存活上出现差别。消融把它们分开，而我们本来就有消融，因此它理应进入主判据，而不是待在旁边。如果基因涨了而消融什么也没显示，那不是确认，它叫做“涨而无益”。
学习速度在任何一种变化条件下都不上升：那就是规则或世界根本没给学习机会，结果是否定的，照原样发表。速度在稳定世界里也上升：那么这个上升与规则翻转无关。超过一半的处理组世界灭绝：世界扛不住自己的翻转，无从比较，于是用新版本替换协议，而不是一直拧参数直到它表现得体面。学习无助于存活：就是上面说的“涨而无益”。有信息量的配对少于五对：量具是瞎的，我们等着。而整个设计都建立在“寿命长到足以在一生之内重新学会”之上，这一点试点在别的一切之前就先查过了。
第一次翻转按构造就是一道瓶颈：多数带着先天口味的生物会中毒或饿死，活下来的是那些及时重新学会的。有时无人幸存。我们把它视为合法的结局而不是故障，因此它被事先写成失败边界，并在日志中单独计数。
它不会显示一般性的学习规则会演化出来，因为我们有意只让一条突触可塑。它对另一个世界什么也说不了：一张网格、一套代谢、一种大脑尺寸。它对心智或意识同样什么也说不了，而这两个词，我们已经不再用来称呼我们所测量的东西。
它与更大论争的联系比看上去更窄，值得精确地说清楚。当下有好几位建造大模型的人把持续学习称作那件缺失的东西；而在另一侧有一个正好对上的结果：普通的反向传播在持续运行中会自行丧失学习能力（Dohare、Sutton 等，Nature, 2024）。在那里，学习是自己坏掉的；在我们这里，是被选择关掉的。底下共同的问题只有一个：一生之内的学习何时值回它的成本。我们是在玩具的尺度上、在一张网格上、用一条突触来检验这个问题。全部主张，仅此而已。
每天 GitHub 的服务器会在全部六种条件上计算两颗新种子，观察日志则对全部已累积的数据重新统计。已声明的读数有三处：十、二十和四十颗种子。介于其间的一切都标注为中间状态，什么也不主张，因为在某个数字讨人喜欢的那一刻停手，是自欺最快的路子。
你浏览器里的实时版本是方法的橱窗，而不是数字的来源，它与每日运行有四处已声明的差别。它的世界会在你眼前灭绝并重启，而这正是第一次规则翻转所造成后果的诚实写照。
El primer experimento terminó con un veredicto negativo que habíamos declarado de antemano, y lo honesto no era discutirlo sino preguntar qué había fallado exactamente: la idea, el instrumento o el mundo. Fue el mundo. Esta nota cuenta cómo el callejón sin salida de un experimento se convirtió en la hipótesis del siguiente, y qué contaría como refutación.
Hacemos correr un mundo diminuto sobre una cuadrícula: criaturas con una red neuronal pequeña, comida, energía, muerte, sin recompensa y sin juez. La regla del proyecto es simple: los criterios se declaran antes de las corridas y el veredicto no se reescribe después. Justo esa regla es la que vuelve informativo un fracaso.
La etapa 1 preguntaba si la selección por sí sola, sin función de recompensa alguna, hace que el comportamiento dependa del estado interno de la criatura. En el tratamiento la criatura percibía su propia energía; en el control esa misma señal se barajaba entre las criaturas, conservando la distribución bit a bit y quitando exactamente una cosa: el conocimiento de sí. El criterio doble estaba declarado de antemano: una prueba pareada con p<0,01 y una diferencia mayor que el doble de la dispersión del propio mundo entre semillas.
Con cuarenta semillas acumuladas la prueba pareada es abrumadora, p = 6·10⁻⁷, y el efecto es específico: conocerse a uno mismo supera la señal del vecino, que a su vez es indistinguible del ruido. El segundo criterio no se acercó siquiera. La diferencia es de 0,019 bits y dos sigmas de la dispersión entre semillas son 0,053 bits.
Lo informativo no es cada número por separado sino su razón. Con doce semillas era 0,47; con cuarenta es 0,37. Tres órdenes de magnitud de confianza estadística adicional no nos acercaron ni un paso al criterio que importaba. Eso no es motivo para seguir acumulando. Significa que el mundo produce oscilaciones entre semillas mayores que el efecto que perseguimos, y acumular no lo arregla.
La etapa 1 se ahogó en el ruido del mundo. La etapa 2, cooperación bajo escasez, no reprodujo una transición de fase publicada, y averiguamos por qué: nuestra acción de dar creaba energía neta, así que la cooperación quedaba enredada con el crecimiento de la población y la prueba era inválida en este motor. Un artefacto, no un resultado.
Lo más interesante ocurrió en la etapa 3. Dimos a las criaturas marcas que pueden dejar en el mundo y plasticidad durante la vida para tener con qué aprender, y planteamos la pregunta de Vygotski: ¿un signo nacido para otro se vuelve un medio para uno mismo? La respuesta fue que no, y peor: la prueba del orden de desarrollo dio el veredicto instinto. El uso autodirigido estaba desde el nacimiento, la influencia sobre otros era casi nula, y la marca funcionaba como memoria externa privada.
Pero el piloto informó además algo que archivamos como nota al margen: con la plasticidad encendida, la velocidad de aprendizaje en evolución caía a la mitad en quince mil ticks, y con la plasticidad apagada el mismo gen derivaba al azar. La selección estaba apagando activamente el aprendizaje. Lo anotamos como obstáculo, porque sin cambio dentro de una vida la prueba de desarrollo es imposible en principio: no hay nada que medir.
Kozielska y Weissing (PLoS Computational Biology, 2024) modelaron exactamente esto y enuncian las condiciones bajo las cuales evoluciona el aprendizaje: el entorno debe cambiar con frecuencia y con fuerza, la vida debe ser lo bastante larga para que el aprendizaje se pague, y la retroalimentación debe ser informativa. En contra juegan los cambios raros o pequeños, las vidas cortas y una dispersión estrecha de resultados que vuelve la muestra poco informativa.
Miremos ahora nuestro mundo. La vida mediana es de quinientos a ochocientos ticks; la estación es una sinusoide con periodo de cinco mil. Todo lo que vale la pena saber de un mundo así puede escribirse en el genoma, de modo que aprender durante la vida no aporta nada y su coste lo elimina la selección. Nuestro resultado C.1 no era el fracaso de la idea de desarrollo. Era la segunda mitad de una predicción ajena, reproducida sin querer.
Y con eso la primera mitad se convierte en una pregunta que nunca habíamos puesto a prueba: ¿enciende la selección el aprendizaje allí donde el mundo cambia sus reglas más rápido de lo que se suceden las generaciones? Si lo hace, la prueba del orden de desarrollo por fin tiene un mundo en el que puede plantearse.
La comida viene en dos colores, en manchas finas. En cada momento un color es nutritivo y el otro venenoso: un bocado del equivocado quita la mitad de lo que daría el correcto. La regla se invierte en momentos impredecibles, en promedio una vez por vida, y el calendario de cambios sale de un generador aparte sembrado solo por la semilla, de modo que todas las condiciones con el mismo intervalo ven el mismo calendario y la comparación sigue siendo pareada.
El sentido de la impredecibilidad es que el genoma no puede guardarla. Una criatura no puede nacer sabiendo qué color es comestible hoy, porque los momentos del cambio son aleatorios. Aprenderlo durante la vida sí se puede, y lo que aprende es exactamente una conexión plástica: del color al acto de comer. La llamamos gusto. El gusto se hereda como cualquier peso, muta como cualquier peso y cambia durante la vida según una regla de tres factores: qué comiste, qué le hizo a tu energía y a qué velocidad aprendes. Esa última magnitud, la velocidad de aprendizaje, es a su vez un gen: se hereda, muta, y la selección puede subirla o bajarla. Es el número que vigila todo el experimento.
Una sola sinapsis es una restricción deliberada, y aceptarla costó un día de pilotos. Una regla hebbiana general sobre toda la capa de salida no funciona aquí: a una velocidad suficiente para reaprender un gusto en unos pocos bocados, destroza el resto de la política en cien ticks, y a una velocidad que deja la política intacta, reaprender lleva cientos de bocados y la población muere en el primer cambio. Velocidades por sinapsis, una neurona refleja hecha a mano y una zona muerta en el modulador no lo salvaron. Con una sinapsis plástica la pregunta pasa a ser cuándo conviene aprender durante la vida, en lugar de si una regla de plasticidad concreta sostiene un comportamiento entero. No generalizaremos la respuesta más allá de ese límite.
Seis condiciones sobre las mismas semillas y con el mismo ancestro: la regla no cambia nunca; cambia cada cinco mil ticks; cada seiscientos, es decir aproximadamente una vez por vida, y ese es el tratamiento; cada ciento cincuenta, es decir varias veces por vida; luego ese mismo mundo de seiscientos con el aprendizaje desactivado, y el mundo estacionario con el aprendizaje desactivado. Los dos últimos son ablaciones: el gen de velocidad existe y deriva, pero la regla nunca se aplica. Así medimos qué hace el gen cuando no hace nada, y ese es el punto de partida honesto para llamar selección a cualquier cambio suyo.
La hipótesis principal necesita tres cosas a la vez. La velocidad de aprendizaje en el mundo cambiante debe ser mayor que en el estacionario, por una prueba pareada con p<0,01. La diferencia debe superar el doble de la dispersión del mismo gen en el mundo donde es inerte. Y la ablación debe mostrar que el aprendizaje ayuda de verdad: los mundos sin él deben morir más a menudo, según una prueba pareada exacta sobre las semillas en las que los desenlaces difieren.
La tercera condición se añadió tras una lectura externa de nuestro diseño, antes de que existiera una sola línea de datos. El argumento es breve. Un parámetro puede crecer por razones que nada tienen que ver con su utilidad: ligamiento con un gen vecino, el cuello de botella del primer cambio en el que sobrevive una muestra pequeña y azarosa y su valor pasa a ser el de toda la población, o simple deriva con tamaño poblacional efectivo pequeño. Ninguna de esas explicaciones predice una diferencia de supervivencia entre un mundo que aprende y otro que no. La ablación las separa, ya la tenemos, y por eso le corresponde estar dentro del criterio principal y no al lado. Si el gen crece y la ablación no muestra nada, eso no es una confirmación y se llama crecimiento sin beneficio.
La velocidad de aprendizaje no sube en ninguna condición cambiante: entonces la regla o el mundo no le dan ninguna oportunidad al aprendizaje, el resultado es negativo y se publica tal cual. La velocidad sube también en el mundo estacionario: entonces la subida no tiene que ver con el cambio de regla. Más de la mitad de los mundos de tratamiento se extinguen: el mundo no sobrevive a su propio cambio, no hay nada que comparar, y el protocolo se sustituye por una versión nueva en vez de ajustarse hasta que se porte bien. El aprendizaje no ayuda a sobrevivir: el mencionado crecimiento sin beneficio. Menos de cinco pares informativos: el instrumento está ciego y esperamos. Y todo el diseño se apoya en que la vida sea lo bastante larga para reaprender dentro de ella, cosa que el piloto comprobó antes que nada.
El primer cambio es un cuello de botella por construcción: la mayoría de las criaturas con gusto innato se envenenan o pasan hambre, y sobreviven las que alcanzaron a reaprender. A veces no sobrevive nadie. Lo consideramos un desenlace legítimo y no un fallo, por eso está escrito de antemano como límite de fracaso y se cuenta aparte en el diario.
No mostrará que evolucione una regla general de aprendizaje, porque hicimos plástica una sola sinapsis a propósito. No dirá nada sobre otro mundo: una cuadrícula, un metabolismo, un tamaño de cerebro. Y no dirá nada sobre la mente ni sobre la conciencia, palabras que hemos dejado de usar para lo que medimos.
La conexión con el debate mayor es más estrecha de lo que parece, y conviene enunciarla con precisión. Varias personas que construyen modelos grandes señalan hoy el aprendizaje continuo como lo que falta, y del otro lado hay un resultado que encaja: la retropropagación ordinaria, en régimen continuo, pierde por sí sola la capacidad de aprender (Dohare, Sutton y colegas, Nature, 2024). Allí el aprendizaje se rompe solo; aquí lo apaga la selección. La pregunta común por debajo es cuándo el aprendizaje dentro de una vida vale su coste. La ponemos a prueba a escala de juguete, sobre una cuadrícula, con una sinapsis. Eso es toda la afirmación.
Cada día los servidores de GitHub calculan dos semillas nuevas en las seis condiciones, y el diario de observaciones recalcula todo lo acumulado. Hay tres lecturas declaradas: a las diez, veinte y cuarenta semillas. Todo lo intermedio está marcado como provisional y no afirma nada, porque detenerse justo cuando un número gusta es la forma más rápida de engañarse.
La versión viva en tu navegador es un escaparate del método y no una fuente de números, y difiere de la corrida diaria en cuatro puntos declarados. Sus mundos mueren y se reinician ante tus ojos, y ese es el retrato honesto de lo que hace el primer cambio de regla.