Розробники ШІ надихаються мозком щурів

Сьогоднішні системи зі штучним інтелектом можуть розгромити людей-чемпіонів в таких складних іграх, як шахи, го і техаський холдем. В симуляторах польоту вони можуть збивати кращих пілотів. Вони перевершують людей-лікарів у створенні точних хірургічних стібків і постановці діагнозів раку. Але в деяких випадках трирічна дитина легко обставить кращий ІЇ у світі: коли змагання йде пов’язане з навчанням, настільки рутинним, що люди навіть не підозрюють про нього.

Така думка прийшла в голову Девіду Коксу [David Cox] – нейробіологу з Гарварду, експерту з ШІ, гордому батькові трирічної дочки, коли вона, помітивши в музеї національної історії довгоногий скелет, показала на нього пальцем і сказала: «Верблюд!» Єдина її зустріч з верблюдом відбувалася за кілька місяців до того, коли батько показував їй мальованого верблюда в книжці з картинками.

Дослідники ШІ називають цю здатність визначати об’єкт по єдиному наприклад «навчанням за один раз», і страшенно заздрять таким здібностям карапузів. Сьогоднішні ШІ-системи навчаються зовсім по-іншому. Згідно автономній системі навчання під назвою «глибинне навчання», програмі видається масив даних, з якого треба робити висновки. Щоб натренувати ШІ, розпізнає верблюдів, система повинна переварити тисячі зображень верблюдів – малюнки, анатомічні схеми, фотографії одногорбих і двогорбих верблюдів – всі зображення з позначкою «верблюд». ШІ потрібні також тисячі інших картинок з позначкою «не верблюд». І коли він прожует всі ці дані і визначити відмінні риси тваринного, він стане чудовим визначником верблюдів. Але донька Коксу до того часу вже встигне перейти на жирафів і утконосов.

Кокс згадав про свою доньку, пояснюючи державну програму США під назвою «Машинний інтелект на коркових мережах» [Intelligence Machine from Cortical Networks, Microns]. Його амбітна мета: провести реверс-інжиніринг людського інтелекту так, щоб програмісти змогли створити покращений ШІ. По-перше, нейробіологи повинні дізнатися, які обчислювальні стратегії проходять в сірій речовині мозку; потім команда, що працює з даними, переведе їх в алгоритми. Однією з основних завдань підсумкового АЙ навчання за один раз. «У людей приголомшлива можливість робити висновки і узагальнювати, – каже Кокс, – і саме це ми намагаємося схопити».

П’ятирічна програма, що отримала фінансування на суму $100 млн від Агентства передових досліджень у сфері розвідки (IARPA) фокусується на зоровій корі, частини мозку, що обробляє візуальну інформацію. Працюючи з мишами і щурами, три команди Microns планують побудувати схему розташування нейронів в кубічному міліметрі мозкової тканини. Це може звучати не так вражаюче, але в цьому кубику міститься близько 50 000 нейронів з’єднаних один з одним за допомогою 500 млн зв’язків, синапсів. Дослідники сподіваються, що чітке уявлення про всі зв’язки дозволить їм визначити нейронні «контури», що активуються під час роботи зорової кори. Проектом потрібна особлива система нейровізуалізації, що показує окремі нейрони з роздільною здатністю на рівні нанометрів, чого ще не було досягнуто для ділянки мозку такого розміру.

І хоча в кожній команді Microns працюють представники кількох інститутів, більшість з учасників команди, яка працює під керівництвом Коксу, асистент-професора молекулярної та клітинної біології та інформатики в Гарварді, працює в одному приміщенні на території Гарварду. Під час прогулянки по лабораторії можна спостерігати гризунів, зайнятих виконанням завдань в «ігровому клубі» для щурів; машину, нарезающую мозок так, як найкращий автоматичний різак для ковбаси; одні з найшвидших і потужних мікроскопів на планеті. З таким обладнанням, що працює на повну котушку, і з величезними вкладеннями людських сил Кокс вважає, що у них є всі шанси зламати код цього нещасного кубічного міліметра.

Спробуйте уявити цю величезну потужність людського мозку. Для обробки інформації і підтримання функціонування тіла електричні імпульси проходять через 86 млрд нейронів, втиснутих в губчасті тканини всередині вашого черепа. У кожного нейрона є довгий аксон, в’юнкий крізь цю тканину і дозволяє з’єднуватися з тисячами інших нейронів, в результаті чого виникають трильйони зв’язків. Малюнки електричних імпульсів корелюють з усіма почуттями і відчуттями людини: рухом пальця, перетравлюванням обіду, закоханістю чи розпізнаванням верблюда.

Програмісти намагаються емулювати роботу мозку ще з 1940-х, коли вони вперше придумали програмні структури під назвою штучні нейромережі. Більшість кращих сучасних ШІ використовують якусь сучасну форму цієї архітектури: глибинні нейромережі, згорткові нейромережі, нейромережі зі зворотним зв’язком, і т. д. Ці мережі, створені за мотивами структури мозку, складаються з безлічі обчислювальних вузлів, штучних нейронів, які виконують невеликі конкретні завдання і пов’язаних один з одним так, щоб вся система могла виконувати вражаючі речі.

Нейромережі не змогли скопіювати анатомічний мозок більш точно, оскільки в науки все ще немає основної інформації про компонування нервової системи. Джейкоб Вогельштейн, менеджер проекту Microns в IARPA, каже, що дослідники працювали зазвичай або на мікромасштабі, або на макромасштабе. «Ми використовували інструменти, які відстежували окремі нейрони, або збирали сигнали з великих ділянок мозку, – каже він. – Існує великий розрив у розумінні операцій на рівні контурів – як тисячі нейронів працюють разом над обробкою інформації».

Ситуація змінилася завдяки недавнім технологічних проривів, дозволив нейробиологам побудувати карти “коннектома”, відкривають безліч зв’язків між нейронами. Але Microns потрібна не просто статична діаграма зв’язків. Команда повинна продемонструвати, як ці зв’язки активуються, коли гризун бачить, навчається і згадує. «Дуже схоже на те, як людина намагається розібратися в роботі електронної схеми, – каже Вогельштейн. – Чіп можна розглядати в докладної деталізації, але ви не зрозумієте, що він повинен робити, поки не побачите, як він працює».

Для IARPA реальний результат буде отриманий, якщо дослідники зможуть відстежити схему нейронів, які беруть участь у розпізнаванні, і перевести її в більш схожу на мозок архітектуру штучних нейромереж. «Сподіваюся, що обчислювальні стратегії мозку можна відтворити у термінах математики та алгоритмів», – говорить Вогельштейн. Уряд ставить на те, що системи з ШІ, що працюють схожим з мозком чином, зуміють краще впоратися з реальними завданнями, ніж їх попередники. Звичайно, зрозуміти, як працює мозок – завдання благородна, але розвідувальні агенції хочуть, щоб ШІ міг швидко навчатися розпізнавати не тільки верблюда, але і наполовину приховане обличчя на зернистому кадрі камери спостереження.

«Ігровий клуб» для щурів Коксу – це невелика кімната, в якій чорні коробки розміром з мікрохвильовку поставлені один на одного по чотири штуки. У кожній коробці мордою до екрану варто щур, а навпаки, її носа знаходяться два краника.

У поточному експерименті пацюки намагаються впоратися зі складним завданням. На екрані показують тривимірні зображення, створені комп’ютером. Це не якісь об’єкти зовнішнього світу, просто комковатие абстрактні форми. Коли щур бачить об’єкт А, вона повинна лизнути лівий краник, щоб отримати краплю солодкого соку. Коли вона бачить об’єкт Б, сік буде в правому кранику. Але об’єкти показуються з різних ракурсів, тому щура потрібно буде в розумі повернути об’єкт і вирішити, чи відноситься він до А або до Б.

Тренувальні заняття розбавлені отриманням знімків, для яких щурів несуть по коридору в іншу лабораторію, де стоїть великий мікроскоп, накритий чорною тканиною, і виглядає як старомодне фотографічне обладнання. Команда використовує двухфотонний лазерний мікроскоп для вивчення зорової кори тварини, коли вона дивиться на екран, де демонструються два знайомих об’єкта А і Б в різних ракурсах. Мікроскоп записує спалаху і світіння, що відбуваються, коли лазер потрапляє на активні нейрони, а тривимірне відео показує малюнки, що нагадують зелених світлячків, миготливих у літньої ночі. Кокс хоче дізнатися, як ці малюнки змінюються, коли тварина стає експертом в даній задачі.

Роздільна здатність мікроскопа недостатньо хороший, щоб побачити аксони, що з’єднують нейрони один з одним. Без цієї інформації вченим визначити, як один нейрон активує наступний для створення контуру обробки інформації. Для цього тварину потрібно вбити, а мозок – піддати більш пильного вивчення.

Дослідники вирізають крихітний кубик з зорової кори, який FedEx доставляє в Аргоннскую національну лабораторію. Там прискорювач частинок використовує потужне рентгенівське випромінювання для побудови тривимірної карти, що показують окремі нейрони, інші типи клітин мозку і судини. На цій карті теж не видно пов’язаних аксионов в кубику, але вона допомагає пізніше, коли дослідники порівнюють зображення з двухфотонного мікроскопа з зображеннями, отриманими з електронних мікроскопів. «Рентген для нас – це Розеттський камінь», – каже Кокс.

Потім шматочок мозку повертається в гарвардську лабораторію Джеффа Лихтмана, професора молекулярної і клітинної біології, провідного експерта з коннектому мозку. Команда Лихтмана бере цей кубічний міліметр мозку і нарізає його за допомогою машини на 33 000 шматочків за товщиною 30 нм. Ці найтонші листки збираються на смужках плівки і розташовуються на кремнієвій підкладці. Потім дослідники використовують один з найшвидших у світі електронних мікроскопів, що відправляє 61 промінь електронів на кожен зразок тканини, і вимірює розсіювання електронів. Машина розміром з холодильник працює цілодобово, і видає зображення кожного скибочки з роздільною здатністю в 4 нм.

Кожне зображення нагадує розріз куба з щільно упакованих спагетті. Система програмної обробки зображень збирає скибочки по порядку і відстежує кожну нитку спагетті, що йде від одного скибочки до іншого, роблячи начерки повної довжини аксона кожного з нейронів разом з його тисячами зв’язків з іншими нейронами. Але іноді втрачає нитку або плутає одну з іншою. Люди краще комп’ютерів справляються з таким завданням, каже Кокс. «До нещастя, для обробки такої кількості даних не вистачить людей всієї Землі». Програмісти з Гарварда та MIT працюють над завданням відстеження, яку їм необхідно вирішити для побудови точної діаграма структури мозку.

Наклавши цю діаграму на мапу активності мозку, отриману на двухфотонном мікроскопі, можна буде виявити обчислювальні структури мозку. Приміром, таке поєднання повинно показати, який з нейронів схеми, зажигающийся, коли щур бачить дивний об’єкт, подумки перевертає його догори ногами і вирішує, що він більше схожий на об’єкт А.

Ще одна складна проблема, що стоїть перед командою Коксу – це швидкість. У першій фазі проекту, що закінчилася в травні, кожній команді потрібно було показати результати дослідження шматочки мозкової тканини розміром у 100 кубічних мікрометрів. З таким зменшеним шматочком команда Коксу завершила етап з електронною мікроскопією і реконструкцією за два тижні. У другій фазі командам потрібно навчитися обробляти шматочки такого ж розміру за кілька годинників. Масштабування від 100 μм3 to 1 мм3 призводить до збільшення обсягу в тисячу разів. Тому Кокс одержимий автоматизацією кожного кроку процесу, від тренувань щурів з відео до відстеження коннектома. «Ці проекти IARPA змушують наукові дослідження походити на роботу інженерів, – говорить він. – Нам потрібно дуже швидко обертати заводною ручкою».

Прискорення експериментів дозволяє команді Коксу перевіряти більше теорій, пов’язаних зі структурою мозку, які допоможуть дослідникам ШІ. У машинному навчанні програміст задає загальну архітектуру нейромережі, а програма сама вирішує, як пов’язувати розрахунки в послідовність. Тому дослідники планують натренувати щурів і нейромережі на одній і тій же візуальної задачі і порівнювати схеми зв’язків і результати. «Якщо ми побачимо якісь закономірності в мозкових зв’язках, і не помітимо їх в моделях – це може стати натяком на те, що ми щось робимо не так», – каже Кокс.

Одна з областей досліджень включає правила навчання мозку. Вважається, що розпізнавання об’єктів відбувається через ієрархічну обробку, в якій перший набір нейронів отримує основні кольори і форму, наступний набір знаходить краю, щоб відокремити об’єкт від фону і так далі. Коли тварина навчається краще справлятися із завданням розпізнавання, дослідники можуть запитати: який з наборів нейронів в ієрархії змінює свою діяльність найсильніше? І коли ІЇ починає краще справлятися з тією ж завданням, змінюється його нейромережа таким же чином, як нейромережа щурів?

IARPA сподівається, що відкриття будуть застосовні не тільки до комп’ютерного зору, але й до машинного навчання в цілому. «Ми всі тут діємо навмання, але наша удача підкріплена доказами», – каже Кокс. Він зазначає, що кора головного мозку, зовнішній шар нервової тканини, в якому відбувається розпізнавання високого рівня, має «підозріло однаковою» структурою по всьому об’єму. Така однорідність змушує нейробіологів і експертів з ШІ вважати, що в обробці інформації в мозку можна використовувати одну фундаментальну схему зв’язків, яку вони і планують виявити. Визначення такої протосхеми може стати кроком вперед до ШІ загального призначення.

А поки команда Коксу обертає заводну ручку, намагаючись змусити випробувані процедури працювати швидше, інший дослідник з Microns займається радикальною ідеєю. Якщо вона спрацює, як каже Джордж Черч, професор гарвардського Інституту натхнених біологією технологій ім. Уїсса, вона може зробити революцію в науці про мозок.

Черч керує командою Microns спільно з Тай Сінг з Університету Карнегі-Мелон в Пітсбурзі. Черч відповідає за розмітку коннектома, і його підхід разюче відрізняється від інших команд. Він не використовує електронний мікроскоп для відстеження аксонних зв’язків. Він вважає, що ця технологія дуже повільна і виробляє занадто багато помилок. Він каже, що при спробі відстежити аксони в кубічному міліметрі тканини помилки будуть накопичуватися і забруднювати дані коннектома.

Метод Черча не залежить від довжини аксона або розміру досліджуваного шматочки мозку. Він використовує генетично модифікованих мишей і технологію під назвою “баркодирование ДНК”, відмічає кожен нейрон унікальним генетичним ідентифікатором, який можна прочитати як з бахроми його дендритів, так і з закінчення його довгого аксона. «Неважливо, наскільки величезний ваш аксон, – говорить він. – З баркодированием ви знаходите два кінця, а як все заплутано посередині, значення не має». Його команда використовує скибочки мозкової тканини товщиною більше, ніж у команди Коксу – 20 мм замість 30 нм – оскільки їм не потрібно хвилюватися з приводу втрати точного шляху проходження аксона між скибочками. Машини, секвенирующие ДНК, записують всі баркоди, присутні в даному скибочці, а потім програма обробляє списки генетичної інформації і створює карту, що показує, які нейрони пов’язані з якими.

Черч і його колега Ентоні Запал, професор нейробіології в Лабораторії Колд-Спрін-Харбор у Нью-Йорку, довели в попередніх експериментах, що технології баркодирования і секвенування працюють, але поки ще не зібрали дані в цілісну карту коннектома, потрібну для роботи над проектом Microns. Якщо команді вдасться це зробити, Черч каже, що Microns стане лише початком його спроб побудови карти мозку: потім він хоче побудувати схему всіх з’єднань у всьому мозку миші, в якому можна знайти 70 млн нейронів і 70 млрд сполук. «Працювати з кубічним міліметром – значить, бути надзвичайно короткозорим, – каже Черч. – Мої плани на цьому не закінчуються».

Такі великомасштабні карти можуть сприяти появі нових ідей для розробки ШІ, досконально емулюють біологічний мозок. Але Черч, насолоджується роллю провокатора, уявляє собі інший спосіб розвитку обчислювальних машин: він говорить, що потрібно припинити спроби створення кремнієвих копій мозку і побудувати біологічний мозок, який зможе впоратися з обчислювальними завданнями краще людського. «Я думаю, що скоро у нас з’явиться можливість займатися синтетичної нейробіологією і створювати видозмінені варіанти біологічних мізків», – говорить він. І хоча кремнієві комп’ютери виграють у біологічних систем у швидкості обробки інформації, Черч уявляє собі штучний мозок, доповнений спеціальними контурами, прискорюють його роботу.

Черч прикидає, що проект Microns по реверс-інжинірингу мозку може й не завершитися успіхом. Він каже, що мозок настільки складний, що навіть якщо дослідники зуміють побудувати такі машини, вони не можуть повністю зрозуміти всі таємниці мозку – та це не страшно. «Я думаю, що розуміння – це якийсь фетиш у вчених, – каже Черч. – Може так вийти, що створити мозок буде простіше, ніж зрозуміти його».