Розділ 16. ШІ і голе залізо
Дві паралельні революції
У світі IT прямо зараз відбуваються дві революції одночасно. Кожна з них — найбільша подія десятиліття. Кожна на першій сторінці. Але їх майже ніхто не пов’язує.
Революція перша. Штучний інтелект. Великі мовні моделі (GPT, Claude, Gemini, Llama). AI-агенти. Автоматичне програмування. Робототехніка з мовним розумінням. Усе, про що ти читаєш у новинах і про що пише кожен другий аналітик.
Революція друга. Тиха. Її не помічають. Це повернення фундаменту: формальна верифікація стає реальною. Мікроядра проникають у критичну інфраструктуру. Capability-моделі повертаються з академічного забуття. RISC-V створює відкриту альтернативу процесорам. Rust захоплює системне програмування.
На перший погляд — нічого спільного. Перша революція — про моделі і дані. Друга — про залізо і ядра.
Але вони зустрінуться. Прямо зараз вони рухаються одна до одної. Через п’ять-десять років вони змішаються в одну велику тему: як зробити AI-системи, яким реально можна довіряти.
Цей розділ — про той момент, коли ці дві революції зустрічаються. Про те, що вже відбувається, що відбудеться, і чому без розуміння обох жодна не має сенсу.
Те, чого AI бракує
Поговоримо чесно про сучасні AI-системи. Вони вражаючі. Claude може писати код краще за більшість програмістів. GPT-4 розв’язує задачі, які десять років тому здавались неможливими. Gemini обробляє відео і зображення. Усі вони — справжнє інженерне диво.
Водночас вони мають глибокі проблеми довіри:
Галюцинації. Моделі іноді вигадують факти. “ChatGPT вигадав посилання”. “Claude послався на неіснуючу книгу”. “Юрист подав до суду посилання на справи, яких не існує — вони були вигадані ChatGPT”. Це реальні випадки 2023-2024 років.
Prompt injection. Зловмисник може вставити у вхід інструкції, які обдурюють модель. Це не теоретично — це робиться щодня. AI-агенти, які читають email-и, читають веб-сторінки, обробляють файли — постійно під ризиком.
Непрозорість. Чому модель сказала те, що сказала? Ніхто не знає. Це чорний ящик. Інтерпретованість моделей — велика дослідницька область, але до повного розуміння далеко.
Багатоступінчасте міркування. Моделі добре відповідають на одне питання, але часто плутаються в задачах, де треба зробити 5+ кроків міркування. Це особливо помітно на математиці, плануванні, налагодженні складного коду.
Безпека дій. Якщо AI-агент має право приймати дії — він може зробити шкоду. Випадково або через атаку. Жодних математичних гарантій того, що він “безпечний”, не існує. Лише сподівання, тренування, guardrails.
Це не недоліки моделей. Це фундаментальна особливість статистичних обчислень. Нейромережа — це апроксимація функції. Вона ніколи не буде “доведено правильна”. Завжди буде якийсь невеликий відсоток випадків, де вона помиляється.
Тому — і це головна теза розділу — довіряти AI-системі не можна як цілій. Треба обмежувати її апаратно.
Де AI зустрічається з залізом
Подивимось, де ці два світи реально перетинаються в індустрії.
Перший дотик: датацентри.
Сучасні AI-моделі тренуються на гігантських датацентрах NVIDIA H100, AMD MI300, Google TPU. Це фізичне залізо. Воно споживає мегаватами електроенергії. Вартість одного датацентру — мільярди доларів.
Хто керує цим залізом? Linux. Ядро з 30 мільйонів рядків. CUDA, ROCm, JAX — це все працює на Linux. Якщо буде вразливість у Linux — зловмисник може отримати доступ до моделей, що тренуються, або до навчальних даних. У 2023 році дослідники показали реальну атаку на TPU-кластер через Linux-вразливість.
Це означає: уся сучасна AI-інфраструктура захищена настільки, наскільки захищений Linux. А Linux має тисячі CVE на рік.
Чи замінять колись Linux у AI-датацентрах? Маленькі компанії експериментують з seL4-based підходами. Але великі гравці (Anthropic, OpenAI, Google) тримаються Linux — бо переписувати все занадто дорого.
Другий дотик: edge AI.
AI на пристроях. Розпізнавання облич у телефоні. Розумна камера. Робот-пилосос. Автомобільні системи асистенту. Дрони.
Тут залізо особливо важливе. Edge-пристрій має: - Обмежений ресурс (батарея, пам’ять). - Реальні наслідки (крутиться руль, відкривається замок, спрацьовує гальмо). - Часто довго не оновлюється.
На якій ОС працює edge-AI? - В автомобілях — все більше QNX, у деяких місцях seL4. - У дронах — PX4 (на Linux, але обмеженому), або кастомні RTOS (real-time OS). - У промислових системах — VxWorks, Integrity. - У смартфонах — Android (Linux) або iOS (XNU).
Тут уже видно, що критично важливі edge-AI системи переходять на верифіковані ядра. Не тому, що це модно, а тому що наслідки помилок реальні — людина у машині, людина у літаку.
Третій дотик: AI-агенти.
Це майбутнє, яке вже почалось. Агенти — це AI, що самостійно діють у світі. Не тільки відповідають на питання, а виконують задачі. Це найважливіше і найнебезпечніше.
Сучасний агент: - Читає твій email. - Бачить веб-сторінки. - Має доступ до твого календаря. - Може писати листи, призначати зустрічі, бронювати. - Має доступ до твоїх грошей (через API банків чи карткові системи).
Як забезпечити, що агент не буде обманутий або скомпрометований?
Сьогодні відповідь: молимося і моніторимо. Це не жарт. Реальні AI-стартапи мають ethics-команди, які моніторять логи, шукають аномалії, реагують на інциденти. Це не системний захист — це людський.
Завтра відповідь має бути: capability-based архітектура з формально верифікованим ядром.
Як виглядає правильна архітектура
Малюємо ескіз. Безпечний AI-агент 2030-го:
Базовий шар: формально верифіковане мікроядро. seL4 або його нащадок. Маленьке (~10 тисяч рядків коду), доведене правильним. Запускається на ARM, RISC-V, чи x86.
Другий шар: capability-кишеня. AI-агент запускається у capability-обмеженому середовищі. У нього є точний набір дозволів: - “Можеш читати ці email-и”. - “Можеш надсилати листи з адреси X”. - “Можеш переказати до 1000 грн на верифіковані рахунки”. - “Можеш бачити календар, але не змінювати без підтвердження користувача”.
Кожен дозвіл — capability. Кожен capability обмежений. Якщо агент скомпрометований — він не може вийти за межі своїх дозволів. Математично гарантовано.
Третій шар: AI-модель. LLM (Claude, GPT, Gemini) живе у цьому capability-середовищі. Вона може запитувати дозволені інструменти, але не може отримати доступ до того, чого не дозволено.
Четвертий шар: моніторинг і людина. Над усім цим — система спостереження. Коли агент робить незвичайне — користувач отримує повідомлення. Коли агент намагається використати capability близько до меж — алерт.
П’ятий шар: формально верифіковані інструменти. Деякі інструменти, до яких агент має доступ — теж формально верифіковані. Наприклад, бібліотека шифрування, мережевий стек, парсер JSON. Тоді весь критичний шлях від моделі до зовнішнього світу — гарантовано правильний.
Це не утопія. Усі ці шари вже існують у різних місцях. Ніхто поки не зібрав їх в один продукт. Але це питання часу і інженерної праці. Не нових фундаментальних відкриттів.
Хто це робить
Подивимось на компанії, які реально рухаються у цьому напрямку.
Anthropic. Робить великі мовні моделі (Claude). У 2024 році опублікували Model Context Protocol (MCP) — стандарт, що описує, як AI-моделі взаємодіють з зовнішніми інструментами. MCP має поняття обмежених інструментів, прав, скоупів — це по суті capability-модель для AI. Поки програмна, не на рівні ядра, але концептуально правильно.
Google DeepMind. Експерименти з sandboxed Gemini-агентами. Project Astra — асистент, що “бачить” і “діє” у фізичному світі — потребуватиме саме такої архітектури.
OpenAI. Безпекова команда (OpenAI Safety) працює над “alignment via capability constraints” — обмеження дій моделі через явні дозволи, не через тренування поведінки.
Microsoft Research + INRIA. Project Everest — формальна верифікація стека TLS. Це гарантуватиме безпеку принаймні мережевої частини AI-комунікацій.
Trustworthy Systems (UNSW Sydney). Команда seL4. Розширюють і спрощують seL4 (Microkit), готують його до AI-навантажень.
Astera Labs, Tenstorrent, SiFive. Роблять RISC-V чіпи з прицілом на AI. Відкрита архітектура процесора + відкрите верифіковане ядро = повноцінний відкритий стек довіри.
MITRE, DARPA, NIST. Уряд США пише регулювання для AI у критичних системах. Один з основних принципів — необхідність формально гарантованої ізоляції. Це штовхає індустрію до verified microkernels.
Європейський Союз. AI Act 2024 року вимагає високих стандартів безпеки для “high-risk AI”. Хоча конкретики немає, реалізація без verified-OS буде неможлива.
Найбільший виклик: економіка
Технічно ми знаємо, як зробити AI-системи, яким можна довіряти. seL4 існує. Capability-моделі є. AI-моделі є. Усі шматки на місці.
Чому ж це не зроблено?
Бо це дорого і складно зібрати в один продукт. Кожен шар — окрема експертиза. Команда, що знає AI, не знає seL4. Команда, що пише драйвери для seL4, не знає AI. Інтеграція — місяці-роки роботи. У стартапів немає часу. У великих компаній немає мотивації — поки немає катастроф.
Ось основний прогноз: перший великий AI-інцидент (агент зробив масовий шкідливий висновок, або був скомпрометований через prompt injection і зробив реальну фінансову/фізичну шкоду на мільйони доларів) — і всі почнуть рухатись швидше. Це звичайний шлях усіх безпекових технологій. TLS став стандартом тільки після кількох гучних атак. Парольні менеджери — після численних витоків. Capability + verified kernels стане стандартом після першого гучного AI-інциденту.
Сподіваюсь, до того як це станеться, ми будемо ближчі до готовності.
А що з самим залізом
Не можна не торкнутись ще однієї теми. Сучасний AI вимагає такої кількості заліза, що це окрема історія.
GPT-4 тренувався приблизно на 25 000 NVIDIA A100. Вартість тренування — за оцінками, $50-100 мільйонів тільки за обчислення. Це 2023 рік.
GPT-5 / Claude 4 / Gemini 2 (моделі 2024-2025) — вже на ~100 000 GPU. Вартість тренування — мільярди доларів.
Майбутні моделі — мільйони GPU. Десятки мільярдів доларів. Окремі датацентри з потужністю міста.
Це фізично неможливо без фундаментальних змін у залізі. Нейроморфні чіпи (Розділ 8) повертаються в гру. Аналогові обчислення — теж. Фотоніка — теж. Усе, що ми згадували як “майбутнє, яке не настало” — раптом стає необхідністю.
Це означає, що AI прискорить розвиток альтернативних архітектур. CMOS не справляється. Закон Мура мертвий. Закон Деннарда давно мертвий. Без нових фізичних принципів обчислення — AI-революція впреться у фізичну стіну.
Прогноз: до 2035-го значна частина AI-навчання буде на не-CMOS залізі. Можливо, аналогові чіпи. Можливо, оптика. Можливо, гібрид. Точно — щось радикально інше за нинішнє.
І найважливіше: AI робить можливою верифікацію
Ось замикаючий парадокс. У Розділі 13 я сказав: AI прискорює формальну верифікацію в 10-100 разів. У Розділі 14 — seL4 тривав 8 років, але з AI міг би зайняти 1-2.
Це означає: майбутнє AI робить себе ж безпечним.
Великі мовні моделі вже пишуть формальні доведення на Lean, Coq. Через 5 років вони писатимуть їх краще за людей. Через 10 років вся критична інфраструктура буде формально верифікована AI-ом, який сам у ній живе.
Це красиво. Це парадоксально. AI створює інструменти, які роблять його ж самого довіреним.
Якщо ця петля справді замкнеться — у нас з’явиться самоверифікаційна цифрова цивілізація. Це звучить як наукова фантастика. Але технічні засоби для цього вже існують. Питання — чи вистачить нам мудрості і часу зібрати їх правильно.
Що з цього винести
- AI-революція і “тиха революція” верифікованих систем рухаються одна до одної. Зустрінуться у наступному десятилітті.
- Сучасний AI — статистична апроксимація, не може бути доведено правильним. Тому довіряти потрібно через апаратне обмеження, не через тренування.
- Архітектура майбутнього: верифіковане мікроядро (seL4) + capability-кишеня + AI-модель + моніторинг. Усі шматки існують, не зібрані разом.
- Перший великий AI-інцидент прискорить впровадження. До того будемо вдавати, що молитви достатньо.
- AI сам прискорює формальну верифікацію у 10-100 разів. Майбутнє AI робить себе довіреним.
- Залізо — окремий вузький бар’єр. CMOS не справляється з масштабом AI. Очікуй гібридні і нові архітектури до 2030-х.
- Усе, про що ми говорили в книзі — транзистори, x86, кеш, Unix, мікроядра, capability — сходиться разом у питанні: як побудувати майбутнє, у якому розумним машинам можна довіряти.
Цим закінчується Частина IV і фактично уся книга. Ми пройшли довгий шлях — від двох чоловіків з германієвим кристаликом у 1947-му до AI-агентів у capability-кишенях 2030-х.
Залишається одне — епілог. Що з цим робити тобі, читачу, якщо цей світ тебе зачепив? Куди йти далі? Які книги читати? З чого почати, щоб стати частиною наступного шару, замість пасивного спостерігача?
Це маленьке прощання, на одну сторінку. Але воно — найважливіше у книзі. Бо книги читають, щоб щось зробити, а не просто щоб знати.