Что это за инструменты

PyTorch: тензоры, autograd, torch.nn, оптимизаторы, Dataset/DataLoader, CUDA/устройства, распределённое обучение, зрелая research-экосистема и рабочие прод-пути через экспорт.

TensorFlow: тензорные вычисления, дифференцирование (GradientTape), Keras, tf.data, GPU/TPU, распределённое обучение, сильная ветка deployment (Serving, Lite и смежные инструменты).

Сразу разделим уровни:

PyTorch / TensorFlow  →  ML frameworks (обучение)
YOLO / Transformers / Diffusion  →  экосистемы моделей поверх каркасов

Краткая шкала (без музейного очерка):

2015  TensorFlow
2016  PyTorch
2017+ обе экосистемы растут
2020+ PyTorch особенно заметна в modern DL research
2020+ TensorFlow усиливает production / Keras / TPU

Разная история — разные привычные акценты API, а не «один устарел».

Архитектура: два взгляда на один стек

PyTorch (упрощённо):

torch → Tensor · autograd · nn · optim · Dataset/DataLoader · device

Минимальная модель:

model = nn.Sequential(
    nn.Linear(10, 32),
    nn.ReLU(),
    nn.Linear(32, 10),
)

Слои — обычные объекты Python; forward запускается вызовом model(x).

TensorFlow (упрощённо):

TensorFlow → Tensor · GradientTape · Keras · tf.data · optimizers · GPU/TPU

Аналог через Keras — Sequential / Functional / subclassing keras.Model. Высокоуровневый путь: compile + fit. Низкоуровневый — явный GradientTape.

Тензор и автоматическое дифференцирование

Тензор — центральный объект: форма, тип, устройство, операции.

# PyTorch
x = torch.tensor([1.0, 2.0, 3.0])

# TensorFlow
x = tf.constant([1.0, 2.0, 3.0])

Батч почти всегда добавляет ведущую ось B. Без понимания формы ([B, C, H, W] и т.п.) сравнение фреймворков бесполезно — ошибки будут одни и те же.

Autograd / градиенты:

PyTorch:     forward → loss → loss.backward() → .grad → optimizer.step()
TensorFlow:  forward → loss в GradientTape → tape.gradient(...) → apply_gradients

Математика одна: обратное распространение по графу вычислений. Меняется синтаксис и то, когда граф фиксируется для дифференцирования.

Исторически TensorFlow ассоциировали со «статическим графом», PyTorch — с динамическим eager-стилем. Сегодня обе экосистемы умеют eager и компиляцию/ускорение графа; полезнее смотреть на ваш код и версию API, а не на мем 2017 года.

Цикл обучения и определение моделей

PyTorch — явный цикл:

for x, y in dataloader:
    optimizer.zero_grad()
    prediction = model(x)
    loss = criterion(prediction, y)
    loss.backward()
    optimizer.step()

Модель обычно class MyModel(nn.Module).

TensorFlow — два этажа:

# Keras: цикл спрятан
model.compile(optimizer=..., loss=..., metrics=...)
model.fit(train_ds, epochs=...)

# Custom loop: полный контроль
with tf.GradientTape() as tape:
    prediction = model(x)
    loss = loss_fn(y, prediction)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Модели: keras.Model, Sequential, Functional API. Keras снижает boilerplate; custom loop возвращает контроль, близкий к PyTorch.

Практический совет: если вы учите основы, один раз напишите явный цикл на обоих каркасах. Когда fit и DataLoader станут «прозрачными», высокоуровневый API перестанет быть чёрным ящиком — и сравнение фреймворков станет честнее.

Данные, ускорители и производительность

Данные. PyTorch: Dataset + DataLoader (батч, shuffle, воркеры, transforms). TensorFlow: tf.data (map, batch, shuffle, prefetch) — сильный конвейер под GPU.

files → decode → transform → batch → prefetch → GPU

Узкое место часто не «чужой фреймворк», а голодный GPU, ждущий батч с диска.

Железо. Каркас ≠ железо:

Python → Framework API → backend → CUDA / Metal / TPU runtime → hardware

NVIDIA CUDA — основной ускоритель для обеих экосистем. TPU — заметный плюс ветки TensorFlow/JAX. Apple Silicon — MPS в PyTorch и отдельные стеки вроде MLX. Возможность устройства зависит от драйверов и сборок, не от логотипа.

Производительность. Нельзя честно сказать «X быстрее Y» без протокола. На скорость влияют модель, batch, вход, GPU/память, конвейер данных, смешанную точность (mixed precision), компиляция, распределённую схему и качество реализации. Минимальный воспроизводимый бенчмарк: одна модель, один датасет, один batch, одно железо, одни эпохи — меряйте примеров/сек, время эпохи, память GPU.

Исследования, прод, зрение и LLM

Исследования любят быстрые итерации и нестандартные архитектуры — здесь часто выигрывает привычный eager-стиль PyTorch и зоопарк моделей вокруг него.

Прод требует стабильного контура: обучение → экспорт/оптимизация → inference runtime → мониторинг. Оба экосистемы это умеют; путь может проходить мимо training-каркаса:

Training → Model → Export / Optimization → Inference Runtime

Компьютерное зрение. CNN, детекция, сегментация, OCR, CRNN, ViT живут в обеих экосистемах. Многие популярные контуры детекции (в т.ч. семейство YOLO) исторически опираются на PyTorch — это факт экосистемы, не «доказательство превосходства».

LLM / Transformers. Hugging Face Transformers, дообучение, LoRA/PEFT, распределённое обучение сегодня чаще встречаются в PyTorch-центричных пайплайнах. TensorFlow-бэкенды и веса тоже существуют; смотрите на конкретную карточку модели и гайд, а не на лозунг.

Отладка. PyTorch обычно отлаживается как обычный Python. Keras даёт обратные вызовы (callbacks) и высокий уровень; при custom loop отладка снова становится «явным Python».

Вывод в прод и экосистемы

TensorFlow-ветка вывода: TensorFlow Serving, TensorFlow Lite, связанные форматы под сервер/edge / мобильные устройства.

PyTorch-ветка: современные механизмы экспорта, часто ONNX → ONNX Runtime, плюс специализированные рантаймы. Браузерный путь: ONNX → WebGPU / Transformers.js — см. WebGPU + Transformers.js.

Не смешивайте training framework и inference runtime: обучить можно в одном, выводить — в другом.

В реальном проекте каркас — лишь часть:

project/
├── data/ · models/ · training/ · evaluation/
├── inference/ · checkpoints/ · configs/

Framework даёт тензоры, слои, цикл; пайплайн данных, метрики, конфиги и сервинг — ваша инженерия.

Ещё один частый сюрприз: команда «переезжает на PyTorch», но в проде остаётся TF Serving или Lite — и полгода живёт двумя мирами. Это нормально, если мост (экспорт, контракты входов/выходов, паритет метрик) описан явно. Плохо, когда мост подразумевается.

Один проект двумя способами

Классификация изображений (например MNIST) на обоих каркасах:

PyTorch:     Dataset → DataLoader → Model → Loss → Optimizer → Training loop
TensorFlow:  tf.data → Model → Loss → Optimizer → fit / custom loop

Практика на сайте: рукописные цифры. После двух реализаций сравните не «красоту», а: сколько строк до первого обучения, где спрятан цикл, как сохранить веса, как сделать inference без обучения.

Сводная таблица и карта выбора

Карта выбора (без рейтинга):

Понять backpropagation?     → micrograd
Увидеть устройство каркаса? → tinygrad
CNN / CRNN / YOLO / OCR?    → чаще PyTorch-экосистема
Уже TF / нужен TPU?         → TensorFlow
Современные LLM-пилоты?     → чаще PyTorch (+ Transformers)
Вывод в браузере?           → обучение где угодно → ONNX / Web

Связка с учебными каркасами:

micrograd → понять autograd
tinygrad  → увидеть устройство framework
PyTorch / TensorFlow → реальная разработка

Подробнее: ML-фреймворки. Рядом стоит и JAX (NumPy + grad/jit/vmap, силён на TPU) — мир не заканчивается двумя гигантами.

Мифы и что под капотом

• «PyTorch — только research» — упрощение: applied CV/LLM и прод через экспорт обычны.
• «TensorFlow больше не нужен» — тоже миф, если у вас TF Serving, Lite, TPU или большой Keras-код.
• «Это одно и то же» — нет: разный API-стиль, разная история deployment и разный центр экосистемы.
• «Выбрать на всю жизнь» — инженеры работают с несколькими стеками.
• «Фреймворк = качество модели» — нет: данные, архитектура, обучение и оценка важнее логотипа.

Под одной строкой loss.backward() (или tape.gradient) скрыто:

Python → Framework API → Autograd / graph → Tensor ops
       → Compiler / backend → CUDA/TPU runtime → hardware

Частые вопросы

Дальше по теме

• Фреймворки для обучения нейросетей
• ONNX: от PyTorch до Runtime
• WebGPU + Transformers.js
• Инженерия YOLO
• Компактная CRNN
• Рукописные цифры

Заключение

PyTorch и TensorFlow — полноценные каркасы для тензоров, градиентов и обучения. Они похожи по математике и различаются API, привычными экосистемами и путями до продакшена. Выбор — ответ на вопрос «какая задача, какое железо, кто сопровождает», а не охота за абсолютным чемпионом. Поверх каркаса живут Transformers, YOLO и другие библиотеки; рядом развиваются JAX и учебные micrograd/tinygrad. Логичный путь серии:

Как учат нейросети → ML frameworks → PyTorch vs TensorFlow
        → YOLO / CRNN / Transformers → CV / LLM
        → ONNX → WebGPU / браузерный вывод