# Portability: UNIVERSAL
# Last validated: 2026-05-17
# Next review: 2027-05-17

ТАКСОНОМИЯ ОПЕРАТОРОВ
--------------------
Полная классификация операторов обработки данных
для наблюдателей, цепочек инструментов, инжекторов и автоматизации.

Ссылка: Анализ системы обучения (user/_archive/ANALYSE_Lernsysteme_BACH_vs_recludOS.md)


1. ОПЕРАТОРЫ ОБНАРУЖЕНИЯ («Чувства»)
-----------------------------------
Как система воспринимает изменения в окружающей среде.

1.1 Опрос (периодический запрос)
------------------------------------
Регулярная проверка состояния.
  - Сравните содержимое каталога в момент t0 и t1.
  - Опрос API каждые 5 минут
  - Задания Cron для системных метрик
BACH: TimeInjector, проверки демонов, сканирование начала сеанса

1.2 Управляемый событиями (на основе push)
-------------------------------
Реакция на внешние события.
  - События файловой системы (inotify)
  - Вебхуки (GitHub, Stripe)
  - Очереди сообщений (Kafka, RabbitMQ)
БАХ: Еще не реализовано. События инструментальной цепочки как первый шаг.

1.3 Различия снимков
--------------------
Сравнение двух состояний и выявление отклонений.
  - Сравнить хеши файлов
  - Снимок базы данных и живые данные
  - Обнаружение отклонения конфигурации
БАХ: RAGtools/rag/ingest.py (обнаружение изменений MD5), DirScan


2. ОПЕРАТОРЫ АНАЛИЗА
---------------------
Как система понимает и классифицирует данные.

2.1 Сравнить
---------------
Сравнить два или более значений.
  - Сравнение хэшей
  - Поле A == Поле B
  - Временная метка t0 < t1

2.2 Измерение
----------
Определение количественных свойств.
  - Размер файла
  - Задержка
  - Использование процессора
  - Количество новых наборов данных

2.3 Фильтрация
-----------
Уменьшение данных с помощью правил.
  - Только файлы > 10 МБ
  - Только электронные письма с темой «Счет-фактура».
  - Только ответы API со статусом 200

2.4 Классифицировать
------------------
Классифицировать данные по категориям.
  - Спам против не-спама
  - Распознавать тип документа (счет-фактура, договор, напоминание)
  - Уровень журнала (ИНФО, ПРЕДУПРЕЖДЕНИЕ, ОШИБКА)
BACH: категоризация OCR (Office Lens), типы навыков

2.5 Группировка
--------------
Суммирование данных по характеристикам.
  - Группировать журналы по сервисам
  - Группировать счета по месяцам.
  - Группировать файлы по типам файлов

2.6 Агрегировать
---------------
Объединять или объединять группы.
  - Сумма всех сумм счетов-фактур.
  - Средняя загрузка процессора
  - Количество файлов в папке

2.7 Корреляция
---------------
Обнаружение взаимосвязей между точками данных.
  - Связать события журнала с идентификатором запроса.
  - Значение датчика + метка времени + местоположение
  - Ошибка + предыдущая загрузка системы
БАХ: Ассоциативная память (memory_associations)

2.8 Проверка
--------------
Проверка соответствия данных правилам.
  - Проверка схемы JSON
  - проверка IBAN
  - Наличие обязательных полей?

2.9 Нормализовать
-----------------
Привести данные к единому формату.
  - Унифицировать форматы дат.
  - Соответствие верхнему/нижнему регистру
  - Конвертация валюты


3. ОПЕРАТОРЫ ПРЕОБРАЗОВАНИЯ
-----------------------------
Как система преобразует данные.

3.1 Извлечение
---------------
Извлечение информации из необработанных данных.
  - OCR из PDF
  - Регулярное выражение из текста
  - Поля JSON из ответа API
БАХ: Конвейер OCR, фрагментирование RAG

3.2 Преобразование
------------------
Преобразование данных в другую форму.
  - CSV -> JSON
  - Текст -> Токены
  - Изображение -> Миниатюра

3.3 Обогащение
----------------------------
Дополнение данных дополнительной информацией.
  - Поиск по географическому признаку (IP -> Страна)
  - Добавить данные о клиентах из CRM
  - Добавить классификацию на основе искусственного интеллекта.
BACH: RAG-поиск (семантическое обогащение)

3.4 Слияние/объединение
---------------------------------
Объединение нескольких источников данных.
  - Соединяйте таблицы с помощью ключей
  - Объединение журналов из нескольких сервисов
  - Соответствие электронной почты + запись CRM


4. ОПЕРАТОРЫ, СВЯЗАННЫЕ С ВРЕМЕНЕМ
--------------------------

4.1 Последовательность
----------------
Создание или анализ последовательностей.
  - Сортировать по временной метке
  - Выполнение шагов рабочего процесса один за другим.
  - Восстановить последовательность событий.
BACH: Механизм Toolchain (hub/chain.py), порядок сеансов

4.2 Окно
---------------------------
Разделение данных на временные окна.
  - среднее значение за 5 минут
  - Прокручивающееся окно значений датчиков
  - Скользящее окно для анализа журнала


5. ОПЕРАТОРЫ УПРАВЛЕНИЯ
----------------------

5.1 Устранение дребезга
--------------
Объедините несколько быстрых событий в одно.
  - Изменения в файлах пакета
  - Уменьшить количество событий пользовательского интерфейса.
  - Регулировка запросов API

5.2 Ограничение скорости
-----------------
Ограничьте частоту, с которой что-то может происходить.
  - Макс. 10 вызовов API в минуту
  - Отрегулировать уведомления по электронной почте
BACH: Зоны бюджета токена (концепция из recludOS)

5.3 Стратегии повторных попыток
--------------------
Логика повторных попыток в случае ошибок.
  - Экспоненциальный откат
  - Исправлены интервалы повтора
  - Повторять попытку до истечения времени


6. ПАМЯТЬ И ОПЕРАТОРЫ СОСТОЯНИЯ
-------------------------------------

6.1 Обработка с отслеживанием состояния
------------------------
Предыдущие значения сохраняются.
  - Запомнить последний хеш
  - Сохранить последний статус API
  - Скользящее окно со статусом
BACH: Система памяти (все 5 уровней), состояние сеанса

6.2 Обработка без сохранения состояния
-------------------------
Каждая обработка независима.
  - Вычислить хеш файла
  - Проверить JSON
  - Соответствие регулярному выражению


7. МЕТА-ОПЕРАТОРЫ (высшая абстракция)
-----------------------------------------

7.1 Оркестрация
-----------------
Соединение нескольких операторов в рабочий процесс.
  - трубопроводы n8n
  - DAG воздушного потока
  - Kubernetes CronJobs + Workers
BACH: Механизм Toolchain (hub/chain.py), рабочие процессы (skills/workflows/), цикл разработки

7.2 Оптимизация
--------------
Повышение эффективности обработки данных.
  - Кэширование
  - Распараллеливание
  - Индексирование

7.3 Наблюдаемость
-------------------------------
Запись и интерпретация состояний системы.
  - Ведение журнала
  - Метрики
  -Отслеживание
BACH: Журналирование сеансов, статистика задач, статус демона


8. ШАБЛОНЫ ОПЕРАТОРОВ (комбинации)
-------------------------------------
Типичные комбинации операторов для повторяющихся задач.

8.1 Шаблон подсчета и ранжирования (#9)
-----------------------------------
Цель: оценить и отсортировать элементы.
Операторы: измерение, оценка, агрегирование, сортировка.
  - Сортировка писем по релевантности
  - Ранжируйте документы в соответствии с «расчетом вероятности»

8.2 Схема конвейера классификации (#10)
------------------------------------------
Цель: Разделить данные на классы.
Операторы: Извлечение, Нормализация, Классификация, Проверка.
  - Тип документа (счет/договор/напоминание)
  - Приоритет заявки (низкий/средний/высокий)

8.3 Шаблон фильтрации на основе правил (#11)
---------------------------------------
Назначение: Исключение на основе фиксированных правил.
Операторы: Фильтр, Проверка, Исключение.
  - Отправитель в черном списке
  - Удалить файлы без вложений

8.4 Шаблон оповещения о пороговом значении (#12)
----------------------------------
Назначение: Сигнал тревоги при превышении предельных значений.
Операторы: измерение, сравнение, оценка, триггеры событий.
  - Процессор > 80%
  - более 10 ошибок за 5 минут

8.5 Световая диаграмма обнаружения аномалий (#13)
------------------------------------------
Цель: Обнаружение необычных значений (просто).
Операторы: измерение, агрегирование, сравнение, оконное управление.
  - Значение > среднее + коэффициент
  - внезапный скачок количества файлов

8.6 Шаблон дедупликации (#14)
--------------------------------
Цель: Обнаружение и удаление дубликатов.
Операторы: сравнение, группировка, агрегирование, фильтр.
  - дубликаты счетов-фактур
  - дубликаты адресов электронной почты/идентификаторов

8.7 Шаблон канонизации (#15)
-----------------------------------
Назначение: преобразовать данные в каноническую форму.
Операторы: Нормализация, Преобразование, Проверка.
  - Стандартизировать имена, адреса, форматы дат

8.8 Шаблон золотой записи (№16)
--------------------------------
Цель: определить «лучшую» версию записи данных.
Операторы: Слияние, Оценка, Агрегация, Проверка.
  - Данные о клиентах из нескольких систем
  - Ведение основных данных

8.9 Шаблон многоэтапной проверки (#17)
-----------------------------------------
Назначение: поэтапная проверка.
Операторы: Проверить, Классифицировать, Фильтровать.
  - Синтаксис -> Семантика -> Бизнес-правила
  - «мягкие» и «жесткие» неправильные наборы данных

8.10 Шаблон разрешения резервного копирования (#18)
---------------------------------------
Назначение: Альтернативные пути в случае ошибок.
Операторы: Тест, Повтор, Резерв, Оценка.
  - основной API отключен -> вторичный API
  - Классификация ИИ неопределенна -> Правила

8.11 Схема A/B-тестирования (#19)
-------------------------------
Цель: проверить две стратегии друг против друга.
Операторы: тестирование, сравнение, оценка, агрегирование.
  - две модели классификации
  - два набора правил маршрутизации почты

8.12 Шаблон многокритериального решения (#20)
-------------------------------------------
Цель: Решение на основе нескольких критериев.
Операторы: измерение, оценка, агрегирование, ранжирование.
  - «лучшее» распределение по МВЗ
  - Приоритизация билетов

8.13 Маршрутизация по шаблону категорий (#21)
---------------------------------------
Назначение: Маршрутизация по категориям.
Операторы: Классификация, фильтрация, маршрутизация.
  - Счета -> Бухгалтерский учет
  - Приложения -> HR

8.14 Шаблон доверительной обработки (#22)
---------------------------------------------
Назначение: поведение в зависимости от безопасности/оценки.
Операторы: Оценить, классифицировать, отфильтровать.
  - Оценка > 0,9 -> забронировать авто
  - Оценка 0,6-0,9 -> ручное тестирование

8,15 Шаблон прогрессивного уточнения (#23)
------------------------------------------
Цель: Пошаговое уточнение.
Операторы: Классифицировать, Обогатить, Преобразовать.
  - грубая категория -> тонкая подкатегория
  - сначала тип документа, затем извлечение содержимого

8.16 Шаблон проверки работоспособности (#24)
--------------------------------
Цель: Простая проверка достоверности.
Операторы: Тест, Проверка, Исключение.
  - Сумма > 0
  - Дата не в будущем

8.17 Шаблон межисточниковой согласованности (#25)
--------------------------------------------
Цель: проверка данных на соответствие другому источнику.
Операторы: сравнение, объединение, проверка.
  - Сумма счета по сравнению с ERP
  - Номер клиента по сравнению с CRM

8.18 Шаблон классификации ошибок (#26)
----------------------------------------
Цель: Классифицировать типы ошибок.
Операторы: Классифицировать, Группировать, Агрегировать.
  - Сетевые ошибки и ошибки данных
  - Ошибка пользователя и ошибка системы

8.19 Шаблон стратегии восстановления (#27)
-------------------------------------
Цель: Определенная реакция на ошибки.
Операторы: тестирование, повтор, откат, ведение журнала.
  - Очередь -> Очередь недоставленных писем
  - список ручной постобработки

8.20 Схема «Человек в цикле» (#28)
-------------------------------------
Цель: Привлекать людей в случае неопределенности.
Операторы: оценка, классификация, маршрутизация.
  - Слишком низкая оценка -> Обзор входящих сообщений
  - Конфликтные случаи -> Процесс выпуска


СВЯЗЬ С ПРОЦЕССОМ ОБУЧЕНИЯ
---------------------
Операторы формируют набор инструментов для всех 3 режимов:

  (1) Энергосбережение: опрос + фильтрация + получение правил.
  (2) Подумайте: сопоставьте + классифицируйте + сценарии
  (3) Консолидация: Агрегировать + Нормализовать + Группировать

Операторы распознавания = чувства (восприятие)
Операторы анализа = обработка (мышление)
Трансформация, соч.   = действовать (действие)
Мета-операторы = контроль (центральный исполнитель)
Шаблоны операторов = Шаблоны комбинированных решений


СВЯЗАННЫЕ ФАЙЛЫ ПОМОЩИ
----------------------
  --help стратегии Классифицировать, оценивать, исключать, тестировать
  --help стратегии мышления Когнитивные стратегии (разбиение на части, распознавание образов и т. д.)
  --help rhetoric Риторические операторы и шаблоны
