SaraNet: The "Mirror-Neuron" Architecture

Scroll down for the Bulgarian version / Вижте по-долу за българската версия.

SaraNet is an innovative Deep Learning architecture that rethinks how artificial neural networks achieve non-linearity. While traditional networks rely on computationally heavy activation functions at the end of each neuron (such as Sigmoid, Tanh, GELU, Swish, or Mish), SaraNet completely eliminates classical activation functions.

Instead of complex mathematical curves, SaraNet introduces the concept of "Structural Non-linearity via Gating" inside specialized "mirror layers". This creates an incredibly expressive network that operates solely on basic arithmetic operations, making it an absolute champion for Edge AI and hardware implementations.

---

🧠 Network Topology

The SaraNet architecture consists of strictly defined, fully connected (Dense) layers following this hierarchy:

1. Input Layer (Dispatcher)

A standard linear layer. It takes the initial input data, applies its weights and biases, and distributes the signal.

• Key characteristic: There is absolutely no activation function at the output. The signal passes directly to the next layer.

2. First Mirror Layer

This is the core of the innovation. This layer is fully connected (all-to-all) to the Input Layer, but introduces filters (Gates) at the very input of the neurons:

• Positive Neurons: Have a hardware-like "gate" that only lets the signal through if it is positive (equivalent to clamp(min=0)).
• Negative Neurons: Have the inverse "gate" – they only let the signal through if it is negative (equivalent to clamp(max=0)).
• Key characteristic: The separation (filtering) of the signal happens before the neurons apply their own weights. This dynamic routing of information is what allows the network to solve complex non-linear problems (like XOR) without computing mathematical functions.

3. "The Meeting Room" (Linear Bottleneck)

This is a second hidden layer that is fully connected to the Mirror Layer.

• Key characteristic: This layer is purely linear (Pure Dense Layer). It has its own weights and biases, but has no filtering gates at the input and no activation functions at the output. Its sole purpose is to freely mix (Linear Combination) the extracted features from both the positive and negative neurons into a common vector space.

4. Second Mirror Layer

Architecturally identical to the first. It receives fully connected inputs from "The Meeting Room" and once again applies the gating filters (positive and negative neurons) to the mixed signal, extracting even higher-level abstractions.

5. Output Layer (Judge)

The final linear layer, fully connected to the Second Mirror Layer. It makes the final decision (classification or regression) based on the data array outputted by the mirror neurons. No activation functions are used.

---

⚡ Advantages & Computational Efficiency

Removing traditional activation functions provides colossal hardware advantages:

1. Basic Arithmetic: Unlike functions like GELU or Mish, which require calculating exponentials ($e^x$) and logarithms ($\ln$), SaraNet operates exclusively using the three most basic machine instructions:
   • Addition / Accumulation
   • Multiplication (for the weights)
   • Subtraction / Logical Comparison (for the gating)
2. Zero Division and Zero Polynomials: There is not a single division operation in the network.
3. Perfect for INT8 Quantization: The absence of curved non-linear functions means the model can be directly converted to 8-bit (or even lower) integer math without losing precision at the activation boundaries.

---

🎯 Proven Expressiveness & Accuracy

Despite its computational simplicity, SaraNet matches the intelligence of the heaviest modern architectures.

• Comparison with Mish: In direct benchmark tests under identical conditions (equal parameter count), SaraNet achieves accuracy competitive with networks using the extremely heavy Mish activation function ($x \cdot \tanh(\ln(1 + e^x))$).
• Extreme Non-Linear Tests: SaraNet's topology was subjected to a rigorous stress-test capturing temporal and linguistic dependencies on the iconic Shakespeare Character-level Dataset. There, the network demonstrated an impressive ability to memorize, reproduce, and create complex structural text patterns. This test definitively proved that "Mirror Neurons" provide completely sufficient non-linearity to understand even the complex patterns of human language.

---

---

SaraNet: Архитектура на "Огледалните Неврони" (The Mirror-Neuron Architecture)

SaraNet е иновативна архитектура за дълбоко обучение (Deep Learning), която преосмисля начина, по който изкуствените невронни мрежи постигат нелинейност. Докато традиционните мрежи разчитат на изчислително тежки активационни функции в края на всеки неврон (като Sigmoid, Tanh, GELU, Swish или Mish), SaraNet напълно елиминира класическите активационни функции.

Вместо математически криви, SaraNet въвежда концепцията за "структурна нелинейност чрез филтриране" (Structural Non-linearity via Gating) в специализирани "огледални слоеве". Това създава изключително експресивна мрежа, която работи единствено с базови аритметични операции, правейки я абсолютен фаворит за Edge AI и хардуерни имплементации.

---

🧠 Топология на Мрежата

Архитектурата на SaraNet се състои от стриктно дефинирани, напълно свързани (Fully Connected / Dense) слоеве със следната йерархия:

1. Входен слой (Input Layer / Dispatcher)

Стандартен линеен слой (Linear layer). Той приема първоначалните данни, прилага своите тегла (weights) и отклонения (biases) и разпределя сигнала.

• Специфика: Няма абсолютно никаква активационна функция на изхода. Сигналът преминава директно към следващия слой.

2. Първи Огледален Слой (First Mirror Layer)

Това е сърцевината на иновацията. Този слой има пълни връзки (всичко-към-всичко) с Входния слой, но въвежда филтриращи врати (Gates) на самия вход на невроните:

• Положителни неврони (Positive Neurons): Имат хардуерна "врата", която пропуска сигнала само ако той е положителен (еквивалентно на clamp(min=0)).
• Отрицателни неврони (Negative Neurons): Имат обратната "врата" – пропускат сигнала само ако той е отрицателен (еквивалентно на clamp(max=0)).
• Специфика: Разделянето (филтрирането) на сигнала се случва преди невроните да приложат своите собствени тегла. Това динамично насочване на информацията е това, което позволява на мрежата да решава сложни нелинейни проблеми (като XOR) без да изчислява математически функции.

3. "Заседателна Зала" (The Meeting Room / Linear Bottleneck)

Това е втори скрит слой, който е напълно свързан към Огледалния слой.

• Специфика: Този слой е изцяло линеен (Pure Dense Layer). Той си има собствени тегла и отклонения, но няма филтриращи врати на входа и няма активационни функции на изхода. Неговата единствена цел е свободно да смеси (Linear Combination) извлечените характеристики от положителните и отрицателните неврони в едно общо векторно пространство.

4. Втори Огледален Слой (Second Mirror Layer)

Архитектурно идентичен с първия. Получава пълни връзки от "Заседателната зала" и отново прилага филтриращи врати (положителни и отрицателни неврони) спрямо смесения сигнал, извличайки абстракции на още по-високо ниво.

5. Изходен Слой (Output Layer / Judge)

Финален линеен слой с пълни връзки към Втория огледален слой. Той взема крайното решение (класификация или регресия) въз основа на масива от данни, постъпили от огледалните неврони. Няма активационни функции.

---

⚡ Предимства и Изчислителна Ефективност

Отстраняването на традиционните активационни функции дава колосални предимства от хардуерна гледна точка:

1. Базова Аритметика: За разлика от функции като GELU или Mish, които изискват изчисляването на експоненти ($e^x$) и логаритми ($\ln$), SaraNet работи изключително и само с трите най-базови машинни инструкции:
   • Събиране (Addition / Accumulation)
   • Умножение (Multiplication за теглата)
   • Изваждане / Логическо Сравнение (Subtraction / Gating за вратите)
2. Нулево деление и нулеви полиноми: В мрежата няма нито една операция по деление (Division).
3. Перфектна за INT8 Квантизация: Липсата на извити нелинейни криви означава, че моделът може да се конвертира директно в 8-битова (или дори по-ниска) целочислена математика без загуба на прецизност при активацията.

---

🎯 Доказана Експресивност и Точност

Въпреки своята изчислителна простота, SaraNet не отстъпва по интелигентност на най-тежките модерни архитектури.

• Сравнение с Mish: В директни бенчмарк тестове при равни условия (еднакъв брой параметри), SaraNet постига точност, измерима и конкурентна на мрежи, използващи изключително тежката активационна функция Mish ($x \cdot \tanh(\ln(1 + e^x))$).
• Екстремни нелинейни тестове: Топологията на SaraNet беше подложена на сериозен стрес-тест за улавяне на времеви и лингвистични зависимости върху емблематичния набор от данни на Шекспир (Shakespeare Character-level Dataset). Там мрежата демонстрира впечатляваща способност да запаметява, възпроизвежда и създава сложни структурни текстови шаблони. Този тест категорично доказа, че "Огледалните неврони" предоставят напълно достатъчна нелинейност, за да разберат дори комплексните закономерности на човешкия език.