Очень легко думать, что нейроны, в основном двоичные, и когда они достигают определенного порогового уровня, возникает потенциал действия. Это поверхностное сходство с цифровой системой «1 и 0» дает неверное представление о беспрерывных нелинейных процессах, которые непосредственно влияют на устройство и работу нейронной сети.