Рассчитал минимакс-полином второго порядка для косинуса на интервале от 0 до pi/2. Для удобства преобразовал диапазон аргумента из [0..pi/2] в [0..64], чтобы соответствовать таблице длиной в 256 байт. Также вычислял приближение на дискретном множестве точек (целые значения аргумента). Получившаяся формула:

y = 1.0130681110126272 - 3.1409834002847181e-3*x - 2.0249761634779685e-4*x^2

Диапазон аргумента - от 0 до 63 (при этом 64 соответствует pi/2). Диапазон значений функции - обычный для косинуса (от 0 до 1). Можно умножить все коэффициенты на 127, чтобы получить значения в диапазоне 8-битного целого со знаком.

Максимальная абсолютная погрешность данной формулы - 0.0131. Это хуже, чем достижимая для 8-битного целого (0.0039), поэтому лучше будет использовать многочлен 3-го порядка, хоть его точность приближения и избыточна.