Работа на общую память это одно, а распараллеливание вычислений ( и исполняемой программы) это к Бабаяну Еще есть фишка со времен HP- калькуляторов ( и до наших дней граф- физ- процы)разнесение функциональности на отдельные модули. Центральный - супервизор.