сделать три цикла.первый от 1 до n (при условии,что m>n). Второй от n+1 до (m-n). Третий от (m-n+1) до m.
в каждом цикле считать "свою" часть факториалов, одновременно производя и расчет самого факториала и деление. таким образом факториал не будет считаться сразу "в лоб",а будет одновременно делиться на другой факториал. Пришлось так корячиться для анализа кода Рида-Соломона (n=255).

Достаточно использовать Java: Class BigInteger

1)M! - Число перестановок набора из M чисел
Например 3!=6: (1,2,3) (1,3,2) (2,1,3) (2,3,1) (3,2,1) (3,1,2)
докозательство: Рассмотрим числа 1,2,...,М и М ящиков. В первый ящик можно помятить любое из М чисел, во второй можно поместить любое из М-1 чисел, в третий - уже из М-2 и т.д. Число всевозможных способов разложить числа по ящикам (при условии, что в каждом ящике будет только одно число) соответствет числу перестановок и равно М*(М-1)*...*1=М!

2)Рассмотрим число всевозможных способов разложить К белых шаров и М-К черных шаров (М>К) по М ящикам, при условии что в каждом ящике лежит ровно один шар. Это число равно общему числу перестановок всех шариков, поделить на число перестановок между белыми шариками и на число перестановок между черными шариками, т.е. - М!/(К!(М-К)!)