Из практики (было давно):
пенек I, 200 мгц , 128 оперативки , 2 хдд 160 и 300 г , спокойно вытягивал нагрузку (фтп) 60-70 мбит... Ось Линух федора... Очень не рекомендую делать раздачу через самбу, сильно грузит проц ...
Для более серьезного сервака я бы рекомендовал самый мелкий P4 c HT , все таки псевдо два процессора дают более спокойное поведения сервака(при поиске файлов в БД) , памяти от 256 , но чем больше тем лучше, так как линух лишнию память использует под кэш диска , по поводу софта - однозначно линух, раздачу делать только через фтп , причем урезать кол-во соединений с одного