Только, что попробовал ретранслировать готовый поток, все заработало без перекодирования, но с воспроизведением локально. Сейчас некогда перебирать настройки/версии vlc, но в свое время обнаружил, что у разных версий разные "косяки".
как я понял проблема со слишком "быстрой" передачей пакетов, т.е. мгновенно передается слишком большой объем затем идет относительно большая пауза в передаче. При перекодировании проц занят и передача идет более плавно. Очевидно какой-то косяк в самом vlc.