Во-первых, быстрый канал и хороший инэт - это две разных вещи. У вас может быть по 100Мбит, но с низким приоритетом, поэтому как только кто-то с более высоким пиоритетом трафика начинает эксплуатировать канал, ваши 100мбит могут превратиться во всё, что угодно, вплоть до нуля.
Следующим минусом является "цепочка" наземных магистральных операторов и их точка обмена трафиком в Москве. Чем больше "магистральников", чем меньший у них запас по "ширине канала", тем больше лагов и "проседаний скорости". И всё это никак не зависит от вас, можно только попробовать выбрать другого провайдера с, возможно, более медленным инэтом, но он может оказаться куда стабильнее.