Такое название улица получила в честь великого ученого Карла Маркса (изначально улица называлась Подгорная), начала свое формирование в девятнадцатом веке.
Сперва на этой улице располагались каменные дома и большое количество посаженных тополей, именно здесь жители всего города любили здесь прогуливаться теплыми вечерами. До начала революции здесь также находилась гостиница для иностранцев и туристов «Бристоль». Так же здесь находилось здание, которое сохранилось и до сегодня, известного доктора Камоцкого, в котором проводил анализ питьевой воды всего города. На пересечении улицы Карла Маркса и Ленина, после революции был дом милиции в котором проживал Михаил Фрунзе.
Практически все дома были построены в период девятнадцатого века, преимущественно это пятиэтажные дома, которые практически все дожили и до нашего времени. На данный момент это считается улица только для прогулок, на которой нет дорог для автомобилей. Здесь постоянно проводятся различные ярмарки и концерты, а вдоль дороги сидят художники, которые с удовольствием напишут ваш портрет.