Изначальное название этого приволжского холма — Петропавловская гора, своё нынешнее название он получил в честь знаменитого художника Исаака Левитана, прославившего в своих работах Плёс и потрясающие русские пейзажи. Художник провёл на горе немало времени, написав здесь несколько своих самых знаменитых полотен — «Над вечным покоем», «На Волге», «Золотой Плёс» и другие.

Сейчас на горе установлен памятник Левитану — художник изображен погруженным в работу перед своим мольбертом.