Первые письменные упоминания о городе были найдены в рукописях молдавского хозяина Александра Хорошего, которые он выдал львовским купцам 8 октября 1408 года. Каждый год эта дата празднуется как официальный день города. Город в то время был расположен на перекрестке путей из северо-западной Европы на Балканы и в Турцию. С 1457 года он стал центром проведения ярмарок и административным центром для всего региона.
За время своего существования город было несколько раз разрушен, находился под гнетом Османской империи, в 1774—1918 гг. входил в состав Австро-венгерской империи, а из 1918—1940 гг. — Румынии.

Город начал процветать в 1778 году, когда герцог Карл фон Энценберг был назначен главой военной администрации города. Он пригласил сюда много купцов, ремесленников и промышленников, для того, чтобы они помогли развивать торговлю и производство.
Город стал самоуправляющимся в марте 1864, когда были избраны первые члены городского совета.
Первым автономным бургомистром был Яков рыцарь фон Петрович (1864—1866).
Во время Первой мировой войны Черновцы были трижды под российским контролем. Власти Российской империи преследовали евреев. Многие евреи, в том числе бургомистр Черновцов доктор С. фон Вайссельбургер, были высланы в Россию.
11 ноября, после подписания перемирия между Германией и странами Антанты, Черновцы были заняты румынскими войсками, а 28 ноября румынский Генеральный конгресс Буковины провозгласил воссоединение всей территории Буковины в составе Румынии.
В 1940 году, в соответствии с положениями Пакта Молотова-Риббентроппа, Буковина была разделена на Северную (отходившую к СССР) и Южную (остававшуюся в составе Румынии). Черновцы были заняты Красной Армией и вошли в состав УССР. В июле 1941 года город был занят румынскими войсками (воевавшими на стороне Германии) и административно вошёл в состав Румынии. В марте 1944 года Черновцы практически без боя снова были заняты Советской Армией.