Его организовала Силламяэская музыкальная школа на базе ученического коллектива Little Band под управлением педагога Сергея Карханина и при поддержке Городского Управления.
В феврале 2004 года состоялся второй молодёжный джазовый фестиваль. Он прошел уже в два дня (13-14 февраля), стал международным и обрёл патрона в лице известного эстонского джазового музыканта Тойво Унта, педагога, общественного деятеля и руководителя проектов международного джазового фестиваля NÕMME JAZZ и международного конкурса молодых джазовых вокалистов и инструменталистов (Таллинн). С тех пор JAZZ TIME стал традиционным.
В 2005 году состоялся третий, в 2006 – четвертый. В 2007 году на пятый юбилейный джазовый фестиваль JAZZ TIME съехались 210 участников. Начиная с него, оргкомитет принял решение проводить это мероприятие раз в два года.
За это время фестиваль обрел своё яркое лицо и друзей среди эстонских и зарубежных коллег: молодых музыкантов и зрелых мастеров. JAZZ TIME поддерживает дружеские контакты с эстонскими международными джазовыми фестивалями JAZZ KAAR и NÕMME JAZZ (Таллинн), VISIOON (Сауэ), NARVA JAZZ (Нарва).
Его постоянными участниками стали джазовые инструментальные, вокальные коллективы музыкальных школ и школ по интересам из Нарвы, Силламяэ, Йыхви, Кохтла-Ярве, Таллинна. С 2003 по 2007 годы гостями фестиваля были эстонские коллективы из Тарту, Вильянди, Сауэ, Курессааре, студенты из Куопио (Финляндия). С каждым годом повышается уровень организации фестиваля и увеличивается количество участников, среди которых были такие известные музыканты, как: Ryo Kawasaki (США), Brian Melvin (США/Эстония), Vyacheslav Novikov, Larry Price, Caron Barnes и Jevgeni Gimer (Финляндия), Sofia Rubina, Jaak Sooäär, Toivo Unt, Loit Lepalaan, Tiit Paulus, Tiit Kalluste, Jaanika Ventsel, Aivar Vassiljev (Эстония).