Jest to nejvyšší hora německého východního Krušnohoří a třetí včetně české strany, vyšší v této oblasti je jen Pramenáč a Loučná.
Kahleberg leží zhruba 2 kilometry jihozápadně od Altenbergu a přibližně 3 km severozápadně od Cínovce na česko-německých hranicích. Na vrcholu stojí horská chata. Na jižním svahu hory se nachází biatlonový areál (Biathlon-Sparkassenarena), směrem na sever leží rehabilitační klinika Raupennest.
V okolí jsou desítky kilometrů turistických stezek. Nechybí ani cyklotrasy a trasy pro běžkaře. Vše je skvěle a přehledně značeno.
Hora je tvořena křemennými porfyry s úzkými žilami žulových porfyrů.
Na severozápadním svahu Kahlebergu křemenný porfyr tvoří rozsáhlá kamenná moře (5 ha). Rostou tu převážně lišejníky a místo je chráněno jako přírodní památka. Místní kamenná moře jsou výsledkem klimatického a mechanického zvětrávání, kdy voda v průběhu věků pronikala do skalních trhlin a puklin. Tam v zimě zmrzla a rozpínala se, dokud opět neroztála. Menší částečky odnesla voda do údolí (tam se uložily nebo je odnesly vodní toky) a haldy kamenné suti zůstaly. Neustálé opakování těchto procesů nakonec způsobilo roztržení i té nejtvrdší skály, kdy se pevný a celistvý horninový pokryv rozdrobil nejprve do větších bloků a poté do stále menších kamenů.
Z vrcholu se dá dohlédnout do městské části Altenberg, na horu Geisingberg, dále pak přes velké části Krušných hor až k údolí Labe a do Drážďan. Za mimořádně dobrého počasí lze dohlédnout až k hřebenu Jizerských hor.