Анатолий Аркадьевич Харлампиев родился в г. Смоленске в семье известного боксера-профессионала. Его дед был большим любителем кулачного боя. Поэтому его с детства интересовали различные виды единоборств.
А.А. Харлампиев для изучения местных видов борьбы неоднократно выезжал в среднеазиатские республики. Он изучал и записывал приемы и способы ведения тренировок.
Свою жизнь он посвятил созданию и развитию борьбы САМБО (САМозащита Без Оружия), вид единоборства, развиваемый в нашей стране.
C 1953 года Анатолий Аркадьевич стал доцентом кафедры физвоспитания МЭИ.