Деревня Худобабково возникла 400 лет тому назад. В одном километре от д.Рыбниково стоял старообрядческий скит. Жители скита и образовали деревню Худобабково. Занимались в основном рыбной ловлей и земледелием. Происхождение названия деревни никто не помнит.
Национально-религиозный состав населения - староверы. Коренная народность в деревне - русские. В Худобабково было два молитвенных дома – Пристанской и Федосеевской веры.
14 мая - Радоница Сегодня мы помянем добрым словом Всех тех, кого забрали небеса! Давайте вспомним каждого родного, О ком скучают сердце и глаза! Увы, но на земле никто не вечен, А время, как песок, время — вода! Зажжем в память о близких своих свечи, Ведь мысленно живут они всегда!