вот слово сволочь по-моему чаще всего употребляется по отношению к мужчинам...
а в словаре у Даля оно обзначено как ж.р.