Вопрос по элементарной теории групп

Родившийся из путаницы, случившейся в ходе обсуждения одной вступительной задачи в магистратуру нашего факультета, имевшего место в поезде Севастополь-Москва.

Пусть у некой группы множество классов сопряженности конечно. Следует ли из этого, что сама группа конечна?

Мне почему-то смутно помнится, что я когда-то знал совсем несложное доказательство этого, но, может быть, я путаю с каким-то другим вопросом. Единственное, что удается вспомнить -- это что если в группе G есть подгруппа H конечного индекса, то в H содержится подгруппа N, имеющая конечный индекс и нормальная в G. Это я умею доказывать, конечно, но связи со сформулированным выше вопросом не вижу.

Непонятен уже такой простейший частный случай. Допустим, все неединичные элементы некой группы сопряжены. Следует ли из этого, что группа конечна (и, соответственно, имеет порядок ≤ 2)?