يعود أصل كلمة الرافضة للذين خرجوا مع الإمام "زيد بن علي" على الخليفة الأموي "هشام بن عبدالملك"، وفي أثناء مسيرهم سألته مجموعة منهم عن الخليفيتين "أبوبكر و عمر " ، فقال : كانا خليفتان عادلين ، حينها إنفضت عنه المجموعة و رفضت إمامته ، عندها قال زيد بن علي : إذهبوا فانتم الرافضة . و سموا الرافضة لرفضهم إمامة أبي بكر و عمر وهم الذين ينسبون الى الطائفة الإثنى عشرية "الجعفرية".