История Эцеля началась в 1931 году с раскола организации "Хагана" ("Оборона") - отрядов подпольной еврейской самообороны, сформированных в 1920 году по инициативе рабочего движения и Всеобщей федерации трудящихся. Раскол произошел через два года после кровавого антиеврейского погрома в Хевроне, который повлек за собой первое отступление англичан от торжественных деклараций о создании еврейского национального очага в Палестине. Еврейское население Эрец-Исраэль составляло тогда 175 тысяч человек при общем населении чуть более одного миллиона. Успехи Хаганы, сумевшей отбить нападения арабских банд, равно как и ее неудачи, которые были прямым следствием недостаточной военной подготовки, привели к формированию еврейских подпольных военных подразделений. В идеологически разобщенном еврейском обществе этот процесс сразу же приобрел политическую окраску.
В иерусалимском отделении Хаганы к спорам о характере организации и степени ее подчиненности Гистадруту (Всеобщей федерации трудящихся) примешались личные мотивы. И в апреле 1931 года командир иерусалимского отделения Авраам Тэоми объявил о создании независимой группы, которой суждено было стать подпольной боевой организацией, действовавшей параллельно "Хагане". В разные периоды своей деятельности эта организация именовалась по-разному: "Хагана Леумит" ("Национальная оборона"), "Иргун Бет" ("Организация 2"). Однако известность она получила под названием Эцель - "Иргун Цваи Леуми". В новую организацию вошли прежде всего представители несоциалистических течений, те, кого именовали ревизионистами, "общими сионистами", а также члены различных внепартийных объединений, сторонники религиозной партии "Мизрахи", фермеры и т. д. С выходом ревизионистов в 1935 году из состава Всемирной Сионистской организации и образованием "Новой Сионистской организации" отряды Эцеля значительно пополнились членами Бейтара.
Для отражения арабских нападений в городах и сельскохозяйственных поселениях были сформированы отряды самообороны. Пытаясь превратить эти отряды в регулярные военные подразделения, командование Эцеля организовало военное обучение отрядов, а позднее - закупку и даже производство оружия. Со временем в Эцеле была создана своя собственная разведывательная служба.
Воинская дисциплина, единоначалие и личная инициатива стали краеугольным камнем всей военной концепции Эцеля. В рядах организации находилось в этот период около 3000 человек.
30-е годы вошли в историю Эрец-Исраэль как годы стремительного роста еврейского населения страны, расцвета поселенческой деятельности и экономической активности. В то же время положение евреев в Европе в связи с тяжелым экономическим кризисом в Англии и Франции и приходом к власти фашистов в Германии и Италии резко ухудшилось. На этом фоне в Палестине начались события, которые на языке официальных сообщений именовались "беспорядками 1936 года" - вооруженные выступления арабов, продолжавшиеся с некоторыми перерывами в течение двух лет. Вооруженные банды арабских националистов совершали нападения на еврейские кварталы в Иерусалиме и Хайфе, убивали и грабили поселенцев Галилеи.
Для отражения арабских нападений Эцель и Хагана приступили к мобилизации новых бойцов. Нередко руководители обеих организаций координировали свои действия и даже предпринимали совместные акции. Уже в этот период среди бойцов некоторых подразделений Эцеля выявилось недовольство своим командованием. Многим казалось, что координация действий с Хаганой сковывает деятельность организации и противоречит ее идеологическим принципам. Это недовольство нашло свое выражение в организации целого ряда военных операций, осуществленных без ведома руководства.
Внутренние процессы, приведшие в конечном итоге к расколу, начались задолго до того, как Эцель сумел выработать собственную стратегию борьбы с арабским террором. Вопреки позиции Зеева Жаботинского, возглавлявшего Новую Сионистскую организацию, и лидеров ревизионистского движения в стране, представители "гражданского" течения в политическом руководстве и командовании Эцеля не видели необходимости в самостоятельном существовании организации и стремились к воссоединению с Хаганой. Однако за период, прошедший с 1931 года, когда ревизионисты сформировали свою независимую военную организацию, произошли существенные перемены и в самой Хагане, которая подчинялась теперь не Гистадруту, а легальным сионистским учреждениям, таким как Национальный Совет (руководящий исполнительный орган еврейского ишува Палестины) и Еврейское Агентство, возглавлявшее Всемирную Сионистскую организацию. Как в Национальном Совете, так и в Еврейском Агентстве ключевые позиции занимали умеренные руководители ишува, сторонники "воздержания от насильственных мер". Понятно, что Жаботинский и его последователи отвергали объединение Эцеля с Хаганой, которое означало бы политическую капитуляцию ревизионистов.
Окончательный раскол произошел в апреле 1937 года. Часть командования Эцеля во главе с Авраамом Тэоми и менее половины рядовых членов влились в ряды Хаганы. В то же время значительное большинство командного состава и большая часть молодежи (в основном члены Бейтара, которые всегда составляла ядро Эцеля) категорически отвергли идею слияния с Хаганой и подчинения умеренному руководству ишува.