由于一直没有能够使所有希伯来人佩服的人出现，有很长时间希伯来人的各个部落没有统一的领袖。正当希伯来人处于分裂状态时，来自地中海沿岸岛屿的一个叫做腓力斯丁人的强大部落，向希伯来人发动了进攻。希伯来人没能抵挡住腓力斯丁人的进攻。连本族的圣物“约柜”，也让腓力斯人抢走了。

    就在犹太民族四分五裂的时候，有一个名叫扫罗的勇敢的年轻人，在一次迎击敌人的进攻中表现得十分勇猛、机智和果断，成了全体希伯来人尊敬的英雄。全体希伯来人一致推选他为希伯来的新王，为他举行了希伯来人最隆重的涂油圣礼，把油涂在扫罗者的身上，承认他为希伯来人的最高首领。后来，扫罗王因为在一次战斗中失败而自杀了。

    扫罗死后，一个有勇有谋，名字叫大卫的青年登上了王位。他曾经是一个强盗头，后来被扫罗收服，成了扫罗的带兵官。大约在公元前１０００年，大卫率领犹太人将腓力斯丁打败，并从腓力斯丁人手中夺回了圣物“约柜”。

    不久，大卫的军队又攻下迦南人的一个叫耶路撒冷（意思是“和平之城”）的小城市。因为大卫出身犹太部落，他就把他建立的国家称为犹太王国，并把首都建在耶路撒冷，将圣物“约柜”供奉在耶路撒冷的神殿中。大卫还在在耶路撒冷大兴土木，修建宫殿和神殿，自己也过上豪华的帝王生活。大卫死后，他的儿子所罗门继承了王位。所罗门是一个很聪明的国王。一天，一名官员带着两个妇女和一个孩子到所罗门那里。他对所罗门说，这两个妇女都说孩子是自己的，他无法判定，因此他只好将她们带到这里。所罗门稍想了一下，就对手下人说，既然无法判定谁是孩子的母亲，那就用剑将孩子劈成两半，两人各得一半。这时，其中的一个妇女大哭起来，向所罗门请求，她不要孩子了，只求不要伤害孩子，另一个妇女却无动于衷。所罗门哈哈一笑，对那个官员说：“现在你该知道，谁是那个孩子的真正的母亲了吧。任何一个母亲都不会让别人伤害自己的孩子的。

    所罗门时代是犹太人历史上最繁荣的时代。所罗门同时也是一个比他父亲更加追求享受的国王。他下令继续修建许多的宫殿和神殿，其中最宏伟的是位于耶路撒冷小山上的宫殿和犹太教圣殿。耶和华的“约柜”也被送到新落成的圣殿中。在许多世纪中，这个圣殿成了团结犹太人的象征。

    公元前５８６年（中国春秋的时候），犹太国被巴比伦灭亡，耶路撒冷全城的犹太人都成了俘虏，被称为“巴比伦之囚”。６０年以后，巴比伦又被波斯征服了。波斯王居鲁士释放了囚禁在巴比伦的犹太人。但是，犹太人在回到耶路撒冷之后，并没有过上和平的生活，不时的遭到外族的侵犯。犹太人在绝望中，只好把希望寄托于“弥赛亚”（救世主）的来临。在“巴比伦之囚”５个世纪之后的公元６６年，罗马总督提图斯掠夺耶路撒冷神殿和宫殿里的宝物，遭到犹太人的坚决反抗。斗争继续了４年，到公元７０年，整个耶路撒冷被提图斯淹没在血泊中，他屠杀了全城的犹太人，另外有９．７万人被变卖为奴隶，有的送到矿山采矿，有的成了罗马斗兽场的角斗士。

    此后，犹太人便离开了耶路撒冷，散落到世界各地。有的甚至来到中国，居住在开封等地。一直到第二次大战之前，犹太民族仍然是一个没国家的民族。