十二世纪末，一个名为梅恩哈德的教士渡海来到了尚未开化的波罗的海，当地分布着大大小小的部落，他们多数信仰原始的多神教，对信仰上帝的天主教一无所知。教士立志要将上帝的信仰传播至寒冷的波罗的海，于是他在伊克修尔修建了第一座天主教教堂，由此开启天主教对波罗的海信仰征服。
1197年，不莱梅大主教任命贵族贝特霍尔德为乌克斯居尔的主教，接替了已经病逝的梅恩哈德。作为第二任波罗的海宗教传播者，贝特霍尔德一改前任和平的传教模式，鼓吹用军事力量征服不肯合作的当地部落。
次年7月，贝特霍尔德利用德意志诸侯和商团的支持，招募了一支约500人雇佣军，这些人第一次让波罗的海土著见识了骑士们恐怖的夹枪冲锋，以及防御力极强的锁子甲。在一番交战后，500西欧雇佣军竟然击败了数千当地土著，其损失不过1人而已。
此战之后，天主教与当地人的关系急转直下，双方都意识到只有通过战争才能解决两者之间的冲突。只可惜，贝特霍尔德不是能挑起战争大梁的主教，因为那唯一战死的便是他自己。
贝特霍尔德死后，不来梅大主教特意挑选了年轻且富有进取精神的阿尔伯特为新的主教。和前两任主教比起来，阿尔伯特的战略意识更强，他积极游说周边势力，得到了德意志商团和诸侯的大力支持，还从教皇那里争取到了教区自治的特许状。
公元1200年，教皇号召成立北方十字军，意图在波罗的海武装传教。当年春季，阿尔伯特率领各地征募而来的500十字军渡海前往战场。别看他们人数不多，但这支军队明显比之前的雇佣兵更加善战，他们不仅装备有弓弩、长剑、长矛、斧枪和盾牌，还配备了全身锁子甲和锋利无比的骑枪，是当地土著难以战胜的对象。于是乎，识时务的当地土著被迫交出人质，承认了天主教势力的迁入。
为了巩固新得到的土地，阿尔伯特四处召集工匠，鼓励德意志人到德维纳河口殖民，不少商人和渴望土地的贫民涌入。很快一座名为里加的德意志殖民地诞生了。
显而易见，新修筑的里加城地势险要，其北靠海洋，东枕群山，南坐沼泽，西依河流，如此险要之地自然成了天主教势力征服波罗的海的大本营。
既然已经有了大本营，阿尔伯特自然要将武装传教提上日程，为此，他需要更多的军队，或者说是职业军队。于是，名为“利沃尼亚基督民兵”的组织出现了，这支队伍在阿尔伯特的率领下频频征讨周围部落，吞并了很多土地，迫使不少人当地土著皈依天主教信仰。
大受鼓舞的教皇自然满心欢喜，阿尔伯特主教的胜利足以证明在波罗的海武装传教的可行性，于是教皇大笔一挥，正式授予阿尔伯特组建的基督民兵“宝剑骑士团”的番号。
至此，波罗的海地区和条顿骑士团、米迦勒骑士团、乌列骑士团并称为天主教四大骑士团的宝剑骑士团（后改名加百列）正式成立。
最初宝剑骑士团的全名为“宝剑利沃尼亚兄弟骑士团”。组织架构完从上至下共分为二个等级。
第一级：贵族骑士，由各德意志贵族组成，每名骑士辖下数十名武装侍从；
第二级：普通侍从，包括效忠骑士团的民兵，以及服侍贵族的见习骑士和扈从。
其中，作为骑士团之首的无疑是“宝剑骑士大团长”，拥有整个骑士团的最高权威，即是军队的总司令，又是最高行政长官。其次便是副团长、主帅、区队长、骑士等下级骑士军官。
但有一点值得注意，由于宝剑骑士团是主教阿尔伯特一手组建的，所以教皇同意阿尔伯特独立指挥骑士团，也就是说，宝剑骑士团需要听命于主教阿尔伯特，这与其他骑士团直接听命教皇不同，所以其地位自然不如三大骑士团。
随着宝剑骑士团到处征战，周围的土著势力自然十分敌视这帮骑士。公元1217年，爱沙尼亚人联合罗斯人发动反击，一支约6000人马的联军攻入了利沃尼亚。时任大团长的沃尔金当机立断，率领人数处于劣势的3000骑士团主动迎战。
双方会战于菲林森林地区。
两军布阵中，宝剑骑士团以骑士、重骑兵坐镇中央，以当地仆从军为两翼，摆出一幅决一死战的架势。爱沙尼亚联军因成分混杂，显得凌乱不堪。
果然，在双方正式交战中，宝剑骑士团更像职业军团，而爱沙尼亚联军则如同匆忙上阵的民兵，鏖战不久，宝剑骑士团左翼就突破了敌军右翼，并斩杀敌军指挥官。此举使得爱沙尼亚联军指挥系统更加混乱，最终大败而逃。
此后数十年里，宝剑骑士团越战越勇，他们凭借自身优秀的战斗素养，以及来周围势力的增援，不断周旋于教皇、丹麦、不莱梅、罗斯等国之间，拉一派打一派，到公元1227年时，宝剑骑士团联合三大骑士团，征服利沃尼亚和爱沙尼亚大部，成为该地最大地主。
按说照此发展，宝剑骑士团应该能成为声望不属于三大骑士团的第四骑士团，然而崛起过快的宝剑骑士团内部问题重重。
首先是主教的关系。随着宝剑骑士团的势力越来越大，大团长自然不再愿意屈