Pintura de Raimundo IV de Toulouse por Merry-Joseph Blondel, c.1840

O condado foi fundado em 1102, quando Raimundo IV de Toulouse, um dos líderes da Primeira Cruzada, iniciou uma demorada guerra contra os emires de Trípoli, teoricamente vassalos dos califas fatímidas de Cairo. Nesse ano tomou a fortaleza de Tartous e gradualmente foi tomando a maioria dos seus territórios.

Tentou, sem sucesso, conquistar Homs, nas margens do rio Orontes, uma cidadela cuja posse permitiria uma resistência mais prolongada. Iniciou o cerco a Trípoli em 1104, mas a cidade resistiu ainda vários anos, abastecida por mar pelos egípcios.

Raimundo morreu em 1105, sendo sucedido no Condado de Toulouse pelo seu filho Bertrando de Toulouse, que já era regente desde a partida do pai para a Terra Santa. No Condado de Trípoli foi sucedido pelo seu primo Guilherme-Jordão da Cerdanha, que cercou a cidade por mais quatro anos. Em 1109 Bertrando chegou ao Oriente para assumir este domínio, deixando ao seu meio-irmão Afonso-Jordão de Toulouse o condado francês.

Bertrando e Guilherme-Jordão, com a mediação do rei Balduíno I de Jerusalém, acabaram por acordar em cada um manter o controlo das suas próprias conquistas. Bertrando lucrou mais com este acordo quando capturou Trípoli pouco depois. Quando Guilherme-Jordão foi assassinado, alguns meses mais tarde, Bertrando tornou-se no único governante do condado