Начало городу, который не раз менял свое название (Динабург, Невгин, Борисоглебск, Двинск, с 1920 года- Даугавпилс), положил замок, построенный в 1275 году магистром Ливонского ордена Эрнестом Ратцебургом на правом берегу Даугавы, в 19 километрах от теперешнего Даугавпилса вверх по течению реки. Его назвали Динабургом (очевидно, из-за старинного немецкого названия реки Даугавы - Дина).
В то время замок считался большим: 120 шагов в длину и 40 в ширину. Вокруг него был расположен двор, огороженный защитной стеной, толщина которой превышала два с половиной метра. Предполагают, что около замка создавался город.
В замке поселились крестоносцы Ливонского ордена, огнем и мечом державшие в повиновении местное население. Отсюда они совершали опустошительные набеги на соседние литовские и русские княжества.
Поэтому литовские и русские князья стремились всеми силами захватить и разрушить Динабургский замок. Уже в 1277 году, когда магистр Ратцебург уехал в Ригу, замок осадил правитель Литовского государства великий князь Тройден. Он построил и применил огромные камнеметательные машины. Но четырехнедельная осада не принесла ожидаемых результатов - поставленный на узкой горе, между двумя оврагами, замок был тогда неприступен.
В 1313 году литовцы под предводительством князя Витена предпринимают новый поход на Динабург. На этот раз им удалось захватить его и разрушить все сооружения. Однако магистр ордена Герард Йорке, учитывая важное стратегическое значение крепости, восстановил ее в том же году и усилил четырьмя башнями.
Но и это не помешало литовцам в 1396 году, а затем в 1403-м снова разорить замок.
Ордену приходилось постоянно перестраивать его, укреплять, увеличивать рыцарский гарнизон.
Во второй половине XV века, чтобы приобрести доступ к Балтийскому морю, в Ливонию устремляется великий князь Московский Иван Третий. В 1481 году он взял Динабург (в документах того времени он недолго именовался Невгином).
Борьба за выход к Балтийскому морю, в которой сталкивались экономические и политические интересы многих государств, в том числе и России, переросла в Ливонскую войну, длившуюся без малого четверть века (1558-1583 годы). В самом начале ее магистр ордена Готард Кеттлер, видя, что не сможет остановить стремительного продвижения русских войск, срочно отправился за покровительством в Краков к польскому королю Сигизмунду Второму Августу. 3 сентября 1559 года между ними был подписан договор о передаче Польше под залог в 700 тысяч талеров Динабургского, Резекненского, Лудзенского и других замков со всеми территориями, поселениями и доходами. Взамен орден получил обещание защищать Ливонию и разделить с ней будущие завоевания в России.
В ноябре 1561 года, после окончательного развала рыцарского ордена, Динабург полностью перешел
под власть Польского государства. Спустя пять лет Сигизмунд Август приказал назначить его главным городом Инфляндского (Латгальского) воеводства, выбросить старый герб замка (щит, разделенный чертой на две части, в верхней - образ богоматери с младенцем в руках, в нижней - рыцарь на коленях, обнимающий замковую стену) и присвоить новый: на красном поле белый гриф держит в правой лапе обнаженный меч, на груди этой полуптицы полульва - инициалы короля Сигизмунда Августа.
Вскоре в Динабурге разместилось административное управление всей Латгалии, резиденция католического епископа. Значение города возросло.