О дуэлях Толстого-Американца ходило множество легенд. Англичанин Миллинген в книге, изданной в Лондоне в 1841 году. (то есть еще при жизни Толстого) рассказывает, как однажды, поссорившись с неким морским офицером, Толстой послал ему вызов, который тот отклонил под предлогом чрезвычайного превосходства графа во владении пистолетом. Тогда Толстой предложил уравнять шансы, стреляясь дуло в дуло. Но и на это не согласился моряк, предложивший, в свою очередь, избрать "морской способ" – бороться в воде, пока один из противников не утонет. Толстой плавать не умел и стал отказываться, но был тут же обвинен в трусости. Тогда он – объяснение происходило на берегу – схватил противника и поволок в море. Выплыли оба, но несчастный моряк отдал борьбе столько сил и получил такие увечья, что через несколько дней умер.
А.А.Стахович, современник Толстого, записал такую историю, не ручаясь, правда, за ее достоверность: "Толстой был дружен с одним известным поэтом, лихим кутилой и остроумным человеком, остроты которого бывали чересур колки и язвительны. Раз на одной холостой пирушке один молодой человек не вынес его насмешек и вызвал остряка на дуэль. Озадаченный и отчасти сконфуженный, поэт передал об этом "неожиданном пассаже" своему другу Толстому, который в соседней комнате метал банк. Толстой передал кому-то метать банк, пошел в другую комнату и, не говоря ни слова, дал пощечину молодому человеку, вызвавшему на дуэль его друга. Решено было драться тотчас же; выбрали секундантов, сели на тройки, привезшие цыган, и поскакали за город. Через час Толстой, убив своего противника, вернулся и, шепнув своему другу, что стрелять ему не придется, спокойно продолжал метать банк".
Сын Льва Николаевича Толстого – Сергей Львович писал: "Я слышал от моего отца следующую версию этого рассказа: на одном вечере один приятель Толстого сообщил ему, что только что был вызван на дуэль, и просил быть его секундантом. Толстой согласился, и дуэль была назначена на другой день в 11 часов утра; приятель должен был заехать к Толстому и вместе с ним ехать на место дуэли. На другой день в условленное время приятель Толстого приехал к нему, застал его спящим и разбудил.
– В чем дело? – спросонья спросил Толстой.
– Разве ты забыл, – робко спросил приятель, – что ты обещал мне быть моим секундантом?
– Это уже не нужно, – ответил Толстой. – Я его убил.
Оказалось, что накануне Толстой, не говоря ни слова своему приятелю, вызвал его обидчика, условился стреляться в 6 часов утра, убил его, вернулся домой и лег спать".