В начале марта 1904 года Колчак прибыл в Порт-Артур и сразу же явился для представления к вновь назначенному командующему российским Тихоокеанским флотом вице-адмиралу С.О. Макарову, с которым он был знаком по встречам и беседам в Петербурге, в период, когда Степан Осипович готовился к своей экспедиции на "Ермаке" в Арктику. Макаров даже собирался взять с собой Колчака в эту экспедицию, но некоторые служебные обстоятельства помешали этому к обоюдному их огорчению.

Осенью 1904 года Колчак серьезно заболел. С диагнозом воспаление легких и обострение суставного ревматизма он был направлен в госпиталь, где пролежал более месяца. После выздоровления, когда флот по существу прекратил активные боевые действия на море и целиком переключился на поддержку сухопутных войск, оборонявших Порт-Артур, Колчак перешел в крепость командовать 120-мм и 47-мм морскими батареями вооруженного сектора Скалистых гор. Будучи командиром батареи морских орудий, он неоднократно вместе со своими матросами и солдатами участвовал в вылазках, отражая ожесточенные атаки наседавших японцев. В должности командира артиллерийской батареи он сражался с японцами до последнего дня обороны Порт-Артура. А когда Порт-Артур пал, он вновь с острым приступом суставного ревматизма был направлен в госпиталь, откуда вместе с другими ранеными и больными офицерами эвакуирован японцами в Нагасаки, а оттуда в конце апреля 1905 года отправлен через Америку в Россию. Так для Колчака закончилась русско-японская война 1904 – 1905 годов. За отличие и храбрость в этой войне он был награжден двумя орденами Святой Анны 4-й степени и Святого Станислава 2-й степени и Золотым оружием с надписью "За храбрость".

Колчак, как непосредственный участник русско-японской войны, умный и очень способный офицер, извлек из опыта этой войны немало полезных для своей последующей деятельности уроков, относящихся к строительству военно-морского флота и подготовке его к боевым действиям на море. Острое желание исправить серьезные ошибки, допущенные руководством российского флота при подготовке к войне с Японией и в ходе этой трагической для русского флота войны, стало главным направлением его деятельности после ее окончания.

По возвращении в Петербург Колчак по заключению медицинской комиссии был послан лечиться на Кавказские Минеральные Воды, где пробыл несколько месяцев, а затем был прикомандирован к Академии наук для отработки картографических и гидрографических материалов русской полярной экспедиции, в которой он участвовал. За выполненную им большую научную работу по материалам двух полярных экспедиций он был награжден большой Константиновской золотой медалью.

В 1906 году в Петербурге при Морской академии по инициативе группы молодых офицеров, среди которых был и лейтенант Колчак, с разрешения Морского министерства был создан на добровольных началах военно-морской кружок. В его состав входили Щеглов, Римский-Корсаков, Пилкин и многие другие молодые прогрессивные офицеры, пережившие трагедию российского флота в русско-японской войне и поставившие своей целью возрождение русского флота. Руководителем этого кружка вскоре стал Александр Колчак, который, несмотря на свою молодость, пользовался большим авторитетом среди офицеров флота как боевой офицер и заслуженный ученый, исследователь Арктики.

Весной 1906 года члены военно-морского кружка направили морскому министру докладную записку, подписанную А.В. Колчаком, А.Н. Щегловым и другими, в которой весьма убедительно обосновывалась необходимость создания в России Морского Генерального штаба как высшего органа оперативно-стратегического управления российским флотом. Морской министр, согласившись с аргументацией кружковцев, доложил ее царю вместе с разработанным ими проектом организации Морского Генерального штаба. Николай II согласился с доводами молодых офицеров флота, и в апреле 1906 года в России был создан Морской Генеральный штаб.

21 декабря 1907 года с обстоятельным докладом на тему, "Какой нужен России флот" на заседании военно-морского кружка при Морской академии выступил Колчак. Он исторически обосновал необходимость для России, как крупной морской державы, иметь сильный военно-морской флот, способный надежно защищать ее морские границы, простирающиеся на десятки тысяч километров. Главной силой флота, способной успешно решать эту задачу. Колчак считал линейные корабли. Он не умалял и не принижал роль в войне на море других сил флота, как-то минно-торпедных и подводных лодок, но все же пальму первенства отдавал линейным силам. Так же как в это время поступали и в других морских державах, делавших ставку на линейные корабли.

Точка зрения Колчака, высказанная им в докладе на заседании военно-морского кружка, соответствовала официальным взглядам Морского Генерального штаба России и нашла свое практическое отражение в кораблестроительных программах Российского военно-морского флота, разработкой которых занимался Морской Генеральный штаб.

Доклад, прочитанный Колчаком, произвел сильное впечатление на членов кружка и приглашенных гостей, и по их просьбе морской министр И.М. Диков разрешил Колчаку выступить с этим докладом перед различными общественными организациями, имевшими отношение к флоту. Голос молодого талантливого офицера, представителя Морского Генерального штаба, прозвучал в петербургском клубе общественных деятелей, в кронштадтском обществе офицеров флота, в обществе ревнителей военных знаний и даже на заседании в Государственной Думе, от которой зависели кредиты; отпускаемые на строительство флота. Всюду. где бы ни выступал Колчак со своими докладами, он производил сильное впечатление на слушателей своей убежденностью, логичностью мысли, ясностью изложения материала и убедительностью приведенных доказательств в виде исторических примеров и параллелей. Даже явные скептики, прослушав выступление молодого офицера и ученого, меняли свое отношение к флоту и после этого начинали поддерживать идею его возрождения.

Вокруг разработанной Морским Генеральным штабом программы, представленной в Морское министерство, развернулась непонятная "мышиная" возня. Под различными предлогами руководители Морского министерства не давали программе хода. Немалую роль в интригах вокруг программы играли "доцусимские адмиралы", заседавшие в Главном Морском штабе и всячески мешавшие работе молодых талантливых офицеров, усилиями которых и была разработана эта программа. Неблаговидную роль в этом играли адмиралы А.А. Бирилев, И.М. Диков и С.А. Воеводский, которые последовательно (но не продолжительное время) возглавляли Морское министерство и также последовательно были сняты как не справившиеся со своими обязанностями.

Бесконечные проволочки с кораблестроительной программой, не позволявшие начинать постройку новых кораблей, крайне необходимых для флота, возмущали многих офицеров Морского Генерального штаба, особенно тех, кто над ней трудился. К числу таких офицеров относился и капитан 2-го ранга А.В. Колчак, больше всех поработавший над ее составлением и обоснованием. В знак протеста он решил уйти из Морского Генерального штаба и вообще с военно-морской службы и целиком посвятить себя научной деятельности в Академии наук, где его хорошо знали как крупного и авторитетного специалиста в области гидрологии полярных морей. В это время в стенах Академии вынашивались планы проведения новой полярной экспедиции, в которой Колчак мог бы принять участие в качестве специалиста-гидролога.