Можно обойтись и без роутера.
Достаточно купить свич - он значительно дешевле. IP-адреса можно ставить вручную, а можно оставить и автоматом, тогда винда сама себе присвоит и по тому адресу можно будет зайти на другой комп.
Можно соединить компы напрямую друг с другом, нужен кросс-кабель - он вообще стоит копейки (в сравнении со свичем и роутером).
| 
Древовидный вид