Miasto leży w kotlinie zajmującej powierzchnię ponad 100km2 u zbiegu rzek Soły i Koszarawy, nad śródgórskim Jeziorem Żywieckim, na wysokości 345-350 m n.p.m. Ze wszystkich stron otaczają je górskie szczyty. Od zachodu Kotlinę Żywiecką zamyka pasmo Beskidu Śląskiego, z północy jej granicę wyznacza Beskid Mały, od wschodu - pasmo Jałowieckie, a od południa - najwyższe szczyty Beskidu Żywieckiego: Babia Góra (1725 m n.p.m.), Pilsko (1557 m n.p.m.), Lipowska (l324 m n.p.m.), Rycerzowa (1226 m n.p.m.) i Wielka Raczą (1236 m n.p.m.). Piękny i urozmaicony krajobraz okolic Żywca współtworzą wyniosłe szczyty, długie grzbiety z rozległymi lasami i malowniczymi halami, poprzecinane górskimi potokami doliny, kręte szlaki i liczne punkty widokowe. Z otwartych przestrzeni hal roztaczają się widoki na rozrzucone gęsto płaty pól uprawnych i zagrody wiejskie. W dali, na środku Kotliny Żywieckiej, błękitnieje tafla jeziora z białymi trójkątami żagli.