První písemná zmínka o vsi je z roku 1403. P. František Teplý v Dějinách Volyně a okolí uvádí událost: když v zaří roku 1430 Táboři honili Němce, kteří vtrhli z Bavor do Čech a utíkali od vsi Svaryšova, kterou ještě stačili vypálit. Vesnice patřívala panství strakonických Maltánů. V roce 1569 obsahovalo jejich panství asi 54 vesnic a mezi ně patřili například město Strakonice, ves Sousedovice, Svaryšov, Jedraž, Milíkovice, Kapsova Lhota, Radošovice, Mutěnice, městečko Radomyšl, Klínovice, Vlkonice, Makarov a další.
Podle berní rule téhož panství z roku 1652 zde byly čtyři sedláci a to Jakub Koudele 21 strychů rolí - vyhořel 1762, Jakub Šendera 20 strychů rolí-  shořel 1663, Kašpar Sehninoha 20 strychů rolí - shořel 1663 a Jakub Zvoník 21 strychů rolí - shořel 1663, rolníci na staveních zkažených: Jiřík Vetek 40 stryců rolí, Pavel Šedivejch 30 strychů rolí a Jiřík Čezulka 40 strychů rolí všichni vyhořeli r. 1702. Ještě zde byli tří zahradníci Václav Němec 2 strychy rolí, Pavel Hlavně 6 stryců rolí a Jan Houdek bez rolí a ten vyhořel 1702.
Obec je od Strakonic vzdálená 7,9 km a v roce 1910 je zde 19 domů a stejný počet je i v roce 1921. K zajímavostem patří kaple na návsi zasvědcená svatému Floriánovi z roku 1885, dříve byla zasvědcena svatému Jiří. Ale ve vsi žhář zapaloval chalupy a tak obyvatelé na ochranu proti ohni zasvětili kapli patronu hasičů. U vsi směrem na Kapsovu Lhotu stojí kaplička zasvědcena svatému Martinovi, ale podle místních se jí říká "u Kubíčků" podle majitelů pozemku na němž stojí. Byla prý postavena na památku padlých, když tudy tehdy táhla vojska. V roce 2004 byla opravena a vymalovaná.
V polích vedle lípy stojí kaplička zasvědcená Panně Marii, dřív k ní vedla cesta směrem k Podsrpu. Místní jí říkají podle majitelů pozemku "u Pařízků".
Ke chráněným památkám od 3. 5. 1958 patří stavení ve stylu selského baroka č.p. 11, pocházející z první poloviny 19. století a v druhé polovině upravené do součastné podoby. Dům s vysokým volutovým štítem členěný pilastry, lizény, polosloupy a římsami, ve štítě s letopočtem 1861. Ve zděné podobě je zachycena usedlost v katastru již v roce 1837. Na dům od východu navazují stáje a ze západu stodola, na severu je ochráněn zdí s vraty.
Ještě několik údajů: obecní zastupitelstvo bylo společné pro obce Kapsova Lhota, Jedraž, Milíkovice a Svaryšov starostou byl v roce v roce 1912 František Hynek, radní: Jan Novák-Milíkovice, Josef Milčic-Kapsova Lhota, výbor: Karel Kubička, Vojtěch Kahuda, Vojtěch Dejmek, Václav Rejžek-Milíkovice, Václav Krupka-Jedraž a Adolf Kubička-Kapsova Lhota, starostou Osadního zastupitelstva ve Svaryšově byl Jakub Jehlík, na hospodách byli: Matěj Beran a Jan Hynek /i trafika/, kovářem byl Tomáš Prokop /i podkovář/, obchod láhvovým pivem měl Vojtěch Ševčík. V roce 1933 je starostou Silvestr Kahuda. 

Jan Malířský, Strakonice