CSV failų skaitymas „Python“

Šioje pamokoje išmoksime skaityti „Python“ skirtingo formato CSV failus naudodamiesi pavyzdžiais.

csvŠiai užduočiai ketiname naudoti tik „ Python“ integruotą modulį. Bet pirmiausia turėsime importuoti modulį kaip:

 import csv

Mes jau apžvelgėme pagrindus, kaip naudoti csvmodulį skaityti ir rašyti į CSV failus. Jei neturite idėjos naudoti csvmodulį, peržiūrėkite mūsų „Python CSV“ pamoką: skaitykite ir rašykite CSV failus

Pagrindinis csv.reader () naudojimas

Pažvelkime į pagrindinį pavyzdį, csv.reader()kaip atnaujinti turimas žinias.

1 pavyzdys: skaitykite CSV failus naudodami csv.reader ()

Tarkime, kad turime CSV failą su šiais įrašais:

 SN, vardas, 1 indėlis, Linusas Torvaldsas, „Linux“ branduolys 2, Timas Bernersas-Lee, „World Wide Web 3“, Guido van Rossum, „Python“ programavimas

Failo turinį galime perskaityti naudodami šią programą:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row)

Rezultatas 

 („SN“, „Vardas“, „Indėlis“) („1“, „Linus Torvalds“, „Linux branduolys“) („2“, „Tim Berners-Lee“, „Žiniatinklis“) („3“ , „Guido van Rossum“, „Python programavimas“)

Čia atidarėme failą „ innovators.csv “ skaitymo režimu, naudodami open()funkciją.

Norėdami sužinoti daugiau apie failų atidarymą „Python“, apsilankykite: „Python“ failų įvestis / išvestis

Tada csv.reader()naudojamas failui nuskaityti, kuris grąžina kartojamą readerobjektą.

Tada readerobjektas kartojamas naudojant forkilpą, kad būtų išspausdintas kiekvienos eilutės turinys.

Dabar apžvelgsime skirtingų formatų CSV failus. Tada mes sužinosime, kaip pritaikyti csv.reader()funkciją, kad jas skaitytumėte.

CSV failai su pasirinktais atribotais

Pagal numatytuosius nustatymus kablelis naudojamas kaip atskyriklis CSV faile. Tačiau kai kuriuose CSV failuose skiriamieji skirikliai gali būti naudojami ne kableliu. Nedaugelis populiarių yra |ir .

Tarkime, kad 1 pavyzdyje pateiktas failas „ innovators.csv“ naudojo skirtuką kaip atskyriklį. Norėdami perskaityti failą, galime perduoti papildomą parametrą funkcijai.delimitercsv.reader()

Paimkime pavyzdį.

2 pavyzdys: skaitykite CSV failą, naudodamiesi skirtuko skirikliu

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row)

Rezultatas 

 („SN“, „Vardas“, „Indėlis“) („1“, „Linus Torvalds“, „Linux branduolys“) („2“, „Tim Berners-Lee“, „Žiniatinklis“) („3“ , „Guido van Rossum“, „Python programavimas“)

Kaip matome, pasirenkamas parametras delimiter = ' 'padeda nurodyti readerobjektą, kurį CSV failas, kurį skaitome, turi skirtukus kaip atskyriklį.

CSV failai su pradiniais tarpais

Kai kurie CSV failai gali turėti tarpo ženklą po atribotojo. Kai naudosime numatytąją csv.reader()funkciją šiems CSV failams skaityti, išvestyje taip pat gausime tarpų.

Norėdami pašalinti šias pradines tarpus, turime perduoti papildomą parametrą, vadinamą skipinitialspace. Pažvelkime į pavyzdį:

3 pavyzdys: skaitykite CSV failus su pradiniais tarpais

Tarkime, kad turime tokio turinio CSV failą, pavadintą people.csv :

 SN, vardas, 1 miestas, Jonas, Vašingtonas 2, Erikas, Los Andželas 3, Bredas, Teksasas

CSV failą galime perskaityti taip:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row)

Rezultatas 

 („SN“, „Vardas“, „Miestas“) („1“, „Jonas“, „Vašingtonas“) („2“, „Erikas“, „Los Andželas“) („3“, „Bradas“, „ Teksasas “)

Programa yra panaši į kitus pavyzdžius, tačiau turi papildomą skipinitialspaceparametrą, kuris nustatytas kaip „True“.

Tai leidžia readerobjektui žinoti, kad įrašuose yra pradinis tarpai. Todėl pradiniai tarpai, buvę po ribotuvo, pašalinami.

CSV failai su kabutėmis

Kai kurie CSV failai gali turėti kabutes aplink kiekvieną arba kai kuriuos įrašus.

Paimkime pavyzdį quotes.csv su šiais įrašais:

 „SN“, „Vardas“, „Citatos“ 1, Buda, „Kuo mes manome, kad tampame“ 2, Markas Twainas, „Niekada nesigailėk nieko, kas privertė tave šypsotis“ 3, Oskaras Wilde, „Būk savimi, visi kiti jau yra paimti“.

Naudojant csv.reader()minimaliu režimu, bus išvestis su kabutėmis.

Norėdami juos pašalinti, turėsime naudoti kitą pasirinktinį parametrą, vadinamą quoting.

Pažvelkime į pavyzdį, kaip perskaityti aukščiau pateiktą programą.

4 pavyzdys: skaitykite CSV failus su kabutėmis

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row)

Rezultatas 

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken')

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

  • csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
  • csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
  • csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]"

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row)

Output 

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]')

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams)))

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name Age Profession
Jack 23 Doctor
Miller 22 Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row))

Output 

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer')

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row))

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds)

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

  • sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

  • has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]"

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row)

Output 

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]')

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

Panašiai Sniffer().sniff()funkcijai buvo perduotas ir mėginys . Jis grąžino visus išskaičiuotus parametrus kaip Dialectpoklasį, kuris tada buvo saugomas kintamajame „deduced_dialect“.

Vėliau mes vėl atidarėme CSV failą ir perdavėme deduced_dialectkintamąjį kaip parametrą csv.reader().

Tai buvo teisingai galime prognozuoti delimiter, quotingir skipinitialspaceparametrai office.csv failą be mūsų aiškiai juos paminėti.

Pastaba: csv modulis taip pat gali būti naudojamas kitiems failų plėtiniams (pvz .: .txt ), jei jų turinys yra tinkamos struktūros.

Rekomenduojamas skaitymas: Rašykite į CSV failus „Python“

Įdomios straipsniai...