NumpyEtPandas

NumpyCalcul scientifique

Numpy Est spécialement conçu pour les opérations matricielles、Open Source for Scientific ComputingPython

PandasAnalyse des données

pandas.Fournit une grande quantité de structures de données et de fonctions qui nous permettent de traiter des données structurées rapidement et facilement

pandasLes deuxNumPyFonctions de calcul de tableaux haute performance et traitement flexible des données pour les tableurs et les bases de données relationnelles

pandas.Contient des structures de données avancées et des opérations qui rendent l'analyse des données plus rapide et plus simple Comme outil,Il est basé surNumpyConstruit,Il y a beaucoup d'opérations similaires

Installationjupyter notebook

Vous pouvez voir quels paquets sont actuellement installés

Effectuer l'installation

Entrée directe dans la console jupyter notebookVous pouvez sauter àwebInterface

CréationPythonProjets

NumpySyntaxe

Structure de base des données ndarray,Est une matrice bidimensionnelle

Création et utilisation de base

Index des tranches





Index booléen

Opérations d'alignement

Ça veut dire ndarray Lors de l'addition, de la soustraction, de la multiplication et de la Division,Ajouter, soustraire, multiplier et diviser la valeur de la position correspondante

Multiplication et Division des matrices

Autres méthodes

PandasSyntaxe

Pandas-Series

SeriesEst un objet qui ressemble à un tableau unidimensionnel,Données(DiversNumPyDonnées Type)Et les étiquettes de données qui y sont associées(Index)Composition

Peut être construit à partir d'un dictionnaireSeriesObjet,SeriesL'index de l'objet peut également être modifié

Pandas-Dataframe

DataFrameEst une structure de données tabulaire,Il contient un ensemble ordonné de colonnes,Chaque colonne peut être un type de valeur différent(Valeur numérique、String、Booléen, etc.)

DataFrameIndex des lignes et des colonnes,Peut être considéré comme étant causé parSeriesUn dictionnaire composé de

Lire le fichier







PandasNettoyage des données

1.Chargement des données



2.Traitement des données manquantes

2.1 Ajouter une valeur par défaut



2.2 Supprimer les lignes incomplètes



2.3 Modifier les colonnes incomplètes

2.4 Supprimer les colonnes incomplètes

Nous pouvons appliquer les actions ci - dessus aux colonnes.Nous avons juste besoin d'utiliser le Code axis=1 Paramètres.Cela signifie que les colonnes d'action ne sont pas des lignes.

(Nous l'avons déjà utilisé dans nos exemples axis=0,Parce que si on ne passe pas les paramètres, axis,Par défautaxis=0)

Supprimer une colonne entière comme suit:NAColonne::data.dropna(axis=1, how='all')

Supprimer toute colonne contenant une valeur nulle:data.dropna(axis=1,how='any')

  1. Transformation nécessaire

    Les données saisies manuellement peuvent nécessiter certaines transformations nécessaires,Par exemple:
  • Mauvaise typographie
  • L'incohérence des majuscules et des minuscules dans les mots anglais
  • Espace supplémentaire entré

Remplacer la chaîne

data.loc[4,'color']='Color'

En majuscules

data.movie_title=data.movie_title.str.upper()

Enlevez les espaces avant et arrière, etc

data.movie_title=data.movie_title.str.strip()

Renommer le nom de colonne

data = data.rename(columns={'title_year':'Année',

'movie_title':'Année du film'})

  1. Enregistrer le fichier

    data.to_csv('data/cleanfile.csv',index=None,header=None,encoding='utf-8')

    Indique que l'index n'est pas sauvegardé,Ne pas enregistrer le titre,Format de codageutf8

PandasAutres articles en relation avec Core usage

  1. Python:23EspècePandasOpérations de base

    Pandas C'est un Python Bibliothèque de logiciels,Il fournit un grand nombre de fonctions et de méthodes qui nous permettent de traiter les données rapidement et facilement.En général,Pandas Oui. Python Un des facteurs importants pour devenir un environnement d'analyse de données solide et efficace.Dans cet article, Auteur de ...

  2. JSON Cadre de traitement des données Jackson Raffinement chapitre 1 -Utilisation du noyau de sérialisation et de désérialisation

    Jackson- Oui.Spring BootPar défautJSON Cadre de traitement des données ,Mais ça ne dépend de rienSpring Bibliothèque. Certains petits amis pensent JacksonSeulement dansSpring Utilisation dans le cadre ,En fait, non., Il n'y a pas de telles restrictions . Il offre ...

  3. pandasUtilisation de base——Index

    # -*- coding: utf-8 -*- # Time : 2016/11/28 15:14 # Author : XiaoDeng # version : python3.5 # Softwa ...

  4. pandasUtilisation de

    1.a = pandas.read_csv(filepath):Lire.csv Format du fichier à la Liste aMoyenne, Fichier dans le chemin filepathMoyenne pandas.core.frame.DataFrame- Oui.pandasNucleus of ...

  5. pandasUtilisation de base

    Générer d'abord un tableau unidimensionnel data = pd.Series([1,2,3,4,5,6,7,8,9])dataRésultats des opérations data.head()# Les cinq premiers sont pris par défaut , Vous pouvez ajouter des paramètres, bien sûr. data.tail()# Par défaut, les cinq premiers ...

  6. pandas.read_csvUtilisation(Tourne.)

    Structure des données pourDataFrame,Vous pouvez faire presque tout ce que vous voulez sur les données. En raison du grand nombre de formats de sources de données dans le monde réel,pandasLes méthodes d'importation dans différents formats de données sont également prises en charge,Cet article présentepandasCommentcsv Importer des données dans un fichier . De haut en bas ...

  7. Mybatis-Plus Notes d'apprentissage complètes sur le terrain (Neuf)------.Utilisation complète du noyau du constructeur conditionnel(Allez.)

    Un..MybatisplusGénéralités(Méthodes publiques)CRUD,Total17Espèce(3.0.3Édition),2.3 Autant de séries. ,Cette nouvelle version a été quelque peu modifiée et supprimée. 2..ConstructeurUMLFig.(3.0.3)----- Emballage solide ,Utilisation principale ...

  8. pandas Utilisation de base

    pandas Est basé sur Numpy Construire, Puissant kit d'analyse des données Principales fonctions Structure unique des données DataFrame, Series Fonctions intégrées des séries chronologiques Offre une grande variété d'opérations mathématiques Traitement flexible des données manquantes Serie ...

  9. PandasUtilisation de base-Traitement des données【Tous】-Tourne.

    Informations complètes:[ Introduction à l'exploration des données ] (https://github.com/YouChouNoBB/data-mining-introduction) # coding=utf-8 # @author: ...

  10. 【Tourne.】Pandas Résumé de l'utilisation courante

    Abréviations clés et importation de paquets Dans ce manuel de recherche rapide , Nous utilisons les abréviations suivantes: : df:ArbitrairePandas DataFrameObjet s:ArbitrairePandas SeriesObjet raw:Étiquette de ligne col:Étiquette de colonne Introduire un module de réponse : im ...

Recommandation aléatoire

  1. Vue Introduction au développement de plug - ins

    Par rapport aux composants ,Vue Le développement de plug - ins a reçu un peu moins d'attention.Mais le plug - in est très puissant, Capable de faire beaucoup Vue Fonctions que le cadre lui - même n'a pas . Vous avez l'habitude d'appeler directement les plug - ins disponibles, Comme recommandé officiellement.  vue-router.vu ...

  2. Compris.ThreadLocal(2 bis.)

    Il doit y avoir beaucoup d'amis. ThreadLocalPas étrange,Aujourd'hui, nous allons discuterThreadLocal Méthodes d'utilisation et principes de mise en oeuvre .Tout d'abord,, Je vais d'abord parler de ça. ThreadLocalCompréhension,Et puis selonThreadLocalCode source de la classe ...

  3. SQLServer - Contraintes

    Un..Classification des contraintes InSQLServerMoyenne,Oui.3 Différents types de contraintes . 1. Contraintes physiques Les contraintes physiques concernent les lignes ,Par exemple, une valeur qui apparaît sur une ligne ne peut pas apparaître sur une autre ligne,Par exemple, clé primaire. 2. Contraintes de domaine Les contraintes de champ concernent les colonnes , Pour toutes les lignes , Une colonne a ...

  4. AndroidRésumé des connaissances de base

    Une des quatre activités principales État de l'activité État de fonctionnement: Activité en haut de la pile État de la suspension: L'activité n'est pas en haut de la pile , Mais toujours visible État d'arrêt: Totalement invisible État de destruction : Quitter la pile de retour Durée de vie onCreate() onStart(): Appel invisible ...

  5. try-catch Exemple

    package unit5; import java.util.Scanner; import javax.print.CancelablePrintJob; import javax.sound.m ...

  6. ajax Ne pas entrer du tout après la soumission actionErreur de retour direct

    J'ai un problème aujourd'hui. jQuerySoumettreajaxDemande, Il n'est pas entré. actionRenvoie le message d'erreur directement au point d'arrêt de. .Un examen attentif a révélé que c'était parce qu'un champ soumis par le client était100wValeur de, Le champ correspondant à l'arrière - plan est ShortType,C'est ...

  7. MVCDémarrer le tutoriel-Dans la vueLayoutUtiliser

    Objectifs du présent document 1. Réutilisable RazorLe modèle construit la page en composants Table des matières 1. Page du tableau principal _Layout.cshtml 2. Contrôles personnalisés par l'utilisateur 3.Par défautLayout Utilisation des références (_ViewStart.cshtml) 1 ...

  8. asp.net MVC Système de routage

    ASP.NETLe système de routage est basé sur un fichier physique pour l'enregistrement de routage,Par appelSystem.Routing.RouteTableDeRoutes(RouteCollection)PropriétéMapPageRoute()Méthodes pour compléter ...

  9. La clé de l'ère du Big Data ----Tachyon

    Un..Tachyon Introduction au système TachyonC'est un système de fichiers à mémoire distribuée,La présence peut être accédée dans le cluster à la vitesse d'accès à la mémoiretachyonLes dossiers.Prends ça. TachyonEst l'architecture au niveau le plus bas du stockage de fichiers distribués et les différents cadres informatiques au niveau supérieur ...

  10. Dijkstra Optimisation binaire du tas de l'algorithme

    Dijkstra Optimisation binaire du tas de l'algorithme Principe de l'algorithme Étendre un point à la plus petite distance à la fois,Mettre à jour la distance entre les points adjacents. .Comment trouver le point le plus éloigné OrdinaireDijkstra L'idée de l'algorithme est directe For i: 1 to n Le plan d'optimisation est Jianyi ...