DATASCIENCE

Python으로 웹 페이지의 모든 텍스트 찾기

이 기사에서는 파이썬으로 웹사이트의 모든 텍스트를 찾는 작은 스크립트를 만들 것입니다. 이것을 구현하기 위해 Beautiful Soup and requests라는 놀라운 파이썬 라이브러리를 사용할 것입니다. Beautiful Soup은 HTML 및 XML 파일에서 데이터를 가져오기 위한 Python 라이브러리입니다. 즐겨 찾는 파서와 함께 작동하여 구문 분석 트리를 탐색, 검색 및 수정하는 ...

[Python]Clicknium을 통한 Facebook Scraper

Clicknium을 사용하여 Facebook 게시물을 스크랩하는 샘플입니다. 프로젝트 폴더 아래에 Python 파일(예: sample.py )을 만듭니다. VS 코드 탐색기 아래에 Locators 표시: VS Code에서 Capture 버튼을 클릭합니다. 이 기능을 사용하면 동일한 구조를 가진 페이지의 모든 게시물을 가져올 수 있습니다. 5개의 요소가 일치하는 것을 볼 수 있습니다. 로케이터...

Forestplot을 사용하여 Python에서 계수 플롯 만들기

이 게시물은 오픈 소스 패키지를 사용하여 신뢰 구간으로 추정치를 그리는 방법을 보여줍니다. 이 패키지는 업스트림 분석에서 상관 계수 또는 회귀 추정치를 표시합니다( 참조). =1 검은색인 경우 사무원인 경우 =1 예를 들어, 상관 계수가 age인 첫 번째 행0.09 (p = 0.016)은 나이가 많을수록 더 많은 수면을 취한다는 것을 나타냅니다. (실제sleep75.csv 데이터에서 상관 계...

Poetry — Python의 Gerenciamento dedependências!!

Existem hoje diversas opções que podemos utilizar para fazer este gerenciamento dedependências para a linguagem python. Contudo, não é sobre nenhuma dessas que abordaremos hoje, mas sim sobre o Poetry. Criado por Sébasti...

Python의 모듈 및 패키지

모듈 따라서 코드 기반을 더 작은 청크로 나누고 더 작은 코드 청크를 다른 파일에 보관할 수 있습니다. 더 자주 사용되는 기능을 찾으면 하나의 모듈에 작성하여 필요할 때마다 해당 모듈을 사용할 수 있습니다. 모듈을 생성하려면 확장자가 .py인 파일을 생성하면 됩니다. 여기에서 'greet.py'라는 모듈 이름을 생성합니다. 아래 코드를 참조하십시오. 여기에서 하나의 모듈 이름인 'greet'...

Python 파이프라인의 속성

최근에 파이썬 파이프라인을 배웠습니다. 그런데 파이프라인에 포함된 요소의 속성을 꺼내는 큰 문제에 봉착했습니다. 이 포스트에 어떤 데이터가 사용되었는지 간단히 살펴보겠습니다. 데이터의 출처는 입니다. 링크는 변수 이름을 볼 수 있는 페이지로 연결됩니다. 설문 조사의 목적은 H1N1 독감 예방 접종률과 응답자 범주를 연구하는 것입니다. 이것은 이 게시물의 뒷부분에서 파이프라인의 출력을 이해하는...

Python을 사용한 데이터 분석: 미국의 총기 폭력 사건 분석.

이 프로젝트의 데이터 세트에는 2018년 12월 28일부터 2022년 6월 20일까지 미국 50개 주에서 발생한 총기 폭력 사건 기록이 포함되어 있습니다. 사건 ID, 사건 날짜, 주, 시 및 총기 폭력 사건이 발생한 주소. 이 분석을 수행하는 데 필요한 Python 라이브러리를 Python IDLE(Jupyter Notebook)로 가져오고 데이터 세트를 로드하여 분석을 시작했습니다. 데이...

내 Voi 스쿠터는 어디에 있습니까: [9] Python PIL 모듈을 사용하여 지도에서 스쿠터 히트맵 마스킹

이 블로그에서는 에서 만든 히트맵에 지도를 통합할 계획인데, 히트맵만 있으면 어떤 좌표에 스쿠터가 많은지 알 수 있지만 좌표가 있는 지도를 참조해야 하기 때문에, 불편하다. 지도와 히트맵의 이미지를 겹치려면 다른 이미지 위에 반투명 이미지를 두는 방법을 찾아야 합니다. 먼저 이미지를 투명하게 만들어야 합니다. putalpha(128)를 사용하여 이미지를 반투명하게 만듭니다. 알파 레벨 0은 ...

놀라운 파이썬 프로그램

Python으로 CRM 웹 앱 구축

이 웹 앱을 만들게 된 동기는 내가 원하는 질문과 데이터베이스 구조로 개인 양식 앱을 만들 수 있기를 바라는 마음이었습니다. 마침내 이 몇 줄의 코드를 모으는 데 시간이 걸렸지만 그렇게 해서 기쁩니다. 이 CRM 웹 앱은 데이터를 JSON 형식으로 저장할 수 있는 오픈 소스 데이터베이스 구조 및 Python 프로그래밍으로 구축되었습니다. 앱에 필요한 라이브러리 가져오기 양식 코드 수집된 데이...

Pandas 및 Python에서 문자열을 날짜로 변환

Python 및 Pandas에서 문자열을 날짜로 변환해야 하는 경우 다음을 확인할 수 있습니다. 다음과 같은 기본 날짜 변환이 포함되어 있습니다. 다음과 같은 추가 예: 사용자 지정 날짜 및 시간 패턴 날짜 패턴 추론 날짜가 다른 언어 로케일 다른 날짜 형식 또한 주어진 문자열에 퍼지 일치가 있는 날짜가 포함되어 있는지 여부도 표시됩니다. 또는 Pandas 열의 혼합 날짜:...

Python을 사용한 Caesar 암호 해독

일반 텍스트의 각 문자가 알파벳 아래의 고정된 수의 문자로 대체되는 일종의 대체 암호입니다. 예를 들어, 다음은 23의 오른쪽 시프트에 해당하는 세 위치의 왼쪽 회전을 사용하는 Caesar 암호입니다(shift 매개변수가 키로 사용됨). 일반 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 암호 X Y Z A B C D E F G H I J K L...

Pandas를 사용하여 드라이브에 CSV 파일을 로드하는 방법.

먼저 노트북에서 드라이브를 가져와야 하며 다음 명령을 사용합니다. 지정된 마운트 지점 경로에 Google 드라이브를 마운트합니다. 이 명령은 드라이브 사용 권한을 요청합니다. 노트북에서 CSV 로드를 위해 다음을 사용합니다. 판다 수입 Pandas로 CSV 파일 읽기 예시 CSV 파일에 페이지가 많은 경우 이 줄을 사용할 수 있습니다. 예시 CSV의 열이 특수 문자로 구분되는 경우 다음을 사...

흥미로운 기계 학습 프로젝트: Rock vs Mine 예측

국가 사이에 전쟁이 있고 우리가 잠수함을 배정하여 물 속에 암석이나 지뢰가 있는지 여부를 확인한다고 가정합니다. 그리고 바다에도 바위가 있을 수 있습니다. → 잠수함은 지뢰를 건너고 있는지, 바위를 건너고 있는지를 예측해야 합니다. 그래서 잠수함 밑에 있는 물체가 광산인지 암석인지 예측하는 시스템을 구축해야 합니다. 어떻게 할 수 있습니까? → 잠수함은 소리 신호를 보내고 신호의 스위치 백을...

GPU가 장착된 M1 MacBook Air(메탈)에 TensorFlow 설치

이제 TensorFlow v2.5에서 Apple의 tensorflow-metal PluggableDevice를 활용하여 Metal을 사용하여 Mac GPU에서 직접 교육을 가속화할 수 있습니다. 자세히 알아보기 . OS 요구 사항 Anaconda-Clean 패키지 설치 모든 Anaconda 관련 파일 제거 전체 아나콘다 설치 디렉토리 제거 Conda env 다운로드 및 설치 아나콘다 환경 생...

파이썬 가이드

print("Hello World") b=input("Enter string") 'Engineering College' c = s+" "+b 'Engineering College' c.capitalize() 'Engineering college' c.lower() 'engineering college' c.upper() 'ENGINEERING COLLEGE' str="arun C machin...

python🐍🐼pandas 초보자 가이드

팬더는 무엇입니까? Python pandas는 데이터 분석에 널리 사용되는 오픈 소스 라이브러리입니다. Pandas 라이브러리는 ML 및 데이터 과학에서 데이터를 읽고 조작하는 데 사용됩니다. pip 명령을 사용하여 시스템에 pandas를 설치합니다. 데이터프레임이란? pandas DataFrame은 2차원 데이터 배열 또는 행과 열이 있는 테이블입니다. 팬더에서 데이터 프레임 만들기: 데이...

Azure Databricks에서 Azure Synapse에 연결하는 방법

Azure Databricks를 사용하면 대용량 데이터를 병렬로 쉽게 변환하고 변환된 데이터를 다른 Azure 서비스에 저장할 수 있습니다. 그 중 하나가 Azure Synapse(이전의 SQL DW)입니다. Azure Databricks에는 Azure Synapse에서 데이터를 쉽게 읽고 쓸 수 있는 기본 제공 커넥터가 있습니다. Azure Databricks 작업 영역 Azure Blob...

Azure Databricks에 비밀을 저장하는 방법

Azure Databricks에서는 다양한 Azure 서비스에 저장된 데이터에 대한 데이터 변환을 수행하는 코드를 작성할 수 있습니다. 그러나 다른 프로그램과 마찬가지로 Azure Databricks에서 사용되는 자격 증명을 보호하려는 경우 Azure Databricks는 이를 달성하는 데 도움이 되는 견고한 비밀 관리 접근 방식을 제공합니다. Azure Cloud Shell에서 Databr...

JAVA로 간단한 웹 크롤러를 만드는 방법 ...(및 jsoup)

Python은 웹스크레이핑과 관련하여 사용하기에 틀림없는 numero uno 언어이지만 좋은 ole JAVA에는 장점이 있습니다. 적어도 아직 Python에 대해 깊이 파고들지 않은 나와 같은 JAVA 개발자에게는. 급한 경우 걱정하지 마십시오. 전체 코드는 이 게시물의 끝에서 찾을 수 있습니다. 여하튼, 정말 lulz를 위해 webcrawler w/JAVA를 만드는 방법을 알고 싶었습니다....

Google 위치 데이터에서 히트 맵을 생성하는 방법

Google은 많은 데이터를 추적하지만 많은 사람들은 실제로 데이터를 다운로드할 수 있다는 사실을 모릅니다. 여기에서 데이터를 다운로드할 수 있습니다. 내 위치 기록을 다운로드했을 때 2014년으로 거슬러 올라가는 약 14,000,000줄과 1,050,000개 이상의 데이터 포인트가 포함된 JSON 파일이 있었습니다. 왜 이 데이터를 사용하지 않습니까? 그래서 이 데이터에서 히트 맵을 생성하...

Mac에 Hadoop 설치 – 궁극적인 단계별 가이드

이 튜토리얼에서는 하둡이 무엇인지와 그 아키텍처에 대한 간략한 알림을 포함하여 Mac 시스템에 하둡 시스템을 설치하는 방법을 배웁니다. 하둡 시스템은 두 가지 주요 빅 데이터 문제를 해결합니다. 하둡 시스템에는 이 문제를 방지하는 메커니즘이 있습니다. 많은 하드 드라이브에 저장된 많은 양의 데이터를 분석할 때 이 정보에 액세스하고 결합하는 것이 어려울 수 있습니다. 다행히도 Hadoop은 이...

DuckDB를 사용한 데이터 분석 가이드

데이터 분석가의 삶은 SQL 서버를 통해 데이터를 로드하고 다양한 Python 패키지를 사용하여 분석하고 최종적으로 기술 보고서를 작성하는 것입니다. 때때로 이러한 SQL 쿼리는 테라바이트의 데이터를 처리하기 때문에 처리하는 데 더 오랜 시간이 걸릴 수 있습니다. 빠르게 변화하는 세상에서 이 전략은 비참하게 실패하고 대부분의 분석은 전통적인 방식에서 데이터 분석을 수행하는 방식으로 이동하고 ...

파이썬에서 간단한 암호 관리자를 만드는 방법

이 포스트에서는 파이썬에서 간단한 비밀번호 관리자를 만드는 방법을 알려 드리겠습니다. 그럼 들어가 보겠습니다. 가장 먼저 해야 할 일은 비밀번호 관리자에 대한 비밀번호를 설정하고 사용자 입력을 추가하여 비밀번호를 입력할 수 있도록 하는 것입니다. 다음으로 추가해야 할 것은 입력한 비밀번호가 올바른지 확인하는 if 문입니다. 이제 예를 들어 reddit의 비밀번호를 인쇄할 수 있습니다. 이제 ...

Python에서 두 개의 목록으로 사전을 만드는 방법

이 게시물에서는 두 개의 목록에서 새 사전을 만드는 방법에 대해 설명합니다. 먼저 입력 및 예상 출력을 확인한 다음 문제의 실제 소스 코드를 살펴보겠습니다. 입력: 예상 출력: 이 문제를 해결하는 방법에는 여러 가지가 있습니다. 방법 1: 먼저 Python에서 for 루프를 사용하는 간단한 방법을 살펴보겠습니다. 이 솔루션은 괜찮지만 훌륭하지는 않습니다. 더 파이썬적인 방법인 다른 방법을 확...

파이썬에서 목록을 정렬하는 방법

이 포스트에서는 파이썬에서 리스트를 정렬하는 방법에 대해 논의할 것입니다. 파이썬에서 목록을 정렬하는 방법은 크게 두 가지가 있습니다. sorted 기능 sort 방법 이렇게 하면 주어진 목록이 정렬되고 새 목록이 생성됩니다. 즉, 기존 목록이 수정되지 않습니다. 위의 예Out[3]에서 볼 수 있듯이 동일한 번호 목록이 있습니다. 이 방법은 목록에 정렬을 적용하고 기존 목록을 업데이트합니다....

React에서 Plotly.js를 사용하여 데이터를 시각화하고 상호 작용하는 방법

몇 달 전에 Python Plotly를 사용하여 대화형 3D 네트워크(또는 데이터)를 시각화하는 방법에 대해 작성했으며 Plotly.js용으로 또 하나 작성하는 것이 좋을 것이라고 생각했습니다. 누군가가 Python Plotly보다 Plotly.js를 선호하는 이유 중 하나는 로딩 속도 때문일 수 있습니다. - 나는 한 번 React + Flask 애플리케이션(데이터 세트와 Plotly 수치...

Google Colab을 로컬 런타임에 연결하는 방법

를 사용하면 Python 실행 코드와 서식 있는 텍스트(이미지, HTML, LaTeX 포함)를 혼합하여 브라우저에서 'Colab 노트북'을 빌드할 수 있습니다. 월별 요금으로 Colab Pro 또는 Colab Pro+로 업그레이드하면 더 많은 GPU와 메모리 리소스에 액세스할 수 있습니다. 그러나 최소한의 공동 작업 노트북을 실행하는 경우 대체 옵션을 사용할 수 있습니다. Google Col...

GPT2 — 텍스트 생성 변환기: 사용 방법 및 제공 방법

텍스트 생성이란 무엇입니까? 일부 텍스트를 입력하면 모델이 다음 텍스트가 무엇인지 예측합니다. 흥미롭게 들린다. 모델을 직접 시도하지 않고 어떻게 재미있을 수 있습니까? 모델이 자동으로 다운로드됩니다. 그게 다야! 조금 시도해 보겠습니다. 결과: 첫 번째 결과를 살펴보겠습니다. You look amazing today, guys. If you're still in school and you ...