MySQL Inserting millions of records into MySQL database using Python

약 1 억 개의 레코드 (숫자)가있는 txt 파일이 있습니다. 이 파일을 Python으로 읽고 Python의 간단한 insert 문을 사용하여 MySQL 데이터베이스에 삽입합니다. 그러나 그것은 매우 오래 걸리고 스크립트가 끝나지 않을 것 같습니다. 이 프로세스를 수행하는 최적의 방법은 무엇입니까? 스크립트가 1 % 미만의 메모리와 10 ~ 15 %의 CPU를 사용하고 있습니다.

이러한 대용량 데이터를 처리하고 데이터베이스에 효율적으로 삽입하기위한 모든 제안은 대단히 감사하겠습니다.

감사.

 

해결 방법

 

파이썬을 고수하면서 입력에서 튜플 목록을 만들고 파이썬 mysql 커넥터의 execute many 문을 사용하는 것이 좋습니다.

파일이 너무 크면 생성기를 사용하여 더 이해하기 쉬운 파일로 청크 할 수 있습니다.

 

참조 페이지 https://stackoverflow.com/questions/30928713