با سلام.
من از کتابخانه gensim برای لود کردن دیتاست GoogleNews استفاده می کنم. GoogleNews شامل مجموعه ای از ۳میلیون بردار word embedding به طول ۳۰۰ بعد هست. من قبلا این دیتاست رو لود میکردم و خطایی نمیگرفتم اما الان خطای حافظه میگیرم.
این قطعه کد من هست:
import gensim.models.keyedvectors as word2vec
model=word2vec.KeyedVectors.load_word2vec_format("GoogleNews-vectors-negative300.bin",binary=True)
و این خطایی که دریافت میکنم:
File "/home/mahsa/PycharmProjects/tensor_env_project/word_embedding_DUC2007/inspect_word2vec-master/word_embeddings_GoogleNews.py", line 8, in <module>
model=word2vec.KeyedVectors.load_word2vec_format("GoogleNews-vectors-negative300.bin",binary=True)
File "/home/mahsa/anaconda3/envs/tensorflow_env/lib/python3.5/site-packages/gensim/models/keyedvectors.py", line 212, in load_word2vec_format
result.syn0 = zeros((vocab_size, vector_size), dtype=datatype)
MemoryError
من این خطا رو در سایت های مختلف جستجو کردم ولی متاسفانه متوجه مشکل نشدم. این هم دو نمونه از سایت هایی که دقیقا مشکل من را داشته اند و با راهنمایی های ارایه شده مشکلشان حل شده بوده اما من متوجه نشدم:
https://github.com/RaRe-Technologies/gensim/issues/293
https://github.com/RaRe-Technologies/gensim/issues/592
ممکنه کسی راهنمایی کنه؟ ممنونم