Hugging Face Hub 托管了超过 5,000 个数据集，涵盖 100 多种语言，可用于 NLP、计算机视觉和音频领域的广泛任务。这些数据集适用于翻译、自动语音识别、图像分类等多种任务。本笔记本展示了如何将
Hugging Face Hub 数据集加载到 LangChain 中。
from langchain_community.document_loaders import HuggingFaceDatasetLoader
dataset_name = "imdb"
page_content_column = "text"
loader = HuggingFaceDatasetLoader(dataset_name, page_content_column)
data = loader.load()
data[:15]
[Document(page_content='我租了《我好奇－黄色》这部影片，主要是因为它在1967年首次上映时引发的所有争议。我还听说，当初它试图进入美国时曾被海关查扣，因此作为一个喜欢“争议”电影的影迷，我真的很想亲自看看。<br /><br />剧情围绕一位名叫莉娜的瑞典戏剧系学生展开，她想了解生活的方方面面。特别是，她希望集中精力制作一部纪录片，探讨普通瑞典人对某些政治议题的看法，比如越南战争和美国的种族问题。在采访政客和斯德哥尔摩普通市民对政治的看法之余，她还与她的戏剧老师、同学和已婚男性发生了性关系。<br /><br />让我感到惊讶的是，40年前，这部电影竟然被视为色情片。实际上，其中的性和裸露镜头寥寥无几，而且拍摄手法也不像那些粗制滥造的色情片。虽然我的同胞可能会感到震惊，但事实上，性和裸露是瑞典电影的主要元素之一。即使是英格玛·伯格曼——可以说是他们对应约翰·福特的代表人物——他的电影中也有性爱场景。<br /><br />我确实赞赏电影制作人，因为片中展示的任何性爱都是为了艺术目的，而不是仅仅为了震惊观众并在美国的色情影院赚钱。《我好奇－黄色》对于任何想研究瑞典电影核心内容（无意双关）的人来说都是一部好电影。但说实话，这部电影的情节并不丰富。', metadata={'label': 0}),
Document(page_content='《我好奇：黄色》是一部可笑又自命不凡的烂片。无论一个人的政治观点如何，这部电影几乎在任何层面上都难以被认真对待。至于声称男性正面裸露会自动被评为 NC-17，这并不正确。我看过 R 级电影中有男性裸露的镜头。当然，它们只提供了一些短暂的画面，但哪里有展示敞开阴户和拍打阴唇的 R 级电影呢？没有，因为它们不存在。那些糟糕的有线电视节目也是如此：风中摇摆的阴茎，却看不到阴蒂的踪影。还有那些自命不凡的独立电影，比如《棕兔》，我们看到了文森特·加洛勃起的阴茎，但在科洛·塞维尼身上却看不到一丝粉红色。在抱怨（或暗示）裸露问题上的“双重标准”之前，那些头脑迟钝的人应该考虑到男女生理上一个不可避免的明显差异：女演员裸体时不会展示生殖器，而男性则不然。事实上，在美国电影中，除非是色情片或明确的色情作品，否则你通常看不到女性生殖器。这种所谓的双重标准，与其说是双重标准，不如说是一种令人沮丧的文化上无法接受女性身体内部的能力。', metadata={'label': 0}),
Document(page_content='如果只是为了避免未来再拍这类电影。这部电影作为实验很有趣，但没有讲述一个连贯的故事。<br /><br />人们可能会因为触及了这么多重要议题而感到自己很有德行地坐完全片，但它这样做没有任何明显的动机。观众看完后不会获得新的视角（除非在观看这部毫无意义的电影时，你的思绪不可避免地飘走，然后自己想出一个）。<br /><br />你或许还不如花时间盯着窗外看一棵树生长。<br /><br />', metadata={'label': 0}),
Document(page_content='这部电影可能受到了戈达尔的《男性，女性》的启发，我建议你去看那部电影。<br /><br />这部电影有两个突出的元素，那就是（1）真实的表演（2）令人印象深刻、出人意料的好摄影。除此之外，最让我印象深刻的是无尽的愚蠢流。莉娜·尼曼一定是世界上最烦人的女演员。她演得如此愚蠢，加上这部电影中所有的裸露镜头……毫无吸引力。与戈达尔的电影相比，智慧被愚蠢所取代。不过多讨论这个话题，我会说这源于法国和瑞典社会理想的差异。<br /><br />一部属于其时代和地点的电影。2/10。', metadata={'label': 0}),
Document(page_content='哦，天哪……在听说了这部荒谬的电影这么多年后，我唯一能想到的就是那首老佩吉·李的歌……<br /><br />“这就是全部吗？”……当这条熏鱼登陆美国时，我还是个十几岁的孩子。我太小了，进不了电影院（尽管我设法溜进了《再见，哥伦布》）。后来，当地电影博物馆的一场放映吸引了我——我终于可以看到这部电影了，只是现在我已经和当年父母赶去看它时一样老了！！<br /><br />这部电影没有被遗忘的唯一原因是因为它在美国上映引发的淫秽案件。数百万人涌向这部烂片，以为他们会看到一部色情电影……相反，他们看到了许多面目可憎、令人反感的瑞典人的特写，在平淡购物中心的街头采访，愚蠢的政治自命不凡……以及乏味的、谁在乎的模拟性爱场景，演员皮肤松弛、苍白。<br /><br />文化偶像、圣杯、历史文物……不管这东西是什么，撕碎它，烧掉它，然后把骨灰塞进铅盒里！<br /><br />精英审美家们仍在费力地寻找其无聊的伪革命政治言论的价值……但如果不是因为审查丑闻，它早就被忽视，然后被遗忘了。<br /><br />相反，“我是空白，空白”这种押韵的标题多年来被无数色情电影重复使用（《我好奇，薰衣草》——用于同性恋电影，《我好奇，黑色》——用于黑人剥削电影，等等……）每十年左右，这东西就会死而复生，被新一代的傻瓜观看，他们想看看那部“革命了电影工业”的“下流色情电影”……<br /><br />哎呀，像躲避瘟疫一样避开它……或者如果你必须看——租录像带，快进到“肮脏”的部分，只是为了尽快结束。<br /><br />', metadata={'label': 0}),
Document(page_content='我会把这部电影放在我“无法观看的垃圾”类别列表的首位！有些电影很糟糕，但最糟糕的是那些无法观看但你却应该喜欢它们，因为它们被认为对你有好处！性爱场景，在当年如此令人震惊，甚至无法让兔子兴奋起来。所谓的争议政治完全是高中二年级业余马克思主义。这部电影在最糟糕的意义上自觉追求艺术感。摄影采用粗糙的颗粒黑白画面。有些场景失焦或角度错误。甚至连声音都很差！还有人称之为艺术？<br /><br />', metadata={'label': 0}),
Document(page_content='为这部电影写剧本的人显然从未查阅过任何关于露西尔·鲍尔的书籍，尤其是她的自传。我从未在一部传记片中见过这么多错误，从她在塞勒龙和詹姆斯敦的早年生活到她与德西的晚年生活。我可以列出一长串事实错误，但会写好几页。总之，我相信露西尔·鲍尔是那些无法被他人模仿的人之一。如果我是露西·阿纳兹和德西·小阿纳兹，我会对这部电影中出现的这么多错误感到愤怒。电影制作人很努力，但这部电影在我看来非常草率。', metadata={'label': 0}),
Document(page_content='当我第一次瞥见这部电影时，我很快注意到扮演露西尔·鲍尔角色的女演员。蕾切尔·约克对露西的演绎绝对糟糕。露西尔·鲍尔是一位令人惊叹的喜剧演员，才华横溢。想到像露西尔·鲍尔这样的传奇人物在电影中被这样演绎，真是可怕。我不敢相信，在世界上所有能演好露西的女演员中，制片人决定选蕾切尔·约克。她可能在其他角色中是个好演员，但扮演露西尔·鲍尔这个角色很难。要找到长相和才华与露西尔·鲍尔相似的人相当困难，但他们至少可以找到在外貌和才华上有点相似的人。如果你注意到约克在《我爱露西》剧集中的演绎，比如巧克力工厂或维他命广告，没有任何相似之处——她的表情、声音或动作。<br /><br />更糟糕的是，丹尼·皮诺扮演德西·阿纳兹也很糟糕。皮诺没有资格扮演里基。他身材矮小瘦弱，口音不真实，而且他的表演同样不可信。尽管弗雷德和埃塞尔也不相似，但他们没有露西和里基的角色那么糟糕。<br /><br />总的来说，选角极其糟糕，故事讲述得也很差。如果人们想了解露西尔·鲍尔的真实生活情况，我建议观看 A&E 的《露西和德西传记》，阅读露西尔·鲍尔本人的书，或者 PBS 的《美国大师：寻找露西》。如果你想看一部纪实剧，《笑声之前》会是更好的选择。那部剧中露西尔·鲍尔和德西·阿纳兹的选角比这部好得多。至少，它展示了一些相似之处，而不是一无是处。', metadata={'label': 0}),
Document(page_content='这些“他们”是谁——演员？电影制作人？肯定不可能是观众——这是现存最空洞浮夸的作品之一。这种电影看起来拍摄过程很有趣——太有趣了，以至于没有人真正在工作，这几乎总是导致一部观看时毫无乐趣的电影。<br /><br />里特戴上眼镜，以强调他的角色是博格达诺维奇这个戴眼镜的人的某种替身；与随和的斯特拉顿女士的场景很甜蜜，但有一种尴尬的“看，伙计们，我在和舞会皇后约会”的感觉。本·加扎拉带着他惯常的猫抓到金丝雀般的笑容，徒劳地试图提升微薄的情节，这要求他以嗜睡症患者在失眠诊所般的兴趣追求奥黛丽·赫本。与此同时，这对萌芽情侣各自的孩子（裙带关系警告：博格达诺维奇的女儿们）说着俏皮话，并在观察父母时学到了一些相当令人不安的“爱”的提示。（赫本女士凭借她的尊严，设法超越了整个进程——但她面临着扮演自己的巨大挑战。）每个人都看起来很棒，但那又怎样？这是一部电影，我们可以期待这一点，如果你在寻找这个，你最好买一本《Vogue》。<br /><br />哦——必须提到科琳·坎普非常烦人，即使抛开她的歌唱不谈，虽然她的歌唱能力不错，但完全不可信……乡村和西部歌曲与配乐中的标准曲目严重不匹配。这肯定不是格什温（电影片名源自他的歌曲）所想的；他20年代的舞台音乐剧可能轻浮，但至少魅力十足。《他们都笑了》试图凭借其良好的意图蒙混过关，但没有人——尤其是彼得·博格达诺维奇——有足够的理智来刹车。<br /><br />由于多萝西·斯特拉顿的悲剧性死亡，这部电影在博格达诺维奇先生心中占有特殊的位置——他甚至从制片人那里买回了它，然后自己发行，并在它不受欢迎时破产了。他的兴衰是好莱坞故事中更令人同情和悲剧的之一，所以批评这部电影并无乐趣……斯特拉顿女士的场景中确实有真实的情感投入。但《他们都笑了》是《最后一场电影》、《纸月亮》或《爱的大追踪》的微弱回声——继《黛西·米勒》和《终于相爱》之后，它是对 P.B. 从未走出的阶段的雷鸣般的确认。<br /><br />但总的来说，这部电影无害，只是浪费了租金。如果我想看人们玩得开心，我会在阳光明媚的日子去公园。至于快乐和爱的电影表达，我会坚持看恩斯特·刘别谦和雅克·德米的作品……', metadata={'label': 0}),
Document(page_content='据说这是彼得·博格达诺维奇的一部个人电影。他基于自己的生活创作，但为了适应角色（侦探）而改变了事情。这些侦探与美丽的模特约会，并且毫不费力地得到她们。这听起来更像是一个百万富翁花花公子电影制作人，而不是侦探，不是吗？整部电影都是彼得写的，这显示了他与现实中的普通人有多么脱节。你应该写你所知道的，他确实这样做了。结果让观众感到无聊、困惑，甚至嫉妒。这是一部为那些想看看多萝西·斯特拉顿（她在拍摄后不久被谋杀）的人准备的奇趣片。但帕蒂·汉森（她后来在现实生活中嫁给了基思·理查兹）也是一名模特，像斯特拉顿一样，但她更好，戏份也更充足。事实上，斯特拉顿的角色似乎是被强加的；添加的。她与故事关系不大，而故事本身就已经相当复杂了。总之，这部电影中的每个角色都是很少有人能与之产生共鸣的，除非你是来自曼哈顿的百万富翁，身边有美丽的超模随叫随到。对于我们其他人来说，这是一场令人恼火的打瞌睡盛宴。这就是当你脱离现实时会发生的事情。你用内部笑话娱乐你的少数朋友，却让其他所有人都感到无聊。', metadata={'label': 0}),
Document(page_content='很高兴看到30年前我最喜欢的一些明星，包括约翰·里特、本·加扎拉和奥黛丽·赫本。他们看起来非常棒。但仅此而已。他们没有获得任何角色或好台词来发挥。我既不理解也不关心这些角色在做什么。<br /><br />一些较小的女性角色还不错，帕蒂·汉森和科琳·坎普在她们的小配角中表现得相当称职和自信。她们展示了一些才华，很遗憾她们没有继续主演更多更好的电影。可悲的是，我认为多萝西·斯特拉顿在她唯一重要的电影角色中没有机会表演。<br /><br />这部电影似乎有一些粉丝，我在开始观看时非常开放。我是彼得·博格达诺维奇的忠实粉丝，我喜欢他的最后一部电影《猫的喵喵》以及他早期的所有作品，从《目标》到《镍币影院》。所以，我真的惊讶于我几乎无法保持清醒观看这一部。<br /><br />讽刺的是，这部电影讲述的是一个侦探社，侦探和客户之间互相产生浪漫关系。五年后，博格达诺维奇的前女友西比尔·谢泼德有一部热门电视剧《蓝色月光》，窃取了博格达诺维奇的故事创意。当然，最大的区别在于该剧依赖于大量机智的对话，而这部电影则试图用闹剧和几句神经质台词来应付。<br /><br />底线：它比不上《纸月亮》，只是《爱的大追踪》的一个非常苍白的版本。', metadata={'label': 0}),
Document(page_content='我不敢相信那些在这里赞扬这部电影的人不是在想别的电影。我做好了这部电影可能很糟糕的准备，但剧本（或者说缺乏剧本）使得这部电影也毫无意义。从积极的一面看，演员和技术人员的总体工艺水平相当称职，但当你面对的是猪耳朵时，你无法做出丝绸钱包。本·加的粉丝应该坚持看他出演过的几乎任何其他电影。多萝西·斯特拉顿的粉丝应该坚持看《银河女战士》。彼得·博格达诺维奇的粉丝应该坚持看《最后一场电影》和《目标》。那些喜欢以似乎自找的人为代价获得廉价笑声的人，应该坚持看彼得·博格达诺维奇那本令人惊讶的糟糕的书《独角兽之死》。', metadata={'label': 0}),
Document(page_content='永远不要在你的电影中选模特和《花花公子》兔女郎！鲍勃·福斯关于多萝西·斯特拉顿的《星尘80》——博格达诺维奇对她痴迷到在她被她的低俗丈夫谋杀后娶了她的妹妹——比多萝西本人在银幕上要有趣亿万倍。帕蒂·汉森也不是演员……我期待看到某种像奥森·威尔斯那样的失传杰作，结果却看到奥黛丽·赫本穿着牛仔裤和糟糕的“贵宾犬式”发型嬉戏……非常失望……《纸月亮》和《最后一场电影》我可以一遍又一遍地看。这部烂片我几乎无法坐看一次。据说这部电影没有上映是因为围绕斯特拉顿女士肮脏死亡的风波；我认为真正的原因是因为它太糟糕了！', metadata={'label': 0}),
Document(page_content='不是演员的问题。你找不到比这更优秀的演员阵容了。也不是场景的问题。导演爱上了纽约市，到电影结束时，我们也都爱上了！伍迪·艾伦也无法超越博格达诺维奇在这里的成就。如果你要坠入爱河或寻找爱情，曼哈顿是理想之地。不，电影的问题在于剧本。没有剧本。演员们一见钟情，言语是多余的。在导演自己的好莱坞经历中，这就是他们去片场工作时发生的事情。这对他和他的同行来说是现实，但对现实世界中的我们大多数人来说，这是一种幻想。所以，最终，这部电影是空洞的、肤浅的、没有信息的。', metadata={'label': 0}),
Document(page_content='今天我在一家租赁店发现了《他们都笑了》的 VHS 在出售。那是一盘非常旧且使用过的 VHS，我对这部电影没有任何信息，但我喜欢它封面上列出的参考资料：彼得·博格达诺维奇、奥黛丽·赫本、约翰·里特，特别是多萝西·斯特拉顿的名字吸引了我，价格很低，我决定冒险买下它。我搜索了 IMDb，用户评分 6.0 是一个很好的参考。我查阅了《米克·马丁和玛莎·波特视频和 DVD 指南 2003》——哇——四颗星！所以，我决定不能再浪费时间，立即观看。事实上，我刚刚看完《他们都笑了》，发现它是一部非常无聊且被高估的电影。角色发展得很差，我花了很多分钟才理解他们在故事中的角色。情节本应有趣（私家侦探爱上了他们追踪的女人），但我在整个故事中没有笑过一次。在纽约这样的大城市里，巧合是荒谬的。本·加扎拉作为一个有吸引力且非常迷人的男人，女人们像对待布拉德·皮特、安东尼奥·班德拉斯或乔治·克鲁尼一样为他倾倒，这相当可笑。最后，最大的吸引力当然是《花花公子》中页女郎和年度玩伴多萝西·斯特拉顿的出场，她在电影上映后不久被丈夫谋杀，她的生活曾在《星尘80》和《中页女郎之死：多萝西·斯特拉顿的故事》中展示；性感帕蒂·汉森的惊人美貌，未来的基思·理查兹夫人；永远美妙的奥黛丽·赫本，即使她已经五十二岁；以及歌曲《Amigo》，来自罗伯托·卡洛斯。虽然我不喜欢他，但罗伯托·卡洛斯自 60 年代末以来一直是巴西最受欢迎的歌手，被他的粉丝称为“国王”。我将把这部电影保留在我的收藏中，仅仅是因为这些吸引力（主要是多萝西·斯特拉顿）。我的评分是四分。<br /><br />巴西片名：《Muito Riso e Muita Alegria》（“许多笑声和许多快乐”）', metadata={'label': 0})]
示例
在这个示例中，我们使用数据集中的数据来回答问题from langchain.indexes import VectorstoreIndexCreator
from langchain_community.document_loaders.hugging_face_dataset import (
HuggingFaceDatasetLoader,
)
dataset_name = "tweet_eval"
page_content_column = "text"
name = "stance_climate"
loader = HuggingFaceDatasetLoader(dataset_name, page_content_column, name)
index = VectorstoreIndexCreator().from_loaders([loader])
找到缓存的数据集 tweet_eval
0%| | 0/3 [00:00<?, ?it/s]
使用嵌入式 DuckDB，无持久化：数据将是临时的
query = "最常用的标签是什么？"
result = index.query(query)
result
' 在这种语境下最常用的标签是 #UKClimate2015、#Sustainability、#TakeDownTheFlag、#LoveWins、#CSOTA、#ClimateSummitoftheAmericas、#SM 和 #SocialMedia。'
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.