手机版
热门标签
站点地图
我要投稿
广告合作
联系我们
搜 索
广告位招租
广告位招租
切换导航
首页
人工智能
编程教程
编程导航
编程百科
编程问答
编程博文
编程实例
硬件设备
网络运营
软件教程
移动数码
办公软件
操作系统
网络运维
技术频道
▸ 编程语言
▸ 前端开发
▸ 移动开发
▸ 开发工具
▸ 程序设计
▸ 行业应用
▸ CMS系统
▸ 服务器
▸ 数据库
公众号推荐
微信公众号搜
"智元新知"
关注
微信扫一扫可直接关注哦!
huggingface-tokenizers
huggingface-tokenizers专题提供huggingface-tokenizers的最新资讯内容,帮你更好的了解huggingface-tokenizers。
从头开始培训GPT2和改革者
例如,我正在寻找脚本/笔记本,用德语从头开始训练GPT2和Reformer模型。 类似于: <blockquote> <a href=
作者:佚名 时间:2022-10-26
有没有一种方法可以获取在BERT中已生成特定令牌的子字符串的位置?
我正在为BERT模型(Hugging Face库)提供句子。这些句子通过预训练的分词器分词。我知道您可以使用解码
作者:佚名 时间:2023-02-13
在拥抱中使用字母组合标记器时如何启用采样?
在<a href="https://huggingface.co/transformers/tokenizer_summary.html#unigram" rel="nofollow noreferrer">huggingface transformer documen
作者:佚名 时间:2022-08-16
ValueError:TextEncodeInput必须为Union [TextInputSequence,Tuple [InputSequence,InputSequence]]-令牌化BERT / Distilbert错误
<pre><code>def split_data(path): df = pd.read_csv(path) return train_test_split(df , test_size=0.1, random_state=100) train, test = spl
作者:佚名 时间:2022-08-15
通过Hugging Face的变压器管道获得实体位置
我正在使用Hugging Face的管道来对长文本执行NER(命名为实体识别)。 但是,在通过管道处理了文本之后
作者:佚名 时间:2022-08-13
变形金刚脚本运行,但在PyCharm调试器中中断
我在调试模式下使用以下脚本来更好地了解Transformers的model.generate()函数的内部工作原理。它是我为客
作者:佚名 时间:2022-08-13
来自 TF Hub 临时文件的微调 BERT SavedModel 硬引用 vocab.txt
首先,我对 TensorFlow 比较陌生,所以可能我做错了什么。我正在尝试为二进制文本分类创建一个独立的 T
作者:佚名 时间:2022-08-07
RoBERTa为什么不将自定义标记标记为特殊标记?
最近我一直在从<a href="https://huggingface.co/blog/how-to-train" rel="nofollow noreferrer">this tutorial</a>中的代码开始,
作者:佚名 时间:2022-07-24
如何使字节级令牌生成器不拆分<adjective>令牌?
我有带有自定义标记的文本,例如:<code><adjective></code>,我正在尝试准备一个不会拆分它们的字节
作者:佚名 时间:2022-07-24
Hugging facepytorch变压器上的GPT2 RuntimeError:只能为标量输出隐式创建grad
我正在尝试使用我的自定义数据集微调gpt2。我使用拥抱式变压器的文档创建了一个基本示例。我收到提
作者:佚名 时间:2022-07-25
Huggingface BART变形器的索引超出范围bart-large-xsum
我在总结具有较大vocab尺寸的长文章时遇到了问题。 许多模型都有最大输入大小的限制。 因此,它不是
作者:佚名 时间:2022-06-12
有什么理由要保存预训练的BERT令牌生成器?
说我正在使用<code>tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True)</code>,而在微调
作者:佚名 时间:2022-06-12
将保存的NER加载回HuggingFace管道吗?
我正在研究HuggingFace的转移学习功能(特别是用于命名实体识别的功能)。首先,我对变压器体系结构有
作者:佚名 时间:2022-06-11
从tf.data.Dataset训练keras模型时如何指定标签/功能?
我遵循了有关如何创建/加载TFRecords <a href="https://www.tensorflow.org/tutorials/load_data/tfrecord" rel="nofollow noreferrer
作者:佚名 时间:2022-06-10
如何将经过训练的拥抱面RagRetriever数据集下载到自定义目录
我正在玩来自Facebook(拥抱脸)<a href="https://huggingface.co/facebook/rag-token-nq#usage" rel="nofollow noreferrer">https://h
作者:佚名 时间:2022-06-10
通过Huggingface令牌生成器与其余迭代
变压器模型具有最大令牌限制。如果我想将我的文本细分为适合该范围,通常可以采用什么方式?
作者:佚名 时间:2022-06-10
BERT零层固定字嵌入
我想用bert零层矢量(输入矢量)做一个实验,我知道它的尺寸是128维。 我找不到<strong>在哪里可以
作者:佚名 时间:2022-06-10
拥抱面部节省令牌生成器
我正在尝试将令牌生成器保存为拥抱状态,以便以后可以从不需要访问互联网的容器中加载令牌生成器
作者:佚名 时间:2022-06-06
BERT标记URL
我想对一堆推文进行分类,因此我正在使用BERT的实现方式。但是,我注意到默认的BertTokenizer并未对URL使
作者:佚名 时间:2022-06-06
RobertaTokenizer和初始化RobertaTokenizer的from_pretrained方法有什么区别?
我是<strong>拥抱脸部变形器</strong>的新手,并且在从头开始训练<code>import path from 'path' const uid = 
作者:佚名 时间:2022-06-05
上一页
1
2
3
4
5
6
下一页
小编推荐
苹果市值2025年有望达4万亿美元
• OPPO Find X8全系标配50W无线充电:支持
• 华为GT5 Pro手表开售:首发向日葵定位系
• 骁龙X Elite处理器CPU面积庞大无比 远超
• 杨幂巴黎时装周手持华为Mate XT三折叠拍
• iPhone 16价格对比:中国最便宜 比均价
• 深圳通交通卡限时免费开卡:支持华为、
• 荣耀笔记本X16 2025首销:酷睿i5-13420
热门标签
更多
python
JavaScript
java
HTML
PHP
reactjs
C#
Android
CSS
Node.js
sql
r
python-3.x
MysqL
jQuery
c++
pandas
Flutter
angular
IOS
django
linux
swift
typescript
路由器
JSON
路由器设置
无线路由器
h3c
华三
华三路由器设置
华三路由器
电脑软件教程
arrays
docker
软件图文教程
C
vue.js
laravel
spring-boot