0xRunstar

是时候公布这道题的答案了。正好分享一下我最近学习Prompt的一点心得：给GPTs时间思考。 这是OpenAI官方公布《GPT最佳实践》的一个章节“Give GPTs time to "think"”：platform.openai.com/docs/gui… 。道理很简单，就是CoT（Chain of Though）那一套，不直接给答案，而是“思考”中间过程。 但是实践中，我就发现哪怕Prompt里面哪怕我给出了详细的Steps，但是给出最终结果的时候仍然效果不是太理想。后来学习Isa和吴恩达的课程《使用ChatGPT API构建系统》的“输入处理： 思考链推理”这一课时 youtu.be/ExcjE_5un28?t=194 ，看到Isa给出的示例里面，实际上将每一步的结果都让GPT输出了，于是我对比了不输出每一步结果和输出每一步结果，效果明显不一样，具体可以参考我这条推文：nitter.gq/dotey/status/166… 这说明，要想让GPT有时间思考，得加钱！也就是消耗更多Tokens，借助输出每一步的中间结果，让GPT慢下来，并且可以将每一步的输出作为下一步的输入。 但这样输出的很多结果是没有用的，所以我们可以要求GPT输出特定的格式，这样我们可以对输出的内容进行解析，从而去掉不需要的中间结果。就像Isa的课上，就用的四个#来分隔每一步结果以及最终结果。 在OpenAI的《GPT最佳实践》中也给出了建议：“使用内部独白或一连串的查询来隐藏模型的推理过程” platform.openai.com/docs/gui… 现在让我们回到原始的问题： > 假设我现在有两个字符串数组，一个英文的数组一个是翻译后的中文数组，但是英文数组长度是11个，中文数组只有6个（翻译时合并了），现在问题是，怎么样让LLM帮助纠正这种错误，基于英文数组内容的顺序和长度把中文数组也重新拆分组合变成11个？ 这个问题来源于我用GPT翻译字幕时，通常传入的是10条，但是有时候返回的结果会少于10条，举例来说： ["JOHN EWALD: Hello, and welcome to Introduction", "to Large Language Models."] 会自作主张在翻译后合并成一条：["约翰·尤瓦尔德：你好，欢迎来到大型语言模型介绍。"]，而我希望重新拆分成 ["约翰·尤瓦尔德：你好，欢迎来到", "大型语言模型介绍。"] 这个问题肯定也要借助CoT拆分成几个步骤，包含两个重要的子任务： 第一步：在中文数组里根据中文字符串去找对应的英文字符串数组。 因为中文翻译时合并了，找出原始字符串数组很重要，这一步GPT3.5能做的大差不差，但经常连数组都统计不对。 比如中文字符串是："约翰·尤瓦尔德：你好，欢迎来到大型语言模型介绍。"，现在要找到对应的英文字符串数组：["JOHN EWALD: Hello, and welcome to Introduction", "to Large Language Models."]，并且计算出是2条。 第二步：根据第一步得到的结果去按照英文字符串长度拆分每一条中文字符串。 比如上面的结果，"约翰·尤瓦尔德：你好，欢迎来到大型语言模型介绍。"，就应该被拆分为：["约翰·尤瓦尔德：你好，欢迎来到", "大型语言模型介绍。"] 这一步对GPT-4来说没问题，但GPT-3.5几乎做不到😄 基本上两步就足够了。顺便说一下，因为这个任务都是纯自然语言处理无法借助外部任务，所以用不上最新的Call Function接口，距离来说第一步拿到了中文字符串的原始数组，像3.5无法正确技术，可以传入一个函数来计数。 接下来的问题是：因为包含了很多中间步骤，并非直接输出一个重新整理好的数组，如何解析输出的结果？ 这里有很多种做法，我是直接让GPT输出JSON格式，对于GPT-4来说，JSON输出是很基本的能力，几乎没出过错。 但是这个例子有点复杂，所以Prompt写的时候要用Few-Shot给出JSON格式的样例。这样GPT就可以按照指定的JSON格式输出结果，最后我们用程序解析这个JSON结果就可以拿到最终拆分的结果。 我们把上面的一起合并成以下Prompt（注意System Message和User Message的区分）： ------------ {{#system~}} You are a helpful assistant, I have two arrays of strings: one in Source and one in Translated. The Translated array is a translation of the Source array, but the number of strings in each array is not the same. I need to correct this so that each string in the Source array corresponds to a string in the Translated array. Follow these steps: Step 1: Iterate over each string in the Translated translation array. For each Translated string, find all corresponding subset strings in the Source array. Count how many Source strings correspond to each Translated string. Step 2: Split each Translated string according to the number of corresponding English strings. Do not add or duplicate new content. Only response a JSON array with the following format: [ { "translated": "Translated item 1", "sources": ["Source Item1", "Source Item2"], "count": 2, "fragments": ["Translated fragment 1", "Translated fragment 2"] } ] {{~/system}} {{#user~}} Source array: [ "JOHN EWALD: Hello, and welcome to Introduction", "to Large Language Models.", "My name is John Ewald, and I'm a training developer here", "at Google Cloud.", "In this course, you learn to define large language", "models, or LLMs, describe LLM use cases,", "explain prompt tuning, and describe Google's Gen AI", "development tools.", "Large language models, or LLMs, are a subset of deep learning.", "To find out more about deep learning,", "see our Introduction to Generative AI course video." ] Translated array: [ "约翰·尤瓦尔德：你好，欢迎来到大型语言模型介绍。", "我叫约翰·尤瓦尔德，在谷歌云这里是一名培训开发者。", "在这门课程中，您将学习定义大型语言模型（LLM），描述LLM的用例，", "解释提示调优，以及描述谷歌的Gen AI开发工具。", "大型语言模型（LLM）是深度学习的一个子集。", "要了解更多关于深度学习的信息，请观看我们的生成性AI课程视频。" ] Here is the JSON string: {{~/user}} ------------ 以下是我调用GPT-4得到的最终结果： ------------ {{#assistant~}} [ { "translated": "约翰·尤瓦尔德：你好，欢迎来到大型语言模型介绍。", "sources": ["JOHN EWALD: Hello, and welcome to Introduction", "to Large Language Models."], "count": 2, "fragments": ["约翰·尤瓦尔德：你好，欢迎来到", "大型语言模型介绍。"] }, { "translated": "我叫约翰·尤瓦尔德，在谷歌云这里是一名培训开发者。", "sources": ["My name is John Ewald, and I'm a training developer here", "at Google Cloud."], "count": 2, "fragments": ["我叫约翰·尤瓦尔德，在谷歌云这里是一名", "培训开发者。"] }, { "translated": "在这门课程中，您将学习定义大型语言模型（LLM），描述LLM的用例，", "sources": ["In this course, you learn to define large language", "models, or LLMs, describe LLM use cases,"], "count": 2, "fragments": ["在这门课程中，您将学习定义大型语言模型（LLM），", "描述LLM的用例，"] }, { "translated": "解释提示调优，以及描述谷歌的Gen AI开发工具。", "sources": ["explain prompt tuning, and describe Google's Gen AI", "development tools."], "count": 2, "fragments": ["解释提示调优，以及描述谷歌的", "Gen AI开发工具。"] }, { "translated": "大型语言模型（LLM）是深度学习的一个子集。", "sources": ["Large language models, or LLMs, are a subset of deep learning."], "count": 1, "fragments": ["大型语言模型（LLM）是深度学习的一个子集。"] }, { "translated": "要了解更多关于深度学习的信息，请观看我们的生成性AI课程视频。", "sources": ["To find out more about deep learning,", "see our Introduction to Generative AI course video."], "count": 2, "fragments": ["要了解更多关于深度学习的信息，", "请观看我们的生成性AI课程视频。"] } ] {{~/assistant}} ------------ 完整的运行结果参考配图。 特别感谢大家的参与，特别是：@scruelt 、@PhiliMao 、 @jiangyan 、 @AstrNexus 几位同学都贡献了精彩的答案。